训练一个深度学习模型时，loss 突然变成 NaN，你会按什么顺序排查？请给出你的排查清单。

面试官在考什么

考察工程排障能力——面试里非常高频，能否给出有序、可执行的清单

训练稳定性梯度裁剪混合精度

回答框架 · 前两步

1. 先定位发生位置：在前向/反向/优化器步各打一次参数与梯度的范数，找第一次出现 NaN/Inf 的位置
2. 常见原因排序：学习率过大、除零或 log(0)、混合精度溢出、数据本身含 NaN/异常值、自定义 loss 数值不稳

同一能力域的其他题

• 显存不够时你会怎么办？请按"最小改动到最大改动"排序给出你的方案。
• 你的模型离线指标很好但线上效果很差，你会从哪些角度排查？请按优先级说。
• 梯度裁剪是解决什么问题的？按值裁剪和按范数裁剪有什么区别？裁剪阈值你会怎么定？
• 模型参数量、FLOPs、显存占用、推理延迟这四个指标之间是什么关系？为什么参数量小的模型有时反而更慢？
• 你要在 A100 上训练一个 1B 参数的语言模型。用 fp16 + GradScaler 的 AMP 方案时，loss 能降但曲线比纯 fp32 抖动明显，大约 2000 步时突然出现溢出、之后又恢复。同事说「直接换 bf16 就行了，bf16 比 fp16 精度高」。请回答三件事：(1) fp16 和 bf16 在指数位/尾数位上到底差在哪；(2) 为什么 bf16 通常不需要 loss scaling 而 fp16 需要；(3) 换成 bf16 后你预期抖动、溢出和最终收敛会怎么变，代价是什么。
• 你在 8 张 80GB GPU 上训练一个 1B 参数模型，AdamW，每卡 batch size 4、序列长度 2048。开启 AMP 后，loss 在第 200 步左右周期性出现 inf，关闭 AMP 后正常；数据未变，lr 未变。你会先检查哪三个点？在 fp16+loss scaling 与 bf16 之间如何选？