你用 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) 训练一个模型，在某一步打印出裁剪前的全局梯度范数是 30。请回答：(1) 这一步的参数更新相比不裁剪时被缩小了多少倍；(2) 如果训练中绝大多数 step 的梯度范数都在 20~50 之间、始终被截断到 1，模型实际上等效于在用什么学习率；(3) 这种情况你会怎么判断是该调大 max_norm，还是该去查别的问题。
面试官在考什么
是否理解按范数裁剪是“全局范数等比缩放”而不是逐元素截断，以及裁剪与学习率之间的耦合关系。
回答框架 · 前两步
- 裁剪是全局的：把所有参数的梯度拼成一个向量求 L2 范数得到 total_norm，再按 max_norm/total_norm 对全部梯度等比缩放，方向不变、只缩步长。
- total_norm=30、max_norm=1，所有梯度被统一乘 1/30，等效于这一步的学习率被缩小了 30 倍。
还有 3 条答案要点、 3 层追问、 4 个常见坑， 以及针对你简历的追问路径，在定制报告里。
延伸阅读
想看这个方向的整体准备路线？ 进入「深度学习基础」方向页
同一能力域的其他题
- 训练一个深度学习模型时，loss 突然变成 NaN，你会按什么顺序排查？请给出你的排查清单。
- 显存不够时你会怎么办？请按"最小改动到最大改动"排序给出你的方案。
- 你的模型离线指标很好但线上效果很差，你会从哪些角度排查？请按优先级说。
- 梯度裁剪是解决什么问题的？按值裁剪和按范数裁剪有什么区别？裁剪阈值你会怎么定？
- 模型参数量、FLOPs、显存占用、推理延迟这四个指标之间是什么关系？为什么参数量小的模型有时反而更慢？
- 你要在 A100 上训练一个 1B 参数的语言模型。用 fp16 + GradScaler 的 AMP 方案时，loss 能降但曲线比纯 fp32 抖动明显，大约 2000 步时突然出现溢出、之后又恢复。同事说「直接换 bf16 就行了，bf16 比 fp16 精度高」。请回答三件事：(1) fp16 和 bf16 在指数位/尾数位上到底差在哪；(2) 为什么 bf16 通常不需要 loss scaling 而 fp16 需要；(3) 换成 bf16 后你预期抖动、溢出和最终收敛会怎么变，代价是什么。