你们要在 512 张卡上预训练一个 70B 模型，把优化器从 Adam（weight decay 以 L2 形式加在 loss 上）换成 AdamW（decoupled weight decay），配置 wd=0.1、peak lr=3e-4、global batch≈4M tokens，同时开启优化器状态分片（ZeRO-1/2）。请回答三点：(a) 为什么在 Adam 里把 wd 加在 loss 上，效果和 AdamW 不一样，这个差异随训练步数怎么变化；(b) 哪些参数组你会把 weight decay 关掉，为什么；(c) 优化器状态被分片之后，global grad norm clipping 和 weight decay 的实现各要注意什么。
面试官在考什么
判断候选人是否真正理解 Adam 自适应缩放与 weight decay 的耦合机制，并能把这个结论推到分布式训练的实现约束上。
回答框架 · 前两步
- 差异机制：Adam+L2 把 λw 混进梯度，又被 1/sqrt(v) 归一化，等效于按维度自适应的衰减强度——梯度大、v 大的维度衰减被压小；AdamW 直接独立减去 λw，衰减强度与自适应分母无关，后期梯度变小时 AdamW 的相对衰减反而更强，因此曲线在训练中后段分叉。
- 参数组划分：bias、LayerNorm/RMSNorm 的 gain、以及视配方而定的 embedding 通常不做 decay，只对矩阵乘权重加 decay；理由是把这些参数拉向 0 没有正则意义，反而伤害表达能力。
还有 3 条答案要点、 3 层追问、 4 个常见坑， 以及针对你简历的追问路径，在定制报告里。
延伸阅读
想看这个方向的整体准备路线？ 进入「机器学习基础」方向页
同一能力域的其他题
- Adam 和 SGD 的区别是什么？为什么很多视觉任务最终还用 SGD + momentum，而 NLP/大模型训练几乎都用 AdamW？
- 你用 mini-batch SGD 训练一个图像分类模型，batch size=256，初始 lr=0.1，momentum=0.9，Nesterov=False。训练日志显示：前几百步 loss 下降，随后在局部来回震荡，验证集不再提升；把 lr 降到 0.01 后震荡消失，但收敛明显变慢。请给出你的诊断顺序：这是 lr 过大、momentum 过大，还是二者耦合？你会做哪两个可复现实验来定位？并说明在什么条件下可以把 SGD+Momentum 的等效步长近似看成 lr/(1-momentum)。
- 你在 8 卡上训练一个带 BatchNorm 的 CNN，基线是 batch size=256、SGD momentum=0.9、lr=0.1，训练 90 epoch。现在为了提吞吐把单卡 batch 从 32 提到 512（总 batch=4096），epoch 数保持不变。请给出你会怎么改 lr 和 momentum，warmup 设多少步，并说明每一步的判断依据。如果按你的方案训到第 5 个 epoch 出现 loss spike，你的排查顺序是什么？
- 你接手一个日更的 CTR 模型训练管线：稠密参数约 3 亿，稀疏 embedding 约 20 亿行；集群固定 512 张 A100，单次训练窗口 8 小时。现状用 Adam，1.2 万步收敛到目标 loss。团队提议换成 SGD+Momentum，理由是线上 AUC 能涨，但实测同样步数下 loss 明显更高、大约要 3 倍步数才能追平。请给出你的决策和落地方案：切不切？切的话 lr、momentum、warmup、batch 怎么定？20 亿行的稀疏 embedding 那一侧要不要开 momentum？在 8 小时预算下你怎么判断这笔账划不划算？
- 你在训练一个两层 MLP，mini-batch 大小 64，用纯 SGD，初始学习率 0.1。训练初期 loss 抖动很大，相邻两次迭代的梯度方向经常左右翻转。换成 SGD + Momentum(momentum=0.9) 后，前期 loss 下降变快，但后期在极小值附近持续来回震荡，验证集也没有变好。请问：Momentum 为什么能抑制这种左右翻转并加速？momentum=0.9 时，如果梯度方向长期一致，有效学习率大约是原来的多少倍？后期这种震荡你会先调 momentum 还是先调学习率，为什么？
- 你在训练一个带 embedding、LayerNorm 和 bias 的序列模型，优化器从 Adam 换成 AdamW，weight_decay=0.01，lr=3e-4，beta1=0.9，beta2=0.999。训练 10 个 epoch 后训练 loss 继续下降，但验证 loss 开始上升。你怀疑 weight decay 加错了参数。请说明 Adam 中 L2 正则与 AdamW 的 decoupled weight decay 在更新式上的区别；并给出参数分组方案：哪些参数做 weight decay，哪些不做，为什么。