你的模型是 24 层 Transformer，fp16 权重约 30GB，而单卡只有 24GB 显存，加上梯度和 Adam 优化器状态更放不下。有人给你三个方案：(a) DDP 数据并行；(b) 前 12 层放卡 0、后 12 层放卡 1（流水线/层间切分）；(c) 把每层权重矩阵按列切一半放两张卡（张量并行）。请分别说明：每个方案每张卡上存了什么、前向一次要发生什么通信，以及在这个 30GB 的场景里哪个能真正解决显存问题、为什么。

面试官在考什么

是否真的理解三种并行“切的是哪个维度、通信发生在哪里”，而不是只记住名字；能不能用它判断一个具体显存不足的场景该选哪种。

数据并行/模型并行

回答框架 · 前两步

1. 数据并行切的是 batch：每张卡都存一份完整模型，反向做梯度 all-reduce。它不减少单卡模型显存，所以 (a) 直接救不了 30GB 放不进 24GB 的问题。
2. 流水线/层间切分按层把模型分到不同设备，每卡只存自己那几层的参数和优化器状态，显存确实降下来了；相邻 stage 之间只需点对点传激活，通信量小，但要处理各 stage 负载均衡和流水线空泡（bubble）。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 从「背过」到「能选型」：原理的三层准备法

想看这个方向的整体准备路线？ 进入「深度学习基础」方向页

同一能力域的其他题

• 训练一个深度学习模型时，loss 突然变成 NaN，你会按什么顺序排查？请给出你的排查清单。
• 显存不够时你会怎么办？请按"最小改动到最大改动"排序给出你的方案。
• 你的模型离线指标很好但线上效果很差，你会从哪些角度排查？请按优先级说。
• 梯度裁剪是解决什么问题的？按值裁剪和按范数裁剪有什么区别？裁剪阈值你会怎么定？
• 模型参数量、FLOPs、显存占用、推理延迟这四个指标之间是什么关系？为什么参数量小的模型有时反而更慢？
• 你要在 A100 上训练一个 1B 参数的语言模型。用 fp16 + GradScaler 的 AMP 方案时，loss 能降但曲线比纯 fp32 抖动明显，大约 2000 步时突然出现溢出、之后又恢复。同事说「直接换 bf16 就行了，bf16 比 fp16 精度高」。请回答三件事：(1) fp16 和 bf16 在指数位/尾数位上到底差在哪；(2) 为什么 bf16 通常不需要 loss scaling 而 fp16 需要；(3) 换成 bf16 后你预期抖动、溢出和最终收敛会怎么变，代价是什么。