A100 80G 上服务一个 13B 代码补全模型，FP16 权重占 26GB。现在要同时满足两件事：单卡并发 batch 尽量大；内部评测集上掉点不超过 1%。候选方案是 W8A16（weight-only INT8）和 W4A16（GPTQ/AWQ）。已知经验值：W8A16 显存省约 40%、典型吞吐提升约 1.3x；W4A16 显存省约 70%、吞吐提升约 1.6-1.9x，但在长尾 token（罕见标识符、超长数字）上更容易掉点。你怎么选？如果选 W4，你怎么证明“掉点不超过 1%”这件事？

面试官在考什么

判断是否理解 weight-only 量化的收益来自 decode 阶段的 memory-bound 特性，以及会不会用分阶段、分 token 类型的方式评估精度，而不是只看一个平均指标。

量化

回答框架 · 前两步

1. 先分阶段看收益：decode 是 memory-bound，权重量化直接降低每步的 HBM 读带宽压力，收益接近压缩比；prefill 是 compute-bound，W4A16 还要额外付 dequant 的算力，收益有限甚至为负。
2. 13B FP16 权重 26GB，80G 卡剩 54GB 给 KV。如果瓶颈不在权重读取，W8A16 的 1.3x 加近乎无损是更稳的选择；只有当并发确实被权重带宽卡住时才上 W4。

同一能力域的其他题

• 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
• 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
• 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
• 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
• 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
• 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。