你要把线上一个 13B decoder 模型从 FP16 换成 W4A16 的 weight-only INT4 量化，目标是把单卡能承载的并发数翻倍。下游有两个任务：一个通用对话，一个对精度敏感的字段抽取。请给出你的量化方案选型（weight-only INT4，还是 W8A8 这类带激活量化的方案）、为什么，以及上线前你会用哪几层手段判断有没有掉点、掉在什么位置。

面试官在考什么

判断候选人是否清楚 weight-only 与激活量化各自省的是什么、收益出现在哪个阶段，以及有没有一套可执行的分层回归验证方法，而不是「跑个 perplexity 没涨就上」。

量化

回答框架 · 前两步

1. W4A16 只量化权重，激活仍是 FP16：省的是权重显存和 decode 阶段反复读权重的带宽，而 decode 是 memory-bound，所以并发提升主要来自这里。
2. 精度敏感的业务优先 weight-only（AWQ/GPTQ 一类），不轻易动激活；W8A8 要动激活，离群通道上容易掉点，它的目标通常是提吞吐/省激活，而不是省显存。

同一能力域的其他题

• 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
• 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
• 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
• 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
• 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
• 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。