成本要求把推理 GPU 卡数砍掉 40%。当前 72B 模型用 FP16 + TP4 跑在 4×A100-80G 上，最大 batch 只能到 8，目标是把 batch 提到 32。候选方案有 W8A8-INT8（SmoothQuant 一类）、W4A16（GPTQ/AWQ 一类）、以及在 Hopper 上的 FP8。请说明你会怎么选、校准数据怎么准备、哪些模块不能量化，以及你怎么判断量化有没有伤到业务。
面试官在考什么
能否区分权重量化和激活量化、区分 prefill 与 decode 的不同瓶颈，并给出可落地、可回滚、面向业务指标的量化决策。
回答框架 · 前两步
- 先定位瓶颈：decode 阶段是 memory-bound，权重访存主导，权重量化收益最大；prefill 阶段是 compute-bound，只有激活量化（W8A8/FP8）才有真实加速。选方案前必须先分清业务里 prefill 和 decode 谁占大头。
- 方案分层：W4A16 省权重显存最多但强依赖 kernel（Marlin 一类）支持；W8A8 精度更稳、GEMM 有实打实加速；FP8 在 Hopper 上性价比最高。方案要跟硬件代际绑定。
还有 3 条答案要点、 3 层追问、 5 个常见坑， 以及针对你简历的追问路径，在定制报告里。
延伸阅读
想看这个方向的整体准备路线？ 进入「AI Infra 与 Harness 工程」方向页
同一能力域的其他题
- 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
- 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
- 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
- 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
- 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
- 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。