一个 13B 模型 FP16 权重约 26GB，你要在单张 24GB 卡上跑，打算用 INT8 weight-only 量化把权重压到约 13GB。请回答：(1) 剩下约 11GB 够不够放 KV Cache 和激活，瓶颈可能在哪；(2) 在 batch=1 的逐 token decode 阶段，端到端延迟大概能降多少，为什么不是 2 倍？
面试官在考什么
判断候选人是否理解 weight-only 量化省的是显存容量和访存带宽，以及 decode 是 memory-bound 这一点，而不是把"权重减半"直接等价于"速度翻倍"。
回答框架 · 前两步
- INT8 weight-only 后权重约 13GB，24GB 卡剩约 11GB 给 KV Cache、激活和框架/CUDA context 开销；KV Cache 并不随权重量化变小，长上下文仍可能 OOM，需要限制 max_model_len 或输出长度。
- batch=1 的 decode 是显存带宽瓶颈：每生成一个 token 都要把全部权重读一遍，13GB 对比 26GB，理论访存量减半，因此延迟上界接近 2×。
还有 3 条答案要点、 3 层追问、 4 个常见坑， 以及针对你简历的追问路径，在定制报告里。
延伸阅读
想看这个方向的整体准备路线？ 进入「AI Infra 与 Harness 工程」方向页
同一能力域的其他题
- 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
- 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
- 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
- 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
- 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
- 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。