一个 7B 模型，32 层，GQA 配置为 8 个 KV head、head_dim 为 128，KV cache 用 FP16 存储。请写出 batch=32、平均序列长度 2048 时 KV cache 的显存占用公式并算出结果。然后回答：如果此时显存不够，你会先动 batch size、先动序列长度，还是动别的？说明理由。

面试官在考什么

考察候选人是否能从公式而不是经验值出发估算 KV cache，是否理解 GQA 对 KV 的影响，以及显存不够时能否区分「降吞吐」和「降能力」两类不同的取舍。

KV Cache

回答框架 · 前两步

1. 公式：KV bytes = 2（K 和 V）× 层数 × KV head 数 × head_dim × 序列长度 × batch × dtype 字节数。代入 2×32×8×128×2048×32×2B ≈ 8GB。
2. head 数必须用 num_kv_heads（GQA 的 8），用 num_attention_heads 会高估 4 倍——这正是 GQA 省 KV 的意义所在。

同一能力域的其他题

• 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
• 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
• 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
• 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
• 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
• 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。