8×A100-80G 上跑 72B FP16 推理，TP=8 时权重约 18GB/卡，理论上还剩 60GB 空间，但实际跑长序列 prefill 时会 OOM，把 max_num_seqs 调小也不稳定。请给出你的显存账（哪些部分在吃显存），以及定位问题和做优化的先后顺序。

面试官在考什么

能否建立完整的推理显存预算观（权重之外的 KV、激活、图池、通信 buffer、碎片），并按阶段定位峰值、给出有优先级的优化顺序，而不是一 OOM 就上 offload。

显存优化

回答框架 · 前两步

1. 显存构成要列全：权重、KV cache、prefill 阶段的 activation 与 attention workspace、CUDA graph 固定内存池、NCCL/TP 通信 buffer、框架本身占用与碎片（caching allocator 的 reserved）。
2. 定位方法：看 allocated 与 reserved 的差、按 prefill/decode 阶段分别打点、用 profiler 抓峰值，先分清是稳态占用大还是瞬时峰值炸。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 项目深挖：五层结构下的追问与逐字稿

想看这个方向的整体准备路线？ 进入「AI Infra 与 Harness 工程」方向页

同一能力域的其他题

• 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
• 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
• 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
• 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
• 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
• 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。