你们要上线一个 70B 稠密模型的在线对话服务，SLA 是 P99 首 token 延迟 < 2s、单节点输出吞吐 ≥ 2000 tok/s。候选推理引擎是 vLLM 和 TensorRT-LLM。约束有三个：业务要求两周内上线；未来半年内预计换 3 次权重，并可能引入 MoE 结构和多套 LoRA 热切换；团队里只有 2 个人有 CUDA 经验。请给出你的选型结论，并说明在什么可观测条件下你会启动迁移到另一条路线。
面试官在考什么
在“性能上限”和“迭代速度/可维护性/人力”之间做系统级取舍，并给出可观测、可回滚的切换判据，而不是选一个引擎就完事。
回答框架 · 前两步
- 选型结论必须绑定约束：两周上线 + 模型高频变更 + LoRA 热切换 + CUDA 人手少，先上 vLLM，把开箱的 PagedAttention、continuous batching、动态 LoRA 加载吃满，把上线风险压到最低。
- 说清另一条路线的真实优势与代价：TensorRT-LLM 靠编译期 kernel 融合、原生 FP8/INT4、更激进的调度拿到更高 decode 上限，但 engine build 时间长、模型结构一变就要重 build、自定义算子调试成本高。
还有 3 条答案要点、 3 层追问、 4 个常见坑， 以及针对你简历的追问路径，在定制报告里。
同一能力域的其他题
- 解释一下 KV Cache 是什么、为什么能加速推理，以及它带来的显存代价怎么算。
- 推理服务里 continuous batching 和静态 batching 有什么区别？为什么前者吞吐更高？
- 模型量化你了解哪些方案？训练后量化（PTQ）和量化感知训练（QAT）怎么选？量化后精度掉了怎么定位？
- 显存优化除了量化还有哪些手段？请按"省的是什么"把它们分类。
- 线上大模型服务的延迟怎么拆解？哪些部分你能优化、哪些是硬上限？
- 你有单卡 A100 80G，要上线一个 7B decoder-only 模型，同时承接两个业务：业务 A 是长 prompt（约 4k tokens）短输出（约 100 tokens）的摘要，业务 B 是短 prompt（约 200 tokens）长输出（约 1k tokens）的代码补全。团队让你在 vLLM 和 TensorRT-LLM 之间二选一。请给出你的选择和判断依据，并具体说明 PagedAttention 在 A、B 两个业务上带来的收益分别体现在哪里、哪个业务上收益相对不明显，为什么。