要在一个 RAG 系统上线前做效果评估，但目前没有任何标注数据，手上只有 500 条真实用户 query 日志，两周后要给结论。请给出你的评测方案：评哪些指标？检索和生成分开评吗？数据怎么来？如果引入 LLM 当裁判，怎么说服别人这个裁判可信？

面试官在考什么

判断候选人是否具备从零搭建可复现评测体系的能力，尤其是分层拆解指标和验证评测器本身可信度这两件事。

评测

回答框架 · 前两步

1. 必须分层评测：检索层看 recall@k/MRR/命中率，生成层看忠实度（faithfulness）和答案相关性，端到端看人工满意度和拒答正确率；只看端到端无法定位问题出在哪一段
2. 没有标注数据时，可以用 LLM 基于文档合成 query-answer 对冷启动，但必须人工抽检，且合成数据的分布和真实 query 分布有偏差，不能完全替代真实日志

延伸阅读

• 从「背过」到「能选型」：原理的三层准备法

想看这个方向的整体准备路线？ 进入「NLP 与大模型」方向页

同一能力域的其他题

• RAG 的完整链路你会怎么搭？文档切分这一步，你会怎么定 chunk 大小和重叠？为什么？
• 大模型幻觉你会怎么治理？请区分"知识型幻觉"和"指令遵循型幻觉"分别怎么处理。
• 向量检索的召回效果不好，你会从哪些环节排查？说一个你实际调过的参数和它的影响。
• 你怎么评测一个 RAG 系统的好坏？请分别说检索侧和生成侧各看什么指标、怎么构造评测集。
• 一份 200 页的 PDF 技术手册要进 RAG 知识库，目录层级清晰，但有跨页表格和一段 3000 字的长章节。业务要求答案能定位到具体小节，同时回答里要保留足够上下文。你打算怎么设计切分策略？请给出 chunk 大小、overlap、切分依据，并说明长章节和表格分别怎么处理。
• 企业知识库要入库一批 200 页左右的产品技术手册（PDF，含大量跨页表格和 3 级标题），同时还有几万条几十字的客服工单。用户 query 大多是「XX 型号的额定功率是多少」这类精确查找，也有「怎么重置设备」这类流程性问题。请给出你的切分方案：chunk 大小和 overlap 怎么定？标题层级要不要拼进 chunk？跨页表格怎么办？工单和手册要不要用同一套策略？