某 coding Agent 的评测 harness 现状：300 条人工标注任务，串行端到端执行，平均 54s/条，一次全量约 4.5 小时；任何模型或 prompt 改动都跑全量，是离线迭代的主要瓶颈。近三个月发生过两次线上回归，都是评测集未覆盖的场景。团队希望把迭代节奏从『一天一轮』提到『一小时一轮』，同时不能再出现这类漏检。请给出 harness 重构方案：分层怎么切、门禁怎么定、线上漏检怎么反哺。
面试官在考什么
判断候选人能否把评测 harness 当系统来设计（分层、可复现、环境隔离、门禁阈值、badcase 反哺闭环），而不是写个脚本算平均分。
回答框架 · 前两步
- 分层设计：冒烟集（10~20 条、覆盖核心链路、分钟级）、回归集（按能力维度分层抽样）、探索/长尾集（难例与线上反哺），各自定位不同，绝不混用一个平均分。
- 提速要区分『等价加速』（并行、缓存、工具打桩、跳过无关步骤）与『会改变评测语义的加速』，速度要靠架构而不是牺牲信号。
还有 3 条答案要点、 3 层追问、 5 个常见坑， 以及针对你简历的追问路径，在定制报告里。
同一能力域的其他题
- 你要为一个 Agent 系统设计评测 harness，会包含哪些维度？怎么保证评测结果可复现？
- Agent 的工具编排里，工具多了以后模型选错工具、参数填错怎么办？你会怎么设计降低这类错误？
- 提示词版本管理你怎么做？线上提示词改了以后，怎么知道是变好还是变坏？
- 你的 Agent 要完成『查上周失败订单 → 查每个订单的用户信息 → 给用户发补偿邮件』。可用工具：list_failed_orders（约 200ms，可能返回 500 条）、get_user（约 80ms/次）、send_email（写操作，第三方接口超时后会重复投递）。模型走 ReAct 循环，最多 20 步。请给出你的编排设计：哪些步骤并发、并发度怎么定、写工具如何避免重复发送、单步超时与整体预算怎么设、工具失败后是重试还是把错误回填给模型继续。
- 某内部 Agent 有 30 个工具，线上平均一次任务发起 8 次工具调用，其中约 60% 彼此无依赖；单次 LLM 规划延迟约 400ms，单次工具平均 200ms、p99 2s，有 5 个工具单次返回 100KB+ 文本。延迟预算要求 p95 小于 3s。你会把编排做成「每步让 LLM 选下一个工具」还是「先让 LLM 出完整 DAG 再执行」？给出你的决策条件、并行策略、失败重试与返回体裁剪方案，并说明工具数从 30 涨到 300 时哪些设计会先失效。
- 某 Agent 平台挂载 40 个工具（内部 API、检索、代码执行），当前做法是把全部工具 schema 注入 system prompt，约占 8k token。线上数据显示：工具选错率 22%，其中 60% 的错误集中在 6 个语义高度相近的工具之间；端到端 p95 延迟随工具数量近似线性增长。业务方要求半年内把工具扩到 120 个，同时选错率不能再涨。请给出你的编排演进方案：分几步、每一步解决什么问题、每一步用什么指标决定『继续推进』还是『回退』。