某团队有 6 个服务各自硬编码 system prompt(字符串 + f-string 拼接),线上、灰度、A/B 三套 prompt 靠人肉同步。一次线上事故的根因是某服务改了 system prompt 但没通知评测方,评测基线直接失效。现在要把 prompt 纳入工程化管理:请说明方案——版本与制品的边界怎么定义、谁有权改线上、灰度与回滚的粒度是什么、和代码发布是什么关系。
面试官在考什么
判断候选人能否把 prompt 当受管制的制品(版本、环境、审批、灰度、回滚、可复现配置)来治理,并在平台化成本与团队规模之间做取舍。
回答框架 · 前两步
- 界定制品边界:模板、变量、few-shot 示例集、渲染顺序,以及与之绑定的模型、工具 schema、解码参数,共同构成一个『推理配置』版本,不能只版本化那段字符串。
- 环境与权限:dev/staging/prod 分离,线上变更走审批或至少自动化门禁;服务代码只引用版本 ID,不在代码里内联 prompt 字符串。
还有 3 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。
同一能力域的其他题
- 你要为一个 Agent 系统设计评测 harness,会包含哪些维度?怎么保证评测结果可复现?
- Agent 的工具编排里,工具多了以后模型选错工具、参数填错怎么办?你会怎么设计降低这类错误?
- 提示词版本管理你怎么做?线上提示词改了以后,怎么知道是变好还是变坏?
- 你的 Agent 要完成『查上周失败订单 → 查每个订单的用户信息 → 给用户发补偿邮件』。可用工具:list_failed_orders(约 200ms,可能返回 500 条)、get_user(约 80ms/次)、send_email(写操作,第三方接口超时后会重复投递)。模型走 ReAct 循环,最多 20 步。请给出你的编排设计:哪些步骤并发、并发度怎么定、写工具如何避免重复发送、单步超时与整体预算怎么设、工具失败后是重试还是把错误回填给模型继续。
- 某内部 Agent 有 30 个工具,线上平均一次任务发起 8 次工具调用,其中约 60% 彼此无依赖;单次 LLM 规划延迟约 400ms,单次工具平均 200ms、p99 2s,有 5 个工具单次返回 100KB+ 文本。延迟预算要求 p95 小于 3s。你会把编排做成「每步让 LLM 选下一个工具」还是「先让 LLM 出完整 DAG 再执行」?给出你的决策条件、并行策略、失败重试与返回体裁剪方案,并说明工具数从 30 涨到 300 时哪些设计会先失效。
- 某 Agent 平台挂载 40 个工具(内部 API、检索、代码执行),当前做法是把全部工具 schema 注入 system prompt,约占 8k token。线上数据显示:工具选错率 22%,其中 60% 的错误集中在 6 个语义高度相近的工具之间;端到端 p95 延迟随工具数量近似线性增长。业务方要求半年内把工具扩到 120 个,同时选错率不能再涨。请给出你的编排演进方案:分几步、每一步解决什么问题、每一步用什么指标决定『继续推进』还是『回退』。