你负责搜索排序，上线了一个新模型。A/B 实验跑了 7 天，核心指标 CTR +1.2%（p=0.08），人均时长 -0.5%（p=0.21），GMV +0.3%（p=0.45）。业务方看到 CTR 为正，催着全量。你作为算法负责人，会怎么决策？请说明你的判断依据、下一步动作，以及如果需要延长实验，你会怎么设计。

面试官在考什么

判断候选人是否具备实验统计素养和业务决策能力：能否识别 p 值不显著、多重比较、指标方向冲突，并在业务压力下给出可执行的决策路径。

线上A/B

回答框架 · 前两步

1. 不因单一 CTR 指标显著为正就全量：三个指标方向不一致且 p 值均不显著，不能拒绝原假设；CTR 提升可能以时长或 GMV 为代价（如标题党、短期诱导）。
2. 检查实验质量：SRM（样本比例失衡）、埋点口径、实验组/对照组是否同质、是否有其他实验叠加、是否有新奇效应。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 项目深挖：五层结构下的追问与逐字稿

想看这个方向的整体准备路线？ 进入「推荐与搜索」方向页

同一能力域的其他题

• 冷启动问题你会怎么处理？新用户和新物品的策略一样吗？请分别说。
• 离线 AUC 涨了但线上 CTR 没涨，你会按什么顺序排查？请给出具体清单。
• CTR 模型里为什么要用 GAUC 而不只看 AUC？GAUC 是怎么算的、它解决了什么问题？
• 特征工程里你会怎么做特征穿越（label leakage）的检查？请举一个推荐场景里常见的穿越例子。
• 你做过线上 A/B 实验，请说明分流、样本量、显著性判断的要点。如果一个实验 p 值不显著，你怎么处理？
• 你在做一个首页信息流的 CTR 模型，要加一维特征「用户过去 7 天在该一级类目下的点击率」。训练样本取自 8 月 1 日–8 月 7 日的曝光日志（每天约 2 亿条），你打算 1–6 日做训练、7 日做验证。请说明：这个特征的统计窗口在离线训练和线上 serving 分别应该怎么算？为什么不能直接对整份日志算一个「过去 7 天」的统计再 join 回每条样本？