你负责一个排序策略改动，A/B 实验跑了 7 天：实验组 CTR +2%（p=0.03），人均使用时长 -1.5%（p=0.21），实验组样本量比对照组少 3%。产品认为 CTR 涨了就该全量。你会怎么下结论？在决定推全之前，你必须再看哪些东西？

面试官在考什么

判断候选人是否具备实验的决策纪律：知道主指标要事先定、知道不显著不等于没影响、知道分流不均会毁掉结论。

线上A/B

回答框架 · 前两步

1. 主指标（OEC）和护栏指标必须是实验前定好的，不能事后挑指标；「CTR 显著、时长跌」这种组合不能直接判定为赢。
2. 时长 p=0.21 不显著不等于没影响：时长方差大，7 天的样本量可能功效不足，要看置信区间和点估计，而不是只看 p 值。

同一能力域的其他题

• 冷启动问题你会怎么处理？新用户和新物品的策略一样吗？请分别说。
• 离线 AUC 涨了但线上 CTR 没涨，你会按什么顺序排查？请给出具体清单。
• CTR 模型里为什么要用 GAUC 而不只看 AUC？GAUC 是怎么算的、它解决了什么问题？
• 特征工程里你会怎么做特征穿越（label leakage）的检查？请举一个推荐场景里常见的穿越例子。
• 你做过线上 A/B 实验，请说明分流、样本量、显著性判断的要点。如果一个实验 p 值不显著，你怎么处理？
• 你在做一个首页信息流的 CTR 模型，要加一维特征「用户过去 7 天在该一级类目下的点击率」。训练样本取自 8 月 1 日–8 月 7 日的曝光日志（每天约 2 亿条），你打算 1–6 日做训练、7 日做验证。请说明：这个特征的统计窗口在离线训练和线上 serving 分别应该怎么算？为什么不能直接对整份日志算一个「过去 7 天」的统计再 join 回每条样本？