你用一个新召回通道替换老通道，离线 AUC +0.003。开 5% 流量做 A/B，跑了 7 天，结果是：实验组人均点击次数 +0.5%（p=0.04），实验组人均曝光次数 +2%（p=0.01），实验组 CTR（点击/曝光）-1.2%（p<0.05）。产品经理说「点击涨了就是好的，全量吧」。你判断这个实验算不算成功？接下来做什么？

面试官在考什么

判断候选人是否理解指标之间的乘除关系与中间变量、p 值的边界，以及在指标互相矛盾时如何做实验健康检查和业务目标对齐，而不是看哪个数字好看就信哪个。

线上A/B

回答框架 · 前两步

1. 点击 = 曝光 × CTR，曝光是中间变量。实验组点击上升完全可能只是曝光变多带来的，必须拆开看，不能只看人均点击。
2. 先做健康检查：分流均匀性与样本比例（SRM）、两组用户构成、曝光位置分布是否偏移（新通道是不是把内容放到了更显眼的位置）。

同一能力域的其他题

• 冷启动问题你会怎么处理？新用户和新物品的策略一样吗？请分别说。
• 离线 AUC 涨了但线上 CTR 没涨，你会按什么顺序排查？请给出具体清单。
• CTR 模型里为什么要用 GAUC 而不只看 AUC？GAUC 是怎么算的、它解决了什么问题？
• 特征工程里你会怎么做特征穿越（label leakage）的检查？请举一个推荐场景里常见的穿越例子。
• 你做过线上 A/B 实验，请说明分流、样本量、显著性判断的要点。如果一个实验 p 值不显著，你怎么处理？
• 你在做一个首页信息流的 CTR 模型，要加一维特征「用户过去 7 天在该一级类目下的点击率」。训练样本取自 8 月 1 日–8 月 7 日的曝光日志（每天约 2 亿条），你打算 1–6 日做训练、7 日做验证。请说明：这个特征的统计窗口在离线训练和线上 serving 分别应该怎么算？为什么不能直接对整份日志算一个「过去 7 天」的统计再 join 回每条样本？