推荐排序模型改版做了一次 A/B 实验：实验组曝光点击率 +2%（p<0.01），人均使用时长 -1.5%（p<0.01），DAU 基本持平。产品同学说『CTR 涨了就上』。请说明你会怎么分析这两个指标方向相反的情况，并给出你的上线建议。

面试官在考什么

判断候选人是否理解单点指标不等于业务目标，以及会不会做多指标冲突下的决策。

线上A/B

回答框架 · 前两步

1. CTR 衡量的是『点击效率』，时长/留存衡量的是『消费价值』，两者可以背离：CTR 涨可能靠更抓眼但更短、更浅的内容；
2. 先确认实验本身可信：分流单位是否合理、实验组对照组样本比例是否正常（排查 SRM）、是否存在新奇效应、两组差异是否确实只来自排序模型；

同一能力域的其他题

• 冷启动问题你会怎么处理？新用户和新物品的策略一样吗？请分别说。
• 离线 AUC 涨了但线上 CTR 没涨，你会按什么顺序排查？请给出具体清单。
• CTR 模型里为什么要用 GAUC 而不只看 AUC？GAUC 是怎么算的、它解决了什么问题？
• 特征工程里你会怎么做特征穿越（label leakage）的检查？请举一个推荐场景里常见的穿越例子。
• 你做过线上 A/B 实验，请说明分流、样本量、显著性判断的要点。如果一个实验 p 值不显著，你怎么处理？
• 你在做一个首页信息流的 CTR 模型，要加一维特征「用户过去 7 天在该一级类目下的点击率」。训练样本取自 8 月 1 日–8 月 7 日的曝光日志（每天约 2 亿条），你打算 1–6 日做训练、7 日做验证。请说明：这个特征的统计窗口在离线训练和线上 serving 分别应该怎么算？为什么不能直接对整份日志算一个「过去 7 天」的统计再 join 回每条样本？