你的排序模型同时输出 pCTR、pCVR、pOrder 三个目标,线上融合为 score = pCTR^α · pCVR^β · pPrice^γ。上线一周后 CTR 涨了 3%、CVR 跌了 5%、GMV 基本持平。请回答:(a) 你怎么判断问题出在融合权重,还是出在 CVR 这个目标本身没学好;(b) 如果要用离线日志自动搜 α、β、γ,你的优化目标是什么,怎么避免搜出来的权重只是过拟合历史策略。
面试官在考什么
考察候选人能否把“多目标模型本身”和“融合公式”分开定位问题,以及是否意识到离线日志的反事实偏差。
回答框架 · 前两步
- 先分离两类问题:权重问题表现为各目标自身离线指标(AUC、校准)没有退化,只是组合后的线上行为变了;CVR 塔问题表现为 CVR 离线 AUC 下降、预估整体偏置、或正样本稀疏导致高估。
- CVR 的训练样本空间只有点击样本,推理时却要对全量曝光打分,存在样本空间偏差;需要用全样本空间上的乘法结构(pOrder = pCTR × pCVR)来建模或在损失里做相应校正。
还有 3 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。
同一能力域的其他题
- 推荐系统为什么要做多阶段(召回-粗排-精排-重排)而不是一个模型直接排?每一阶段的核心目标有什么不同?
- 双塔召回为什么必须最后才做用户侧和物品侧的交互?如果想加强交互能力,业界有哪些改进方向?
- 多目标排序里,你手上的 CTR、CVR、时长这几个目标怎么融合成一个排序分?各目标样本量差异很大怎么办?
- 某电商推荐场景,item 约 500 万,日活用户 2000 万,用户平均有效行为 40 条。行为分布极度长尾:Top 1% 的 item 吃掉了约 60% 的行为。你用 ItemCF 做召回,上线后发现不同用户的召回结果高度雷同,基本集中在几百个头部爆款上。请给出你会采用的 item 相似度计算公式(写清楚热门惩罚项放在哪一项),并回答两点:(a) 为什么惩罚要作用在相似度层面,而不是在召回打分阶段给热门 item 乘一个降权系数;(b) 一个只有 2 条历史行为、且都是长尾商品的用户,你怎么保证他仍有足够的召回量。
- 某电商推荐系统的 i2i 协同过滤召回已经跑了两年:物品 200 万,日活 500 万,日新增用户-物品行为 2 亿条,离线用余弦相似度按天全量重算共现矩阵。最近两个季度,头部 5% 的商品占据了约 60% 的召回曝光位,长尾和新品几乎拿不到量。你接手后,会怎么定位这到底是「相似度定义」的问题还是「链路结构」的问题,并给出你的改造方案与验证口径?
- 已知用户-物品二值行为矩阵(1 = 有过交互):u1={i1,i2,i3},u2={i2,i3,i4},u3={i3,i4},u4={i1}。请用 UserCF 给 u1 生成推荐:① 基于二值向量的余弦相似度,算出 u1-u2、u1-u3、u1-u4 分别是多少(保留两位小数);② 取 Top-2 邻居、按相似度加权,写出你会推给 u1 的物品和分数;③ 如果某个邻居是一个几乎什么都看过的超级活跃用户,这个打分公式会出什么问题,怎么改。