CTR 模型有 2000 万维稀疏 ID 特征、10 亿训练样本。训练 loss 远低于验证 loss。团队在有限算力下提出四个方案:加 L2、加 dropout 0.5、把 embedding 从 16 维降到 8 维、加 early stopping。你负责排优先级并定正则策略。请具体到:稀疏 embedding 怎么正则、特征频率怎么用、early stopping 的验证集怎么切、算力成本怎么权衡。
面试官在考什么
在稀疏高维场景下,判断不同正则化手段的收益/成本,并给出分层治理策略。
回答框架 · 前两步
- 稀疏 ID 特征的长尾低频项是过拟合主因;优先做频率阈值/过滤和按频次分组的正则强度,而不是全局一个系数。
- L2/weight decay 成本低、稳定,应作为基线;early stopping 也是低成本强基线,但验证集必须独立于最终测试,且按时间切分。
还有 3 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。
延伸阅读
想看这个方向的整体准备路线? 进入「机器学习基础」方向页