你有 18 个月的付费用户行为日志，要训练'未来 7 天是否流失'的二分类模型并做超参搜索。团队用随机打乱的 5 折 KFold，得到 CV AUC 0.86；上线后第一周真实 AUC 只有 0.71，且同一用户会同时出现在训练折和验证折里。请说明这种 CV 方案为什么高估，并给出你会替换成的验证方案，包括切分方式和折数。

面试官在考什么

能否识别 i.i.d. 假设被破坏（时间顺序 + 用户重复）造成的验证泄漏，并给出可落地的切分方案与折数权衡。

交叉验证

回答框架 · 前两步

1. 随机 KFold 破坏样本独立性：同一用户不同时间点的样本跨折，模型等于把用户身份背下来；时间上未来信息也泄漏进训练集。
2. 应改为时间序列切分的滚动验证（expanding 或 sliding window），训练段与验证段之间留 embargo/gap，长度至少覆盖 7 天标签窗口。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 避坑与冲刺：简历自洽、六种扣分话术、D-7 准备表

想看这个方向的整体准备路线？ 进入「机器学习基础」方向页

同一能力域的其他题

• 请解释偏差-方差权衡。如果一个模型训练误差很低、测试误差很高，你会怎么处理？
• L1 和 L2 正则的区别是什么？为什么 L1 能产生稀疏解？从几何角度解释一下。
• 样本极度不平衡（正样本 1%）时，你会怎么评估和建模？为什么不能只看准确率？
• 交叉验证有哪些方式？时间序列数据为什么不能用随机 K 折？你实际项目里怎么切？
• 你的模型预测概率偏高或偏低（校准差），怎么发现、怎么修？为什么 AUC 高不代表概率准？
• 线上服务要你对一个模型做上线前的效果预估，但没法直接做 A/B，你会怎么估？有多大把握？