线上服务要你对一个模型做上线前的效果预估，但没法直接做 A/B，你会怎么估？有多大把握？

面试官在考什么

考察离线评估的可信度认知与不确定性表达能力

线上A/B模型评估与调优交叉验证模型校准

回答框架 · 前两步

1. 用历史数据回放 + 逆概率加权（IPS）类方法估计新策略效果，前提是日志有随机曝光记录
2. 明确差距来源：训练/推理特征不一致、样本偏差与位置偏差、离线指标与业务目标错配

同一能力域的其他题

• 请解释偏差-方差权衡。如果一个模型训练误差很低、测试误差很高，你会怎么处理？
• L1 和 L2 正则的区别是什么？为什么 L1 能产生稀疏解？从几何角度解释一下。
• 样本极度不平衡（正样本 1%）时，你会怎么评估和建模？为什么不能只看准确率？
• 交叉验证有哪些方式？时间序列数据为什么不能用随机 K 折？你实际项目里怎么切？
• 你的模型预测概率偏高或偏低（校准差），怎么发现、怎么修？为什么 AUC 高不代表概率准？
• 你在一个 5 万样本、200 维特征的数据集上训练 GBDT 做二分类。结果：训练集 logloss 0.05，验证集 logloss 0.42；学习曲线显示训练样本量从 1 万加到 5 万时，验证集 logloss 仍在下降但还没有收敛趋势。请判断当前是偏差主导还是方差主导，并给出你接下来会做的三个具体动作，以及每个动作预期会观察到什么现象。