你用 LightGBM 训练一个 500 万行、300 维的二分类任务，参数是 num_leaves=1023、min_data_in_leaf=20、learning_rate=0.1、n_estimators=2000。训练集 AUC 0.995，验证集 0.70。你把 num_leaves 降到 63，验证集只升到 0.73。请给出你的排查顺序，以及每一步你要看什么指标来决定下一步。

面试官在考什么

考察排查问题时是否有优先级意识（先分清是过拟合还是数据／泄漏问题）、对 LightGBM 关键正则参数的理解，以及会不会用早停而不是硬堆树数。

GBDT/XGBoost/LightGBM

回答框架 · 前两步

1. 第一步先区分过拟合和数据问题，而不是直接调参：画出训练／验证 AUC 随迭代轮数的曲线。训练 AUC 0.995 属于异常高，优先排查特征泄漏（时间穿越、用到了未来信息、ID 类特征）和训练／验证分布不一致。
2. 若确认是过拟合：leaf-wise 生长在 num_leaves 大、min_data_in_leaf 小时会沿某条路径长得极深，单个叶子样本数很少，等于在记噪声。主旋钮是 min_data_in_leaf／min_sum_hessian_in_leaf、num_leaves、max_depth、lambda_l1／lambda_l2。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 避坑与冲刺：简历自洽、六种扣分话术、D-7 准备表

想看这个方向的整体准备路线？ 进入「机器学习基础」方向页

同一能力域的其他题

• GBDT 和 XGBoost 的关系是什么？XGBoost 相比 GBDT 做了哪些工程与数学上的改进？
• 特征重要性你一般怎么看？树模型的 gain 重要性和 permutation importance 各有什么局限？
• 你在做一个点击率预估模型，训练集 2000 万条，真实正样本率是 1%。你用带截距的逻辑回归训练完之后，验证集 AUC=0.78（看起来正常），但把验证集上的预测概率求平均得到 0.29。请说出你会按什么顺序排查，每一步的判据是什么。
• 某推荐场景有 3 亿条训练样本、2 万维特征（约 95% 的取值为 0，以稀疏 one-hot 为主）。业务要求：全量重训能在 2 小时内跑完，线上单次预测 p99 < 10ms，资源只有 CPU 集群、没有 GPU。现在有三个方案：(A) 逻辑回归 + FTRL 在线学习，边服务边更新；(B) 逻辑回归 + L-BFGS 离线全量重训，每天一次；(C) 直接换成 2 层 MLP。请给出你的选型，并说清楚在什么监控信号出现时你会推翻它。
• 线上一个 LR 二分类模型，每天全量重训，离线训练 AUC 稳定在 0.790，但近 7 天线上 AUC 从 0.780 单调掉到 0.762；模型容量、特征列表、样本量都没有改动。PM 要求本周内把模型换成 XGBoost 来提效果。你作为模型负责人，第一周会做什么？请给出你的归因顺序和判断依据。
• 一个 5 万样本、50 维的二分类任务，你直接用 SVC(kernel='rbf') 训练，跑了一小时没跑完、内存也吃紧。换成 LinearSVC 后 3 分钟训完，但验证集 F1 掉了 4 个点。请说明 RBF 核在这里慢在哪，并给出 2~3 条能同时保住效果的替代方案。