一个线性回归在训练集上 MSE 是 0.3,测试集 MSE 是 1.8。你加了 L2 正则并把 λ 从 0 调到 1,训练 MSE 变成 0.9、测试 MSE 变成 1.2。请解释为什么训练误差变差而测试误差变好,λ 继续增大会发生什么,以及你怎么选 λ。
面试官在考什么
是否理解正则化是用训练拟合度换泛化能力,λ 存在最优值而非越大越好,并知道 λ 的选法。
回答框架 · 前两步
- L2 惩罚参数幅度,等价于给假设空间加约束/先验,降低模型对训练集噪声的敏感度,即降方差;代价是模型拟合能力受限、偏差上升。
- 训练 MSE 从 0.3 升到 0.9 是偏差上升的必然结果;测试 MSE 从 1.8 降到 1.2 说明方差下降的收益超过了偏差上升的损失,总泛化误差下降。
还有 2 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。
延伸阅读
想看这个方向的整体准备路线? 进入「机器学习基础」方向页