📖 本章概要
正则化通过在目标函数中引入正则项（惩罚项）来抑制过度拟合。 本章介绍三种正则化方法：岭回归（L2）、套索回归（L1）和弹性网络（L1+L2）， 从几何视角深入理解它们如何实现参数收缩和特征选择。
正则化：抑制过度拟合
Regularization: Preventing Overfitting
正则化通过在损失函数中添加惩罚项来约束模型复杂度。 正则项让参数变小甚至为0，这种现象称为特征缩减（shrinkage）。
⭕ L2正则（岭回归）
正圆约束，参数收缩
◇ L1正则（套索回归）
菱形约束，产生稀疏解
🔶 弹性网络
结合L1+L2优点
岭回归（Ridge Regression）
L2正则化的几何解释与系数路径
岭回归在OLS目标函数中引入L2正则项（参数平方和）， 目标函数为：min ||y - Xb||² + α||b||²₂。 L2正则项对应正圆约束，使参数向原点收缩，改善模型稳定性。
💡 5.2节小结
几何角度看岭回归
约束优化视角 + αI山岭矩阵
从另一个角度看待岭回归，岭回归可以看做是OLS线性回归问题，加一个约束条件：
subject to: ||b||² - c ≤ 0
约束条件中c是一个阈值，就是把回归参数限制在一定范围之内。 当D=2时，上式为一个正圆面，圆心位于原点，半径为√c。OLS对应的是旋转椭圆等高线和(9)正圆相切就是约束条件下优化解，也就是岭回归系数。
💡 5.3节小结
套索回归（LASSO Regression）
目标函数分解与系数路径
套索回归（Least Absolute Shrinkage and Selection Operator）引入L1正则项（参数绝对值和）， 目标函数为：min (1/2n)||y - Xb||² + α||b||₁。 L1正则项对应菱形约束，能够产生稀疏解，实现自动特征选择。
💡 5.4节小结
几何角度看套索回归
三维空间与 Lp 范数形状
类似地，本节从几何角度看套索回归。套索回归，可以看做是OLS线性回归问题，加一个约束条件：
subject to: ||b||₁ - c ≤ 0
约束条件中c是一个阈值，就是把回归参数限制在一定范围之内。 不考虑常数系数，D=2时：|b₁| + |b₂| ≤ c
上式为一个旋转正方形，中心位于原点，半径为√c。 OLS对应的是旋转椭圆等高线和正方形相切就是约束条件下优化解，也就是套索回归系数。
💡 5.5节小结
弹性网络回归（Elastic Net）
L1 + L2混合正则化
弹性网络回归同时引入L1和L2正则项， 目标函数为：min (1/2n)||y - Xb||² + α[ρ||b||₁ + (1-ρ)||b||²₂/2]。 参数ρ用来调节L1和L2的比例，结合了岭回归的稳定性和套索回归的稀疏性。
💡 5.6节小结
📋正则化回归方法总结
约束形状：正圆/正球
系数行为：收缩但不为0
特点：改善多重共线性，提高稳定性
应用：特征相关性强、需要保留所有特征
约束形状：菱形/菱形多面体
系数行为：部分系数=0（稀疏）
特点：自动特征选择
应用：高维数据、需要特征筛选
约束形状：圆角菱形
系数行为：稀疏+稳定
特点：结合L1+L2优点
应用：特征强相关+需要稀疏性
• 需要特征选择 → 套索回归
• 特征强相关 → 弹性网络
• 解释性要求高 → 套索/弹性网络
• 稳定性优先 → 岭/弹性网络