同一段路,三种距离:出租车走了 7 格,无人机飞了 5 单位,国王只需 4 步。
这不是魔法,而是不同的度量方式——数学上叫做范数 (Norm)。
Vector Norm · 为什么「距离」不止一种?
从你家 A 到朋友家 B,出租车只能沿街道走(不能斜穿),距离是多少?
出租车只能横着或竖着走...
同一段路,三种距离:出租车走了 7 格,无人机飞了 5 单位,国王只需 4 步。
这不是魔法,而是不同的度量方式——数学上叫做范数 (Norm)。
‖x‖ₚ = (|x₁|ᵖ + |x₂|ᵖ)^(1/p)
同一目标点,不同的"距离"
关键发现:L¹ 的菱形有尖角在坐标轴上——这就是 L¹ 正则化产生稀疏解的几何原因!
一个合格的范数必须满足:
非负性 · 齐次性 · 三角不等式
损失函数 = 预测误差 + λ × 参数的范数
为什么 L¹ 产生稀疏解?
实战指南:想自动筛选特征用 L¹ (Lasso),想防止过拟合用 L² (Ridge)。
三种常用范数:
核心公式:‖x‖∞ ≤ ‖x‖₂ ≤ ‖x‖₁
📚 下一章:Ch04 矩阵基础