← 目录Ch03 向量范数
Ch03 向量范数

Vector Norm · 为什么「距离」不止一种?

🎮 先来玩个游戏

同一段路,为什么「距离」不一样?

你家 A朋友家 B(4, 3)L¹ = 7L² = 5.0L∞ = 4
🚕 场景一:打车去朋友家

从你家 A 到朋友家 B,出租车只能沿街道走(不能斜穿),距离是多少?

出租车只能横着或竖着走...

开篇
刚才的游戏揭示了一个关键问题

同一段路,三种距离:出租车走了 7 格,无人机飞了 5 单位,国王只需 4 步。

这不是魔法,而是不同的度量方式——数学上叫做范数 (Norm)。

3.1 动手试试:调节 p 值
🎯 目标:理解 ‖x‖ₚ = (|x₁|ᵖ + |x₂|ᵖ)^(1/p),观察 p 变化时范数和单位球形状如何变化

🎮 Lᵖ 范数探索器

‖x‖ₚ = (|x₁|ᵖ + |x₂|ᵖ)^(1/p)

选择 p 值
向量分量
x₁ = 3
x₂ = 4
‖x‖_2 = (|3|^2 + |4|^2)^(1/2)
5.000
范数比较
L∞
4.00
L²
5.00
L¹
7.00
‖x‖∞ ≤ ‖x‖₂ ≤ ‖x‖₁
xx₁x₂p = 2
蓝色 = 单位球, 橙色虚线 = 范数等高线经过 x
几何意义:p 越大,单位球越"方";p=1 是菱形,p=2 是圆,p=∞ 是正方形。
3.2 三种距离对比
🎯 目标:理解 L¹(街区)、L²(直线)、L∞(棋盘) 的现实含义

🎮 三种距离对比

同一目标点,不同的"距离"

目标点坐标
x = 4
y = 3
曼哈顿 L¹
7
|x|+|y|
欧氏 L²
5.00
√(x²+y²)
切比雪夫 L∞
4
max(|x|,|y|)
曼哈顿路径选择
所有路径长度都是 7(只能横走或竖走)
应用场景
L¹:城市街区、出租车费用、稀疏正则化
L²:直线距离、物理世界、Ridge 正则化
L∞:棋盘距离、瓶颈问题、最坏情况
O(4,3)曼哈顿 = 7欧氏 = 5.00切比雪夫 = 4
记忆口诀:曼哈顿走街区(横竖),欧氏走直线,切比雪夫走棋盘(斜向也算一步)。
3.3 单位球的形状
「距离=1」的所有点构成什么形状?

关键发现:L¹ 的菱形有尖角在坐标轴上——这就是 L¹ 正则化产生稀疏解的几何原因!

🔬 实验:p 从 1 到 ∞ 的连续变化
🎯 目标:观察单位球如何从菱形渐变为正方形
Lp 等高线对比
在同一平面上比较不同 p 的范数等高线形状
选择 p当前 p = 2
等高线数量4 层
比较:p=1(菱形) → p=2(圆) → p→∞(方形)
3.4 范数的三条公理
🎯 目标:验证非负性、齐次性、三角不等式

一个合格的范数必须满足:

  1. 非负性:‖x‖ ≥ 0,且 ‖x‖=0 当且仅当 x=0
  2. 齐次性:‖αx‖ = |α| · ‖x‖
  3. 三角不等式:‖x+y‖ ≤ ‖x‖ + ‖y‖

🎮 范数三公理

非负性 · 齐次性 · 三角不等式

公理 1:非负性
‖x‖ ≥ 0,且 ‖x‖ = 0 ⇔ x = 0
调节向量
x = 3
y = 4
‖v‖ =
5.000
✓ 范数 ≥ 0
v
范数 = 向量到原点的距离
核心意义:这三条公理保证了范数是"长度"的合理推广,满足我们对"大小"的直觉。
🔬 实验:三角不等式
🎯 目标:验证「走直线比走折线短」
三角不等式
动态展示 ||a+b||₂ ≤ ||a||₂ + ||b||₂ 及差距
A.x
A.y
B.x
B.y
||a+b||₂ = 4.24
||a||₂ + ||b||₂ = 4.47
差距(rhs - lhs)= 0.23
3.5 机器学习中的正则化
🎯 目标:理解为什么 L¹ 让参数稀疏,L² 让参数变小

损失函数 = 预测误差 + λ × 参数的范数

🎮 L¹ vs L² 正则化

为什么 L¹ 产生稀疏解?

正则化类型
约束强度 λ = 1.0
强约束弱约束
Lasso 正则化
min L(w) + λ·‖w‖₁
惩罚项 = |w₁| + |w₂|
解的位置
w* = [1.00, 0.00]ᵀ
⭐ 稀疏解!有分量为 0
几何解释
L¹ 约束是菱形,顶点在坐标轴上。 优化时,等高线更容易碰到顶点,导致某些权重 = 0。
w₁w₂ŵ (无正则化)w*损失等高线L¹ 约束(菱形)
解 = 损失等高线与约束区域的切点
应用选择:需要特征选择用 L¹(Lasso),只需防过拟合用 L²(Ridge)。

实战指南:想自动筛选特征用 L¹ (Lasso),想防止过拟合用 L² (Ridge)。

本章小结
范数 = 度量「大小」的方式

三种常用范数:

  • L¹ 曼哈顿:Σ|xᵢ| → 菱形 → 稀疏
  • L² 欧氏:√(Σxᵢ²) → 圆形 → 平滑
  • L∞ 切比雪夫:max|xᵢ| → 正方形 → 最坏情况

核心公式:‖x‖∞ ≤ ‖x‖₂ ≤ ‖x‖₁

📚 下一章:Ch04 矩阵基础