Visualize-ML

← 目录Ch09 逆矩阵

Ch09 正交投影

Orthogonal Projection · 找最近点的艺术

🎮 投影：找最近点的艺术

投影无处不在

☀️ 影子就是投影！

太阳高度角60°

人站在地上，太阳光把人「投影」到地面上形成影子。
投影方向 = 光线方向
投影长度 = 高度 / tan(角度)

💡 数学本质

影子 = 三维物体在二维平面上的投影！
proj = (v · u / ‖u‖²) × u

☀️

影子

3D → 2D 投影

📍

导航

找最近点

📈

回归

投影到列空间

开篇

投影无处不在

☀️

影子

3D 物体 → 2D 地面

📍

导航

找道路上最近的点

📈

回归

数据投影到模型空间

核心思想：投影 = 在约束空间内找到离原始点最近的点，误差向量 ⊥ 投影方向。

9.1 向量投影

🎯 目标：理解 proj = (v·u/‖u‖²)u，误差 e = v - proj 垂直于 u

🎮 向量投影探索器

将向量 v 投影到方向 u 上，观察投影和误差分解

原向量 v = (3.0, 4.0)

x: y:

投影方向 u（自动归一化）

x: y:

投影 proj_u(v)

(3.00, 0.00)

误差 e = v - proj

(0.00, 4.00)

投影公式

proj_u(v) = (v·u/‖u‖²)·u = (v·û)·û

v·û = 3.00

‖e‖ = 4.00（最短距离）

proj · e = 0.0000 ≈ 0 ✓ 正交！

💡 核心理解：投影 proj 是 v 在方向 u 上的"影子"，误差 e 是垂直于 u 的分量。 v = proj + e，且 proj ⊥ e。投影是到直线的最近点。

9.2 正交基

🎯 目标：理解正交基让坐标计算简化为点积 cᵢ = v·eᵢ，无需解方程组

🎮 正交基与坐标

比较正交基和非正交基下的坐标计算

选择基类型

目标点 p = (3.0, 2.0)

x: y:

基向量性质

u₁ · u₂ = 0.000 ✓正交

✓ 标准正交

在基 (u₁, u₂) 下的坐标

(3.00, 2.00)

p = 3.00·u₁ + 2.00·u₂

坐标计算方法

✨ 正交基简化公式

c₁ = p · u₁ = 3.00

c₂ = p · u₂ = 2.00

💡 正交基优势：在正交基下，坐标可以直接通过点积计算（c = p·u），无需解方程组。这是傅里叶分析、PCA 等方法高效的核心原因。

9.3 投影矩阵

🎯 目标：理解 P = ûûᵀ 的性质：对称、幂等（P² = P）

🎮 投影矩阵探索器

观察投影矩阵 P = uuᵀ 的性质：对称、幂等

投影方向

x = 1.0y = 1.0

单位向量 û = (0.707, 0.707)

投影矩阵 P = ûûᵀ

0.500

投影矩阵性质

对称性 Pᵀ = P

✓ 对称

幂等性 P² = P

✓ 幂等

行列式

0.000

迹 (=秩)

1.000

📐 投影矩阵特性

• 对称：Pᵀ = P（正交投影）

• 幂等：P² = P（投影两次等于一次）

• det = 0：投影是降维操作

• tr = rank：迹等于投影空间维度

💡 理解：投影矩阵将任意向量映射到投影线上。多次投影结果不变（P²v = Pv），这就是"幂等性"的几何含义。

9.4 Gram-Schmidt 正交化

🎯 目标：理解如何将任意基变成正交基——逐个减去在已有向量上的投影

🎮 Gram-Schmidt 正交化

将一组向量正交化为标准正交基

v₁ = (2.0, 1.0)

x: y:

v₂ = (1.0, 2.0)

x: y:

演示步骤

原始向量

给定非正交的 v₁, v₂

正交化结果

e₁

(0.894, 0.447)

e₂

(-0.447, 0.894)

e₁ · e₂ = 0.0000 ≈ 0 ✓ 正交！

💡 Gram-Schmidt 核心：逐个处理向量，每次减去在已有正交向量上的投影。这保证新向量与所有之前的向量正交。QR 分解就是基于这个过程。

9.5 最小二乘法

🎯 目标：理解 x̂ = (AᵀA)⁻¹Aᵀb 是 b 在列空间上的投影，残差 ⊥ 列空间

🎮 最小二乘法可视化

最小二乘本质是投影：找到使误差平方和最小的拟合线

数据点（可编辑 y 值）

点1: x=1y=2.0

点2: x=2y=2.5

点3: x=3y=4.0

点4: x=4y=3.5

点5: x=5y=5.0

最佳拟合直线

y = 0.700x + 1.300

误差平方和 SSE

0.800

R² 决定系数

86.0%

残差（误差）

0.00

-0.20

0.60

-0.60

0.20

矩阵形式

最小化 ‖Ax - b‖²

解: x̂ = (AᵀA)⁻¹Aᵀb

本质：b 投影到 A 的列空间

💡 投影视角：最小二乘解 x̂ 使得 Ax̂ 是 b 在 A 列空间上的投影。残差 e = b - Ax̂ 垂直于列空间，这就是为什么误差平方和最小。

本章小结

投影是线性代数最重要的几何操作

核心公式

proj = (v·u / ‖u‖²) × u

P = A(AᵀA)⁻¹Aᵀ

x̂ = (AᵀA)⁻¹Aᵀb

投影矩阵性质

• 对称：Pᵀ = P

• 幂等：P² = P（投影两次 = 一次）

• 秩：rank(P) = tr(P) = 子空间维度

关键理解：

投影 = 找最近点
正交基让计算变简单
最小二乘 = 投影到列空间

📚 下一章：Ch10 数据投影