Visualize-ML

← 目录Ch02 向量运算

Ch02 向量运算

Vector Calculations · 不同运算解决不同问题

🎮 向量能做什么运算？

不同的运算，解决不同的问题

🎯 场景一：判断相似度

你有两篇文章的词向量 a 和 b。如何判断它们是否讨论相似的话题？

开篇

每种运算都有独特的几何意义

刚才的游戏告诉我们：加法用于位移，内积用于相似度，叉积用于找垂直方向。

本章将系统学习向量的各种运算及其几何意义。

2.1 向量长度与单位向量

🎯 目标：理解单位向量——保持方向，长度变为 1

🎮 单位向量

û = v / ‖v‖ — 保持方向，长度变为1

调节向量分量

x = 3

y = 4

原向量 v

[3, 4]ᵀ

‖v‖ = 5.00

单位向量 û

[0.600, 0.800]ᵀ

‖û‖ = 1.000

单位化公式

û = v / ‖v‖

= [3, 4]ᵀ / 5.00

= [0.600, 0.800]ᵀ

验证

‖û‖² = 0.600² + 0.800²

= 0.3600 + 0.6400 = 1.0000 ≈ 1 ✓

单位向量的作用

• 提取方向信息，忽略大小

• 余弦相似度只用单位向量

• 标准基 e₁, e₂ 都是单位向量

• 旋转矩阵的列是单位向量

单位向量 û 的终点始终在单位圆上

几何理解：单位向量只保留方向，所有单位向量的终点都在单位圆（球）上。

2.2 向量加减法

🎯 目标：理解平行四边形法则——对角线就是和向量

2.3 标量乘法

🎯 目标：理解向量的缩放和反向

🔬 实验：向量算术

🎯 目标：综合练习加法、减法、标量乘法

向量加减与标量乘

观察平移与缩放对向量的影响

A.x

A.y

B.x

B.y

标量 ss = 1.5

2.4 向量内积

🎯 目标：理解 a·b = ‖a‖‖b‖cos θ，内积=0 意味着正交

🎮 向量夹角

cos θ = (a·b) / (‖a‖·‖b‖)

夹角 θ = 45°

0°90°180°270°360°

内积 a·b

4.24

cos θ

0.707

锐角

a · b = 4.24

特殊角度

计算过程

a = [3, 0], b = [1.41, 1.41]

a·b = 3×1.41 + 0×1.41 = 4.24

‖a‖ = 3.00, ‖b‖ = 2.00

cos θ = 4.24 / (3.00×2.00) = 0.707

底部条：绿色=正内积，红色=负内积

核心洞察：内积 = 0 是判断两向量正交的关键条件，这在机器学习中极为重要！

🔬 实验：内积与夹角

🎯 目标：探索内积、夹角、余弦相似度的关系

内积与夹角

调整两向量，观察 cosθ、投影与余弦距离

A.x

A.y

B.x

B.y

dot(a,b) = 4.00

cosθ = 0.800

θ ≈ 36.9°

cosine distance = 0.200

2.5 向量投影

🎯 目标：理解投影——把向量「落」到另一个方向上

🎮 向量投影

proj_a(b) = (a·b / a·a) × a

向量 b 的角度 = 60°

b 长度

3.00

投影长度

1.50

误差长度

2.60

投影公式

proj_a(b) = (a·b / ‖a‖²) × a

= (6.00 / 16) × a = 0.38 × a

勾股定理验证

‖b‖² = ‖proj‖² + ‖error‖²

9.00 ≈ 2.25 + 6.75 = 9.00 ✓

投影的应用

• 最小二乘回归：y 投影到 X 列空间

• 正交分解：b = proj + error

• PCA：数据投影到主成分方向

• 信号处理：提取特定方向的分量

橙色 = 投影，红色虚线 = 误差（⊥ a）

关键性质：误差向量 ⊥ 投影方向，这保证了投影是"最近点"。

2.6 向量叉积

🎯 目标：理解叉积结果垂直于两个输入向量

叉积示意 (2.5D)

展示平面内两向量及其叉积大小（垂直高度）

A.x

A.y

B.x

B.y

[a×b] = (0.00, 0.00, 0.75)

面积 ≈ 0.75

2.7 逐项积 (Hadamard)

🎯 目标：理解对应元素相乘，结果仍是向量

🎮 逐项积 (Hadamard 积)

a ⊙ b = [a₁b₁, a₂b₂, a₃b₃]ᵀ

向量 a

a₁ = 2

a₂ = 3

a₃ = 4

向量 b

b₁ = 5

b₂ = 2

b₃ = 1

逐项积结果

a ⊙ b = [10, 6, 4]ᵀ

与内积的关系

a · b = sum(a ⊙ b)

= 10 + 6 + 4 = 20

应用场景

• 神经网络：激活函数逐元素应用

• 注意力机制：权重逐元素相乘

• 掩码操作：0/1 向量过滤

• 特征缩放：逐特征调整

可视化对比

记忆技巧：逐项积保持向量维度不变，内积把结果压缩成标量。

2.8 张量积 (外积)

🎯 目标：理解向量展开成矩阵，结果是秩-1 矩阵

🎮 张量积（外积）

a ⊗ b = a · bᵀ — 向量展开成矩阵

向量 a (2×1)

a₁ = 1

a₂ = 2

向量 b (2×1)

b₁ = 3

b₂ = 4

张量积结果 (2×2 矩阵)

计算过程

[1, 2]ᵀ×[3, 4]=

[[1×3, 1×4], [2×3, 2×4]]

矩阵秩

外积矩阵秩 ≤ 1

维度

2 × 2

(n×1)(1×m) = n×m

应用场景

• SVD：A = Σ σᵢuᵢvᵢᵀ（秩-1矩阵之和）

• 协方差矩阵：Σ = E[xxᵀ]

• 注意力机制：QKᵀ

• 神经网络：权重更新

几何可视化

核心性质：外积生成秩-1矩阵，任何矩阵都可分解为秩-1矩阵的和（SVD）。

本章小结

向量运算速查表

运算类型：

加法 a + b → 向量（位移）
标量乘 k·a → 向量（缩放）
内积 a·b → 标量（相似度）
投影 proj → 向量（最近点）
叉积 a×b → 向量（垂直方向）
逐项积 a⊙b → 向量（元素相乘）
张量积 a⊗b → 矩阵（展开）

核心公式：

内积 = 0 ⇔ 正交
投影误差 ⊥ 投影方向

📚 下一章：Ch03 向量范数