Visualize-ML

← 目录Ch17 二次型

Ch17 多元函数微分

Multivariable Calculus · 梯度指引下降方向

🎮 梯度：函数增长最快的方向

沿负梯度走，找到最低点！

🔍 点击等高线图探索

点击图中任意位置，观察该点的梯度方向。
梯度总是指向函数值增长最快的方向！

当前位置

(0.50, 0.80)

函数值 f

0.890

梯度 ∇f

[1.00, 1.60]

梯度模长

1.887

💡 核心洞察

梯度 ∇f = 各方向偏导数组成的向量
方向：函数增长最快
模长：最大变化率
垂直于等高线！

🔺

∇f

指向上坡最陡方向

🔻

-∇f

梯度下降方向

⭕

‖∇f‖=0

临界点（极值/鞍点）

开篇

微分是理解函数局部行为的钥匙

🔺

∇f

指向最陡上坡方向

🔻

-∇f

梯度下降方向

📐

Hessian 判断极值类型

17.1 梯度向量

🎯 目标：理解梯度 = 偏导数组成的向量，指向函数增长最快方向，垂直于等高线

🎮 梯度向量探索器

梯度指向函数增长最快的方向

选择函数

f(x,y) = x² + y²

当前点 (1.0, 1.0)

x: y:

函数值 f(x,y)

2.00

梯度模 |∇f|

2.83

梯度向量 ∇f

(2.00, 2.00)

指向函数增长最快方向

几何意义：梯度垂直于等值线，模表示最大变化率

梯度下降：沿负梯度方向移动可以最快减小函数值，这是优化算法的基础。

17.2 Hessian 矩阵

🎯 目标：理解 H 的正定/负定/不定决定极小/极大/鞍点

🎮 Hessian 矩阵探索器

二阶导数矩阵决定极值点类型

Hessian 矩阵 H（对称）

特征值

λ1

2.00

λ2

2.00

正定 → 极小值点

所有方向曲率为正，碗形向上

预设

二次型等值线 xᵀHx = c

二阶条件：梯度为零时，Hessian 正定→极小，负定→极大，不定→鞍点。这是优化中判断临界点类型的关键。

17.3 方向导数

🎯 目标：理解任意方向的变化率 = ∇f · u，沿梯度方向最大

🎮 方向导数探索器

D_u f = ∇f · u = |∇f| cos(θ)

方向角 θ = 45°

0°90°180°270°360°

特殊方向

梯度模 |∇f|

2.83

方向导数 D_u f

2.83

公式验证

D_u f = |∇f| · cos(θ)

= 2.83 × cos(0°) = 2.83

↗ 函数值沿此方向增加

方向导数：沿梯度方向最大，沿负梯度方向最小，垂直于梯度时为零。

17.4 泰勒展开

🎯 目标：理解一阶展开（切平面）和二阶展开（含曲率）的局部近似

🎮 多元泰勒展开

f(x) ≈ f(x₀) + ∇fᵀ(x-x₀) + ½(x-x₀)ᵀH(x-x₀)

展开阶数

二次近似：含 Hessian

测试点 (0.50, 0.50)

x: y:

真实值

0.750

2阶近似

0.750

误差

0.0000

展开公式 (在原点)

f ≈ x² + xy + y² (精确!)

对于二次函数，2阶展开是精确的

应用：1阶展开用于梯度下降，2阶展开用于牛顿法。展开点越近，近似越准。

17.5 梯度下降

🎯 目标：体验沿负梯度方向迭代逼近最小值的过程

🎮 梯度下降可视化

x(k+1) = x(k) - α∇f(x(k))

学习率 α = 0.10

0.01 (慢)0.5 (快/不稳)

迭代次数

f(x,y)

12.0000

当前位置

(2.000, 2.000)

|∇f| = 8.9443

优化进行中...

f(x,y) = x² + 2y²，最小值在原点

学习率影响：太小收敛慢，太大可能震荡甚至发散。自适应学习率（Adam等）可自动调节。

本章小结

微分是优化的基础

核心公式

∇f = [∂f/∂x₁, ..., ∂f/∂xₙ]ᵀ

D_u f = ∇f · u

f ≈ f(a) + ∇f·(x-a) + ½(x-a)ᵀH(x-a)

极值判定

• ∇f = 0：临界点

• H 正定：极小值

• H 负定：极大值

• H 不定：鞍点

📚 下一章：Ch18 拉格朗日乘子法