Visualize-ML

← 目录Ch21 矩阵微积分

Ch21 二次型与正定性

Positive Definiteness · 优化问题的几何本质

🎮 正定性：优化的关键

碗、倒碗还是马鞍？

🎛️ 矩阵参数

A = [2.0, 0.5; 0.5, 1.0]

a₁₁2.0

a₁₂ = a₂₁0.5

a₂₂1.0

📋 Sylvester 判据

Δ₁ = a

2.00 ✓

Δ₂ = det(A)

1.75 ✓

λ₁

2.21

λ₂

0.79

🥣 正定

xᵀAx > 0 对所有非零 x，函数有唯一极小值

开篇

正定性决定优化问题的性质

🥣

正定

碗状，唯一极小

🏔️

负定

倒碗，唯一极大

🐴

不定

马鞍，鞍点

📏

半定

槽/脊，退化

21.1 正定性分类

🎯 目标：理解正定/负定/不定/半定的定义及特征值判据

🎮 正定性判别器

xᵀAx 的符号由特征值决定

矩阵参数

a = 2.0

b = 0.5

c = 1.0

对称矩阵 A

2.0

0.5

1.0

λ₁

2.207

λ₂

0.793

正定 (Positive Definite)

曲面形状: 碗形（开口向上）

Sylvester 判据

Δ₁ = a = 2.00

Δ₂ = det = 1.75

正定: Δ₁ > 0 且 Δ₂ > 0

等高线形状反映正定性

判定规则：λ全正=正定，λ全负=负定，λ异号=不定，含λ=0=半定。

21.2 正定矩阵可视化

🎯 目标：观察正定矩阵的二次型曲面形状

🎮 正定矩阵探索器

调整对称矩阵元素，观察正定性判断

对称矩阵 A

a11 = 4

a12 = 2

a22 = 5

4.0

2.0

5.0

正定判断条件

✓对称：A = AT

✓首主子式 a11 = 4.00 > 0

✓det(A) = 16.00 > 0

✓特征值 λ1=6.56, λ2=2.44 > 0

✓ 正定矩阵

可以进行 Cholesky 分解

xTAx = 1 定义的曲线

正定矩阵对应椭圆，半正定对应退化椭圆

正定矩阵：对任意非零向量 x，都有 xTAx 大于 0。等价条件：所有特征值为正、所有主子式为正、存在 Cholesky 分解。

本章小结

正定性是优化理论的核心

判定方法

• 特征值：全正→正定

• Sylvester：顺序主子式全正

• 定义：xᵀAx > 0 ∀x≠0

优化意义

• H 正定 → 严格极小值

• H 负定 → 严格极大值

• H 不定 → 鞍点

• H 半正定 → 凸函数

📚 下一章：Ch22 数据与统计