Visualize-ML

"自然的一般规律在大多数情况下不是直接的感知对象。"

"The general laws of Nature are not, for the most part, immediate objects of perception."

—— 乔治·布尔 (George Boole) | 英格兰数学家和哲学家 | 1815-1864

📦 Python工具箱

numpy.cov()

计算协方差矩阵

numpy.linalg.eig()

特征值分解

numpy.linalg.svd()

奇异值分解

sklearn.decomposition.PCA()

主成分分析

seaborn.heatmap()

绘制热图

seaborn.kdeplot()

核密度估计曲线

seaborn.pairplot()

成对分析图

14.1

随机变量的函数：以鸢尾花为例

Functions of Random Variables: Iris Example

随机变量的函数可以分为两类：线性变换（linear transformation）、非线性变换（nonlinear transformation）。线性变换是本章的核心内容。

🎲 随机变量的函数：以鸢尾花为例

Functions of Random Variables: Iris Dataset Example

变换类型

选择具体变换

鸢尾花数据：

X₁: 花萼长度
X₂: 花萼宽度
E(X₁) = 5.843
E(X₂) = 3.057

当前变换：X₁ - E(X₁)

变换公式

Y = X₁ - 5.843

样本计算示例

(5.1, 3.5) → 0.000

(4.9, 3.0) → 0.000

(7.0, 3.2) → 0.000

变换特性

✓ 保持线性关系

✓ 期望可加性

✓ 方差可预测

线性变换示例

去均值：X₁ - E(X₁)
中心化数据，期望变为0

标准化：(X₁ - E(X₁))/σ₁
Z-score，期望0方差1

线性组合：aX₁ + bX₂
加权求和，仿射变换

非线性变换示例

乘积：X₁ × X₂
面积、交互作用

比例：X₁ / X₂
形状指标、归一化

对数：ln(X₁)
压缩尺度、稳定方差

鸢尾花数据应用

特征工程目的：

发现新的线性关系
提高分类判别能力
改善正态性
识别离群值

图1展示内容：
经过6种变换后得到的成对特征散点图，展现不同变换对数据分布和关系的影响。

关键观察：

线性变换 — 期望E(aX+b) = aE(X)+b，方差var(aX+b) = a²var(X)
非线性变换 — 期望、方差需重新计算，分布形状可能改变
去均值 — 中心化数据，E(X-μ) = 0
标准化 — Z-score，E(Z)=0, var(Z)=1
乘积/比例 — 创建交互特征，非线性关系
对数变换 — 稳定方差，改善正态性

🎲

回顾：色子点数的"花式玩法"

我们在本书第3、4章聊过色子点数的"花式玩法"，
比如点数之和、点数平均值、点数之差、点数平方、点数之商等等。
这些"花式玩法"都可以叫做随机变量的函数。

📐 线性变换

定义

对于随机变量X₁和X₂，以下都是线性变换：

点数之和

Y = X₁ + X₂

点数之差

Y = X₁ - X₂

点数平均值

Y = (X₁ + X₂)/2

去均值

Y = X₁ - E(X₁)

标准化

Y = (X₁ - E(X₁))/std(X₁)

🎨 非线性变换

定义

线性变换之外的随机变量变换都统称为非线性变换：

平方

Y = X₁²

平方求和

Y = ∑Xⱼ²

乘积

Y = X₁ × X₂

比例

Y = X₁ / X₂

倒数

Y = 1/X₁

对数变换

Y = ln(X₁)

ECDF

经验分布累积函数，转换为(0,1)分位值

⚠️

重要提示

注意，经过转换后的随机变量，其分布类型、期望、方差等都可能会发生变化。

🌸 以鸢尾花数据为例

数据说明

鸢尾花数据的前4列特征分别为：

X₁：花萼长度（sepal length）
X₂：花萼宽度（sepal width）
X₃：花瓣长度（petal length）
X₄：花瓣宽度（petal width）

研究目标

假如在一个有关鸢尾花的研究中，为了进一步挖掘鸢尾花数据中可能存在的量化关系，
我们可以分析如下几个指标：

花萼长度去均值

Y₁ = X₁ - E(X₁)

花萼宽度去均值

Y₂ = X₂ - E(X₂)

花萼长度、宽度之和

Y₃ = X₁ + X₂

花萼长度、宽度之差

Y₄ = X₁ - X₂

花萼长度、宽度乘积

Y₅ = X₁ × X₂

花萼长度、宽度比例

Y₆ = X₁ / X₂

图1：成对特征散点图

图1所示为经过上述转换后得到的鸢尾花新特征之间的成对特征散点图（pairplot）。

这些新特征之间的成对关系中：

有些展现出明显的线性关系
有些特征更方便判别鸢尾花分类
有些特征展现出更好的"正态性"
有些则更容易发现"离群值"

思考练习

• 利用成对特征图分析更多鸢尾花特征的随机变量函数

• 依照同样的方法分析花瓣长度、宽度数据（X₃、X₄）

• 交叉分析花萼、花瓣量化关系

📊

从数据角度看

从数据角度来看，以上变换又叫数据转化（data transformation）。
这是《鸢尾花书：数据有道》一册的话题。

📝 14.1 关键要点总结

线性变换

• Y = aX + b（仿射变换）
• 加法、减法、数乘
• 去均值、标准化
• 期望和方差可预测

非线性变换

• 乘积、比例、平方
• 对数、指数、倒数
• ECDF分位变换
• 改变分布形状

鸢尾花应用

• 6种特征变换示例
• 成对特征散点图
• 发现新的关系
• 提高判别能力

重要性质

• 分布可能改变
• 期望可能改变
• 方差可能改变
• 需重新分析

✦

14.2

线性变换：投影视角

Linear Transformation: Projection Perspective

《矩阵力量》第25章介绍过随机变量的线性变换，我们部分内容"抄"过来。
本章后文会用鸢尾花数据展开讲解。

📐 线性变换：投影视角

Linear Transformation: Projection Perspective

变换类型

核心概念：

仿射变换
Y = aX + b
缩放 + 平移

一元随机变量线性变换

基本形式（公式1-2）

如果X为一个随机变量，对X进行函数变换，可以得到其他的随机变量Y：

Y = h(X)

特别地，如果h()为线性函数，则X到Y进行的就是线性变换：

Y = aX + b

其中，a和b为常数

期望变换（公式3）

E(Y) = E(aX + b)
= aE(X) + b

示例：
a = 2, b = 1
E(X) = 5
E(Y) = 2×5 + 1 = 11.00

方差变换（公式4）

var(Y) = var(aX + b)
= a²var(X)

示例：
a = 2
var(X) = 0.5
var(Y) = 2²×0.5 = 2.00

注意：平移b不影响方差

几何解释

Y = aX + b 相当于：

缩放（a）：改变尺度，影响方差
平移（b）：改变位置，影响期望

仿射变换（Affine Transformation）：
线性变换 + 平移向量的组合

关键观察：

一元变换 — Y = aX + b，期望E(Y) = aE(X)+b，方差var(Y) = a²var(X)
二元变换 — Y = aX₁ + bX₂，方差var(Y) = a²var(X₁) + b²var(X₂) + 2ab·cov(X₁,X₂)
单方向投影 — Y = vᵀχ，E(Y) = vᵀμ，var(Y) = vᵀΣv
正交系投影 — γ = Vᵀχ，E(γ) = Vᵀμ，var(γ) = VᵀΣV
PCA核心 — 选择Σ的特征向量作为V，使var(γ) = Λ对角化

📊 一元随机变量

基本定义（公式1-2）

如果X为一个随机变量，对X进行函数变换，可以得到其他的随机变量Y：

Y = h(X) (1)

特别地，如果h()为线性函数，则X到Y进行的就是线性变换：

Y = h(X) = aX + b (2)

其中，a和b为常数。

期望变换（公式3）

E(Y) = E(aX + b)
= aE(X) + b

方差变换（公式4）

var(Y) = var(aX + b)
= a²var(X)

注意：平移b不影响方差

几何解释

上式相当于几何中的缩放、平移两步操作。在线性代数中，上式相当于仿射变换（affine transformation）。

展开来说，在线性代数中，仿射变换是指一类在二维或三维欧几里得空间中的变换，
可以描述为一种线性变换和一个平移向量的组合。

对比：

仿射变换：线性变换 + 平移，Y = aX + b
纯线性变换：仅由矩阵乘法表达，可以缩放、旋转、镜像、剪切，但不能平移

📐 二元随机变量

基本形式（公式5-6）

如果Y和二元随机变量(X₁, X₂)存在如下关系：

Y = aX₁ + bX₂ (5)

(5)可以写成：

Y = [a b][X₁ X₂]ᵀ = vᵀχ (6)

期望（公式7-8）

Y和二元随机变量(X₁, X₂)期望之间存在如下关系：

E(Y) = E(aX₁ + bX₂)
= aE(X₁) + bE(X₂) (7)

(7)可以写成如下矩阵运算形式：

E(Y) = [a b][E(X₁) E(X₂)]ᵀ
= vᵀμ (8)

方差、协方差（公式9-12）

Y和二元随机变量(X₁, X₂)方差、协方差存在如下关系：

var(Y) = var(aX₁ + bX₂)
= a²var(X₁) + b²var(X₂) + 2ab·cov(X₁,X₂) (9)

(9)可以写成：

var(Y) = [a b][[var(X₁), cov(X₁,X₂)],
[cov(X₁,X₂), var(X₂)]][a b]ᵀ (10)

相信大家已经在上式中看到了如下协方差矩阵：

Σ = [[var(X₁), cov(X₁,X₂)],
[cov(X₁,X₂), var(X₂)]] (11)

也就是说，(10)可以写成：

var(Y) = [a b]Σ[a b]ᵀ
= vᵀΣv (12)

🎯 D维随机变量：朝单一方向投影

投影定义（公式13）

如果随机向量χ = [X₁, X₂, ..., X_D]ᵀ服从N(μ_χ, Σ_χ)，χ在单位向量v方向上投影得到Y：

Y = vᵀχ = v₁X₁ + v₂X₂ + ... + v_DX_D (13)

其中v是单位向量：||v|| = 1

Y的期望（公式14）

E(Y) = E(vᵀχ)
= vᵀE(χ)
= vᵀμ (14)

投影后的期望是原期望在v方向上的投影

Y的方差（公式15）

var(Y) = var(vᵀχ)
= vᵀΣv (15)

投影后的方差是二次型vᵀΣv

几何解释

投影的本质：

将D维数据投影到1维直线上
v是投影方向（单位向量）
Y = vᵀχ是χ在v方向上的标量投影
这是降维的一种方式

🔄 D维随机变量：朝正交系投影

投影定义（公式16）

χ = [X₁, X₂, ..., X_D]ᵀ服从N(μ_χ, Σ_χ)，χ在规范正交系V投影得到γ = [Y₁, Y₂, ..., Y_D]ᵀ：

γ = Vᵀχ (16)

其中V = [v₁, v₂, ..., v_D]是规范正交系：VᵀV = I

γ的期望（公式17）

E(γ) = E(Vᵀχ)
= VᵀE(χ)
= Vᵀμ (17)

质心在新坐标系中的坐标

γ的协方差矩阵（公式18）

var(γ) = var(Vᵀχ)
= VᵀΣV (18)

协方差矩阵在新坐标系中的表示

特殊情况：V是Σ的特征向量矩阵

如果V是协方差矩阵Σ的特征向量矩阵，即Σ = VΛVᵀ，则：

var(γ) = VᵀΣV
= VᵀVΛVᵀV
= Λ（对角矩阵）

🎯 重要结论：

新坐标系中的协方差矩阵是对角矩阵
各分量不相关
这就是主成分分析（PCA）的核心思想！

协方差性质

上式还告诉我们，v_iᵀχ和v_jᵀχ的协方差为：

cov(v_iᵀχ, v_jᵀχ) = v_iᵀΣv_j

如果V是特征向量矩阵，则v_iᵀΣv_j = 0（当i≠j时），
即不同方向的投影不相关

📝 14.2 关键要点总结

一元变换

• Y = aX + b
• E(Y) = aE(X) + b
• var(Y) = a²var(X)
• 仿射变换 = 缩放 + 平移

二元变换

• Y = aX₁ + bX₂
• E(Y) = vᵀμ
• var(Y) = vᵀΣv
• 涉及协方差矩阵

单方向投影

• Y = vᵀχ（v是单位向量）
• E(Y) = vᵀμ
• var(Y) = vᵀΣv
• D维 → 1维降维

正交系投影

• γ = Vᵀχ（V是正交系）
• E(γ) = Vᵀμ
• var(γ) = VᵀΣV
• V是特征向量 → PCA

✦

14.3

单方向投影：鸢尾花两特征为例

Single Direction Projection: Iris Two Features

本节以鸢尾花数据花萼长度、花萼宽度两特征为例讲解线性变换。
我们首先看两个最简单的例子，将数据分别投影到横轴、纵轴。然后再看更一般的情况。

🎯 单方向投影：鸢尾花两特征为例

Single Direction Projection: Iris Sepal Features

投影角度

角度θ: 0°

投影向量v：

v = [cos(0°), sin(0°)]
v = [1.000, 0.000]

原始数据统计：

μ₁ = 5.8433
μ₂ = 3.0573
σ₁² = 0.6856
σ₂² = 0.1899
cov = -0.0424

投影公式和结果

数据投影（公式20/26）

y = Xv = X[v₁, v₂]ᵀ

投影到x轴：y = x₁

随机变量投影（公式21/27）

Y = vᵀχ = v₁X₁ + v₂X₂

Y = X₁（花萼长度）

投影后的统计量

质心（公式23/28）

E(y) = E(Xv)
= [μ₁, μ₂][v₁, v₂]ᵀ
= v₁μ₁ + v₂μ₂

μ_Y = 5.8433

方差（公式25/29）

var(y) = vᵀΣv
= v₁²σ₁² + v₂²σ₂²
+ 2v₁v₂cov(X₁,X₂)

σ²_Y = 0.6856

σ_Y = 0.8280

特殊情况：投影到x轴（θ=0°）

v = [1, 0]ᵀ
Y = X₁（花萼长度）

E(Y) = 5.8433 cm
var(Y) = 0.6856 cm²

特殊情况：投影到y轴（θ=90°）

v = [0, 1]ᵀ
Y = X₂（花萼宽度）

E(Y) = 3.0573 cm
var(Y) = 0.1899 cm²

置信区间（马氏距离投影）

将椭圆（马氏距离d=1,2,3）投影到投影轴上，得到的线段分别代表：

±1σ

[5.02, 6.67]

±2σ

[4.19, 7.50]

±3σ

[3.36, 8.33]

这绝不是几何上的巧合！椭圆的马氏距离投影对应投影后的标准差倍数。

不同角度分析

0° (图2)：投影到x轴
花萼长度，方差最大

90° (图3)：投影到y轴
花萼宽度，方差较小

5° (图4)：略微倾斜
接近x轴方向

45° (图5)：对角方向
X₁和X₂等权重

75° (图6)：接近y轴
更偏向花萼宽度

-5° (图7)：顺时针倾斜
负角度示例

关键观察：

投影向量v — v = [cos(θ), sin(θ)]，单位向量定义投影方向
投影数据y — y = Xv，将2D数据投影到1D直线上
投影期望 — E(y) = vᵀμ，质心的标量投影
投影方差 — var(y) = vᵀΣv，二次型形式
椭圆投影 — 马氏距离d的椭圆投影为μ_Y ± d·σ_Y线段
角度影响 — 不同投影方向导致不同的方差，反映数据在该方向的分散程度

📊 投影到x轴（图2）

数据说明

鸢尾花数据矩阵为X = [x₁, x₂]，对应随机变量为χ = [X₁, X₂]ᵀ。

如图2所示，将X投影到横轴，即：

数据投影（公式20）

y = Xv = X[1 0]ᵀ = x₁

投影结果就是花萼长度数据

随机变量投影（公式21）

Y = vᵀχ = [1 0][X₁ X₂]ᵀ = X₁

随机变量Y就是X₁

统计量计算

X的质心（公式22）：

E(X) = [5.8433, 3.0573]ᵀ

y的质心（公式23）：

E(y) = E(Xv) = [5.8433, 3.0573][1 0]ᵀ = 5.8433

X的协方差矩阵（公式24）：

Σ_X = [[0.6856, -0.0424],
[-0.0424, 0.1899]]

y的方差（公式25）：

var(y) = vᵀΣ_Xv
       = [1 0][[0.6856, -0.0424],
                 [-0.0424, 0.1899]][1 0]ᵀ
       = 0.6856

马氏距离投影

注意，图2中椭圆代表马氏距离。
三个黑色旋转椭圆分别代表马氏距离为1、2、3。

将图2中三个椭圆也投影到横轴上，大家会发现得到的三条线段分别代表：
μ₁ ± σ₁、μ₁ ± 2σ₁、μ₁ ± 3σ₁

这绝不是几何上的巧合！
本章后续会展开讲解。

📐 投影到y轴（图3）

投影公式

如图3所示，将X投影到纵轴，即：

数据投影（公式26）

y = Xv = [x₁ x₂][0 1]ᵀ = x₂

投影结果就是花萼宽度数据

随机变量投影（公式27）

Y = vᵀχ = [0 1][X₁ X₂]ᵀ = X₂

随机变量Y就是X₂

y的质心（公式28）

E(y) = E(Xv)
= [5.8433, 3.0573][0 1]ᵀ
= 3.0573

y的方差（公式29）

var(y) = vᵀΣ_Xv
= [0 1]Σ_X[0 1]ᵀ
= 0.1899

🔄 其他投影方向（图4-图7）

更多投影场景

图4~图7所示为其他四个投影场景，请大家自己分析。

图4：逆时针5°

v = [cos(5°), sin(5°)]ᵀ
v ≈ [0.996, 0.087]ᵀ

略微倾斜，接近x轴方向

图5：逆时针45°

v = [cos(45°), sin(45°)]ᵀ
v ≈ [0.707, 0.707]ᵀ

对角方向，X₁和X₂等权重

图6：逆时针75°

v = [cos(75°), sin(75°)]ᵀ
v ≈ [0.259, 0.966]ᵀ

接近y轴，更偏向花萼宽度
μ_Y = 4.466（示例值）

图7：逆时针-5°

v = [cos(-5°), sin(-5°)]ᵀ
v ≈ [0.996, -0.087]ᵀ

顺时针倾斜，负角度示例

一般投影公式

对于任意角度θ，投影向量为：

v = [cos(θ), sin(θ)]ᵀ

投影后的统计量：

E(Y) = vᵀμ = cos(θ)·μ₁ + sin(θ)·μ₂
var(Y) = vᵀΣv
= cos²(θ)·σ₁² + sin²(θ)·σ₂²
+ 2cos(θ)sin(θ)·cov(X₁,X₂)

💻 Python代码

代码 Bk5_Ch14_01.py 绘制图2~图7。

📝 14.3 关键要点总结

投影到x轴

• v = [1, 0]ᵀ
• Y = X₁（花萼长度）
• E(Y) = 5.8433
• var(Y) = 0.6856

投影到y轴

• v = [0, 1]ᵀ
• Y = X₂（花萼宽度）
• E(Y) = 3.0573
• var(Y) = 0.1899

任意方向

• v = [cos(θ), sin(θ)]ᵀ
• E(Y) = vᵀμ
• var(Y) = vᵀΣv
• 6个示例（图2-7）

🎯 重要观察

椭圆（马氏距离d=1,2,3）投影到投影轴上，得到的线段对应μ_Y ± dσ_Y。
这揭示了马氏距离与投影方差之间的深刻联系！

✦

14.4

正交系投影：鸢尾花两特征为例

Orthogonal Projection: Iris Two Features

🔄 正交系投影：鸢尾花两特征为例

Orthogonal Projection: Iris Two Features

旋转角度

角度θ: 0.0°

正交系V：

V = [[cos(θ), -sin(θ)],
[sin(θ), cos(θ)]]

v₁ = [1.000, 0.000]
v₂ = [0.000, 1.000]

正交系投影公式

数据投影（公式31-32）

Y = XV
[y₁ y₂] = X[v₁ v₂]
= [Xv₁ Xv₂]

随机变量投影（公式33-34）

γ = Vᵀχ
[Y₁ Y₂]ᵀ = Vᵀ[X₁ X₂]ᵀ
= [v₁ᵀχ v₂ᵀχ]ᵀ

第一方向投影 Y₁（公式35-39）

投影向量v₁

v₁ = [cos(0.0°), sin(0.0°)]ᵀ
v₁ = [1.000, 0.000]ᵀ

随机变量（公式37）

Y₁ = cos(θ)X₁ + sin(θ)X₂

质心（公式38）

μ_Y₁ = 5.8433

方差（公式39）

σ²_Y₁ = 0.6856

σ_Y₁ = 0.8280

第二方向投影 Y₂（公式40-44）

投影向量v₂

v₂ = [-sin(0.0°), cos(0.0°)]ᵀ
v₂ = [0.000, 1.000]ᵀ

随机变量（公式42）

Y₂ = -sin(θ)X₁ + cos(θ)X₂

质心（公式43）

μ_Y₂ = 3.0573

方差（公式44）

σ²_Y₂ = 0.1900

σ_Y₂ = 0.4359

Y₁和Y₂的关系（公式45）

协方差

-0.0424

cov(Y₁,Y₂)

正交系投影交互（14.4 补充图）

切换 V 查看 Y = XV 在新坐标系下的分布与协方差

鍧囷拷?渭 = (5.843, 3.057)

危锟?[0.6811, -0.0422; -0.0422, 0.1887]

鍦ㄦ浜ょ郴 V 涓紝Y = XV锟?危_Y 锟?[0.681, -0.042; -0.042, 0.189]

瑙掑害胃: 0掳

📐 正交系定义

正交系V（公式30）

给定正交系V：

V = [[cos(θ), -sin(θ)],
[sin(θ), cos(θ)]]

这是一个旋转矩阵，VᵀV = I（正交矩阵）

数据投影（公式31-32）

如图8所示，数据X可以投影到正交系V中得到数据Y：

Y = XV

展开上式得到：

[y₁ y₂] = X[v₁ v₂]
= [Xv₁ Xv₂]

随机变量投影（公式33-34）

随机变量χ = [X₁, X₂]ᵀ投影到V得到γ = [Y₁, Y₂]ᵀ：

γ = Vᵀχ

展开上式得到：

[Y₁ Y₂]ᵀ = Vᵀχ
= [v₁ᵀχ v₂ᵀχ]ᵀ

⚠️ 注意

注意比较(31)和(33)的转置关系。
数据矩阵：Y = XV（右乘）
随机向量：γ = Vᵀχ（左乘转置）

📊 向第一方向投影

v₁定义（公式35）

先考虑X向v₁投影：

v₁ = [cos(θ), sin(θ)]ᵀ

数据投影（公式36）

y₁ = Xv₁

随机变量（公式37）

Y₁ = [X₁ X₂]v₁
= [X₁ X₂][cos(θ) sin(θ)]ᵀ
= cos(θ)X₁ + sin(θ)X₂

Y₁的质心（公式38）

E(Y₁) = E(Xv₁)
= [5.8433 3.0573][cos(θ) sin(θ)]ᵀ
= 3.0573sin(θ) + 5.8433cos(θ)

Y₁的方差（公式39）

var(Y₁) = v₁ᵀΣ_Xv₁
        = [cos(θ) sin(θ)]Σ_X[cos(θ) sin(θ)]ᵀ
        = -0.0424sin(2θ) + 0.2478cos(2θ)
          + 0.4378

📐 向第二方向投影

v₂定义（公式40）

同理，给定v₂：

v₂ = [-sin(θ), cos(θ)]ᵀ

注意：v₁和v₂正交，v₁ᵀv₂ = 0

数据投影（公式41）

y₂ = Xv₂

随机变量（公式42）

Y₂ = [X₁ X₂]v₂
= [X₁ X₂][-sin(θ) cos(θ)]ᵀ
= -sin(θ)X₁ + cos(θ)X₂

Y₂的质心（公式43）

E(Y₂) = E(Xv₂)
= [5.8433 3.0573][-sin(θ) cos(θ)]ᵀ
= -5.8433sin(θ) + 3.0573cos(θ)

Y₂的方差（公式44）

var(Y₂) = v₂ᵀΣ_Xv₂
        = [-sin(θ) cos(θ)]Σ_X[-sin(θ) cos(θ)]ᵀ
        = 0.0424sin(2θ) - 0.2478cos(2θ)
          + 0.4378

🔗 协方差

Y₁和Y₂的协方差（公式45）

cov(Y₁, Y₂) = v₁ᵀΣ_Xv₂
= [cos(θ) sin(θ)]Σ_X[-sin(θ) cos(θ)]ᵀ
= -0.2478sin(2θ) - 0.0424cos(2θ)

三角函数关系

利用如下三角函数关系：

sin(2θ) = 2sin(θ)cos(θ)
cos(2θ) = cos²(θ) - sin²(θ)

我们可以进一步整理(38)、(39)、(43)、(44)、(45)，这部分推导交给大家完成。

🎯 重要性质：方差之和为定值

方差和公式（公式48）

如图9所示，期望、方差、协方差随θ变化。
请大家特别注意Y₁和Y₂的方差之和为定值，即：

var(Y₁) + var(Y₂)
= [-0.0424sin(2θ) + 0.2478cos(2θ) + 0.4378]
+ [0.0424sin(2θ) - 0.2478cos(2θ) + 0.4378]
= 0.8756

重要结论：
无论θ取何值，var(Y₁) + var(Y₂)始终等于0.8756
这个值恰好等于原协方差矩阵的迹：tr(Σ_X) = σ₁² + σ₂² = 0.6856 + 0.1899 = 0.8756

📚 理论联系

以上内容实际上解释了鸢尾花书《矩阵力量》第18章中看到的曲线趋势。

📊 协方差矩阵Σ_γ

γ的协方差矩阵（公式49）

γ = [Y₁, Y₂]ᵀ的协方差矩阵Σ_γ为：

var(γ) = Σ_γ = VᵀΣ_XV

Σ_γ = [[var(Y₁), cov(Y₁,Y₂)],
[cov(Y₁,Y₂), var(Y₂)]]

图10：协方差矩阵可视化

图10所示为当θ取不同值时，协方差矩阵Σ_γ的三种不同可视化方案的变化情况。

⭐ 特殊角度：PCA

特别地，如图10(b)所示，当θ约为-4.85度时，
协方差矩阵Σ_γ为对角方阵。

这意味着：

Y₁和Y₂的相关性系数为0
两个投影方向完全不相关
这就是主成分分析（PCA）的核心！

方差极值

在图9中，我们可以发现，当θ约为-4.85度时：

var(Y₁)取得最大值
var(Y₂)取得最小值

如图11所示为数据矩阵在这个正交坐标系中投影的结果。
这一点对于本章后续要讲解的主成分分析非常重要。

📝 14.4 关键要点总结

正交系投影

• V = [[cos(θ), -sin(θ)], [sin(θ), cos(θ)]]
• 数据：Y = XV
• 随机变量：γ = Vᵀχ
• 两个正交方向同时投影

第一方向投影

• v₁ = [cos(θ), sin(θ)]ᵀ
• Y₁ = cos(θ)X₁ + sin(θ)X₂
• E(Y₁) = 3.0573sin(θ) + 5.8433cos(θ)
• var(Y₁) = -0.0424sin(2θ) + 0.2478cos(2θ) + 0.4378

第二方向投影

• v₂ = [-sin(θ), cos(θ)]ᵀ
• Y₂ = -sin(θ)X₁ + cos(θ)X₂
• E(Y₂) = -5.8433sin(θ) + 3.0573cos(θ)
• var(Y₂) = 0.0424sin(2θ) - 0.2478cos(2θ) + 0.4378

协方差与方差和

• cov(Y₁,Y₂) = -0.2478sin(2θ) - 0.0424cos(2θ)
• var(Y₁) + var(Y₂) = 0.8756（常数）
• 等于tr(Σ_X)，旋转不变
• Σ_γ = VᵀΣ_XV

🎯 PCA关键角度

θ ≈ -4.85°时：
• Σ_γ对角化，cov(Y₁,Y₂) = 0
• var(Y₁)最大，var(Y₂)最小
• 这就是主成分分析的核心思想！

✦

14.5

以椭圆投影为视角看线性变换

Linear Transformation from Ellipse Projection Perspective

本节将从椭圆投影视角理解随机变量的线性转换。

📊 以椭圆投影为视角看线性变换

Linear Transformation from Ellipse Projection Perspective

矩形类型

协方差矩阵参数：

σ₁ = 0.8280
σ₂ = 0.4358
λ₁ = 0.6939
λ₂ = 0.1817

"正"矩形（图12）

定义

如图12所示，三个"正"矩形的四条边分别和马氏距离为1、2、3的椭圆相切。

其中，和马氏距离为1的矩形相切的矩形的长、宽分别为2σ₁、2σ₂。

矩形面积

面积 = 4σ₁σ₂

= 4 × 0.8280 × 0.4358
= 1.4433

对角线长度

对角线 = √(σ₁² + σ₂²)
= √tr(Σ)

= 0.9357

1/4矩形（阴影区域）

上一章特别强调图12中阴影区域对应的1/4矩形。

面积：
σ₁σ₂ = 0.3608

对角线：
√(σ₁² + σ₂²) = 0.9357

这个值是其协方差迹的平方根：√tr(Σ) = √(σ₁² + σ₂²)

矩形边的位置

根据本章有关随机变量线性变换内容，如图12所示：

三个矩形"长边"所在位置：

μ₁ ± σ₁
μ₁ ± 2σ₁
μ₁ ± 3σ₁

"宽边"所在位置：

μ₂ ± σ₂
μ₂ ± 2σ₂
μ₂ ± 3σ₂

这并不是巧合！本节后续将用数学工具加以证明。

关键观察：

"正"矩形 — 边平行于坐标轴，长宽2σ₁和2σ₂，面积4σ₁σ₂
"主轴"矩形 — 边平行于椭圆主轴，长宽2√λ₁和2√λ₂，面积4√(λ₁λ₂)
对角线恒定 — 所有相切矩形的对角线长度相同，等于2√tr(Σ)
椭圆切线 — 法向量n = 2Σ⁻¹(p - μ)，用于计算旋转矩形
投影对应 — 矩形边的位置对应μ ± dσ，d=1,2,3

📐 "正"矩形（图12）

与椭圆相切的矩形

如图12所示，三个"正"矩形的四条边分别和马氏距离为1、2、3的椭圆相切。
其中，和马氏距离为1的矩形相切的矩形的长、宽分别为2σ₁、2σ₂。

矩形面积

上一章提到过，图12中这个大矩形的面积为：

面积 = 4σ₁σ₂

对角线长度

矩形对角线长度为：

对角线 = √(σ₁² + σ₂²)

1/4矩形（阴影区域）

上一章特别强调图12中阴影区域对应的1/4矩形。

1/4矩形的面积： σ₁σ₂

1/4矩形对角线长度： √(σ₁² + σ₂²)
这个值是其协方差迹的平方根：√tr(Σ) = √(σ₁² + σ₂²)

矩形边的位置

根据本章有关随机变量线性变换内容，如图12所示：

三个矩形"长边"所在位置：

μ₁ ± σ₁
μ₁ ± 2σ₁
μ₁ ± 3σ₁

"宽边"所在位置：

μ₂ ± σ₂
μ₂ ± 2σ₂
μ₂ ± 3σ₂

这并不是巧合！
本节后续将用数学工具加以证明。

🔄 "主轴"矩形（图13-14）

无数个旋转矩形（图13）

如图13所示，和马氏距离为1的椭圆相切的矩形有无数个。
观察这些矩形，大家能够发现它们的顶点位于正圆之上。

重要性质：
这意味着这些矩形的对角线长度相同，都是 2√(λ₁ + λ₂)。

想要证明这个观察，需要用到矩阵迹的性质，证明留给大家自行完成。

"主轴"矩形定义（图14）

除了图12中的"正"矩形之外，还有一个"旋转"矩形特别值得我们关注。
这就是图14所示的"主轴"矩形。

为什么叫"主轴"矩形？
因为这个矩形的四条边平行于椭圆的两条主轴（长轴、短轴）。

数学工具：特征值分解

而特征值分解协方差矩阵就是获得椭圆主轴方向、长轴长度、短轴长度的数学工具。

请大家根据上一章内容自行分析图14中和马氏距离为1椭圆相切的"主轴"矩形的几何特征。

请大家回忆协方差特征值分解得到的特征值和投影获得的两个分布的方差、标准差关系。

📏 椭圆切线（图15）

问题：如何绘制旋转矩形？

大家可能好奇如何绘制图13这组旋转矩形。

如图15所示，首先，计算椭圆圆心μ和椭圆上任意一点p切线的距离h。
2h就是矩形一条边长度。

而切线的梯度向量n可以用来定位矩形的旋转角度。
然后，根据矩形的对角线长度为2√(λ₁+λ₂)，我们便得到矩形另外一条边的长度。

问题：如何计算距离h和梯度向量n？

我们在《矩阵力量》第20章介绍过如何求解椭圆切线。

图15中椭圆的解析式（公式50）

(x - μ)ᵀΣ⁻¹(x - μ) - 1 = 0

p在椭圆上（公式51）

(p - μ)ᵀΣ⁻¹(p - μ) - 1 = 0

定义函数f(x)（公式52）

f(x) = (x - μ)ᵀΣ⁻¹(x - μ) - 1 = 0

梯度向量n（公式53-54）

f(x)对x求偏导便得到梯度向量n：

n = ∇f(x) = 2Σ⁻¹(x - μ) (53)

也就是说，图13中椭圆上p点处切线的法向量为：

n = 2Σ⁻¹(p - μ) (54)

上式用到了《矩阵力量》第17章的多元微分。

距离h的计算

切点p和椭圆圆心μ的距离向量p - μ，对应图13中的绿色箭头。
而距离h就是向量p - μ在梯度向量n上的标量投影。

💻 编程练习

有了以上推导，请大家自行编写代码绘制图14。

《可视之美》一册详细讲解过这段可视化代码。

✦

14.6

主成分分析：换个视角看数据

Principal Component Analysis: A New Perspective

下面以鸢尾花数据作为原始数据，
从随机变量的线性变换角度理解主成分分析。

🔄 PCA主成分分析：数据旋转可视化

Principal Component Analysis: Data Rotation Visualization

旋转角度

角度θ: 30.0°

图16-17

数据状态：

正交系逆时针旋转30.0°
数据顺时针旋转30.0°

正交旋转矩阵V

旋转矩阵

V = [[cos(θ), -sin(θ)],
[sin(θ), cos(θ)]]

V = [[0.866, -0.500],
[0.500, 0.866]]

数据变换

Y = X_c · V

(旋转中心化数据)

在新坐标系V中观察数据

旋转后的协方差矩阵Σ_new

σ₁₁_new

0.5250

var(Y₁)

σ₁₂_new

-0.2358

cov(Y₁,Y₂)

σ₂₂_new

0.3505

var(Y₂)

协方差矩阵：

Σ_new = VᵀΣV = [[0.5250, -0.2358],
[-0.2358, 0.3505]]

方差分布

Y₁方向方差：
0.5250 (较大)

Y₂方向方差：
0.3505 (较小)

方差和：
0.8755
(恒等于0.8756)

椭圆状态

椭圆旋转：
顺时针30.0°

主轴方向：
倾斜状态

非最优状态
继续旋转寻找最优角度

📊 图16-23参考

图16-17 (30°)：
正交系逆时针30°
数据顺时针旋转30°

图18-19 (45°)：
正交系逆时针45°
数据顺时针旋转45°

图20-21 (-30°)：
正交系逆时针-30°
数据顺时针旋转-30°

图22-23 (-4.85°)：
PCA最优角度！
第一、第二主成分方向

💡 理解要点

数据中心化： X_c = X - E(X)，移除均值

坐标旋转： 在不同角度的正交系中观察数据

寻找最优： 使var(Y₁)最大、cov(Y₁,Y₂)=0的角度

PCA本质： 找到数据变化最大的方向（主成分）

关键观察：

旋转不变量 — var(Y₁) + var(Y₂) = 0.8756，无论如何旋转
最优角度 — θ ≈ -4.85°时，协方差矩阵对角化
主成分方向 — v₁和v₂是协方差矩阵的特征向量
方差极值 — 最优角度时var(Y₁)最大，var(Y₂)最小
去相关化 — cov(Y₁,Y₂)在最优角度时为0
换个视角 — PCA本质是在最优坐标系中观察数据

📊 数据中心化和投影

步骤1：数据中心化

首先将鸢尾花花萼长度、花萼宽度数据中心化，即获得：

X_c = X - E(X)

图16所示为中心化数据的散点图。

步骤2：投影到正交系

将数据投影到角度为逆时针30度的正交系V = [v₁, v₂]中。
如前文所述，数据投影到正交系中好比在V中观察数据，如图17所示。

在V中，我们看到代表协方差矩阵的椭圆发生了明显旋转。
在v₁和v₂方向上，我们可以求得投影数据的分布情况。

🔄 多组投影角度示例

不同角度的投影

图18~图23所示为其他3组投影角度。

图16-17：30°旋转

正交系逆时针30度
数据顺时针旋转30度

图18-19：45°旋转

正交系逆时针45度
数据顺时针旋转45度

图20-21：-30°旋转

正交系逆时针-30度
数据顺时针旋转-30度

⭐ 图22-23：-4.85°旋转

最优化角度！
正交系逆时针-4.85度
数据顺时针旋转-4.85度

🎯 PCA角度

请大家格外注意图22和图23，这就是前文说的最优化角度。

这两幅图中的v₁和v₂分别为
第一、第二主成分方向。

📚

理论深入

本章仅仅从随机变量的线性函数角度介绍主成分分析，
本书第25章将深入介绍主成分分析。

《矩阵力量》第25章介绍过，
特征值分解协方差矩阵仅仅是主成分分析六条基本技术路径之一，
《数据有道》还会介绍其他路径，并做区分。

📝 第14章总结

随机变量的函数是指一个或多个随机变量组成的函数，其值也是一个随机变量。
它们可以用来描述随机变量之间的关系或随机事件的性质。

随机变量的函数在概率论和统计学中都有广泛的应用，
例如用于建立概率模型、描述随机事件的分布和性质、进行概率推断和预测等。

这一章，我们特别关注的是随机变量的线性变换。
这是指将一个随机变量通过一个线性函数转化为另一个随机变量的过程，
相当于线性代数中的仿射变换。

应用领域

随机变量的线性变换在统计学和概率论中经常被用来描述随机变量之间的关系，例如：

线性回归模型
协方差矩阵
主成分分析

通过线性变换，可以将随机变量从原始空间中转换到一个新的空间，
从而发现不同随机变量之间的联系和规律。

🔑 核心视角

请大家特别重视通过投影、椭圆视角理解随机变量的线性变换。