Visualize-ML

"上帝不仅玩骰子，他还有时把骰子扔到人类看不见的地方。"
—— 史蒂芬·霍金 (Stephen Hawking) | 英国理论物理学家、宇宙学家 | 1942 ~ 2018

📚 本章概览

离散 vs 连续

离散随机变量PMF + Σ

连续随机变量PDF + ∫

核心概念

• 概率密度函数 PDF
• 累积分布函数 CDF
• 期望、方差、标准差

6.1

一元连续随机变量

Univariate Continuous Random Variables

如果随机变量 X 的所有可能取值不可逐个列举，而是数轴上某区间内的任一点，我们称 X 为连续随机变量。

⭐ 概率密度函数 (PDF)

P(a ≤ X ≤ b) = ∫_a^b f_X(x) dx

概率 = PDF 曲线下的面积（定积分）

非负性

f_X(x) ≥ 0

归一化

∫_-∞^∞ f(x)dx = 1

🎯关键概念

⚠️ 单点概率为零

P(X = a) = ∫_a^a f(x)dx = 0
即使 f(a) > 0，单点的"面积"仍为0。"单丝不成线、独木不成林"

📐 区间端点无影响

P(a ≤ X ≤ b) = P(a < X < b) = P(a ≤ X < b) = P(a < X ≤ b)

📊 PDF 可大于 1

f(x) 是概率密度，不是概率！只要总面积为1即可。
例：U[0, 0.5] 的 PDF 高度为 2，但面积 = 0.5 × 2 = 1

📈 连续随机变量 PDF 与 CDF

概率密度函数与累积分布函数

均匀分布参数

下界 a: -1

上界 b: 2

计算区间概率

区间起点: 0

区间终点: 1

P(0 ≤ X ≤ 1)

0.3333

显示模式

统计量

X ~ U(-1, 2)

PDF高度 = 1/(b-a) = 0.333

E[X] = (a+b)/2 = 0.50

var(X) = (b-a)²/12 = 0.750

PDF: f_X(x)

PDF 特性

• f(x) ≥ 0 （非负）
• ∫f(x)dx = 1 （面积为1）
• f(x) 可以 > 1

CDF 特性

• F(x) = P(X ≤ x)
• 0 ≤ F(x) ≤ 1
• 单调递增

⚠️ 单点概率为零

对于连续随机变量，P(X = a) = 0。即使 f(a) > 0，单点的"面积"仍为0。因此 P(a ≤ X ≤ b) = P(a < X < b)。

概率密度函数 (PDF) 描述连续随机变量在各点的"概率密度"。概率 = PDF 曲线下的面积（积分），而非高度。

📈累积分布函数 (CDF)

定义

F_X(x) = P(X ≤ x) = ∫_-∞^x f_X(t) dt

CDF 的高度直接表示概率值

区间概率

P(a ≤ X ≤ b) = F_X(b) - F_X(a)

🔄PDF 与 CDF 的关系

PDF → CDF

F(x) = ∫_-∞^x f(t) dt

积分

CDF → PDF

f(x) = dF(x)/dx = F'(x)

求导

💡

连续 vs 离散的对应关系

概念	离散	连续
分布函数	PMF p(x)	PDF f(x)
运算	求和 Σ	积分 ∫
单点概率	> 0	= 0

✦

6.2

期望、方差和标准差

Expectation, Variance, and Standard Deviation

连续随机变量的期望值是加权积分，概率密度 f(x) 作为"权重"。这与离散情况的加权求和类似，积分可以看做是"极尽细腻"的求和。

⭐ 期望值公式

E[X] = ∫_-∞^∞ x · f_X(x) dx

加权平均：x 乘以"权重" f(x)，然后积分

权重满足归一化：∫ f(x) dx = 1

⭐ 方差公式

定义式

var(X) = E[(X - E[X])²]

计算式

var(X) = E[X²] - (E[X])²

X² 的期望

E[X²] = ∫ x² · f(x) dx

标准差

σ(X) = √var(X)

📐连续均匀分布 U[a, b]

PDF

f(x) = 1/(b-a)

期望

E[X] = (a+b)/2

方差

var(X) = (b-a)²/12

📊 连续随机变量的期望与方差

加权积分：概率密度作为权重

均匀分布 U[a, b]

下界 a: 0

上界 b: 1

显示模式

统计量

X ~ U(0, 1)

E[X] = (a+b)/2 = 0.500

E[X²] = (a²+ab+b²)/3 = 0.333

var(X) = E[X²] - (E[X])²

= 0.333 - 0.250

= 0.0833

σ(X) = √var = 0.2887

公式验证

var = (b-a)²/12

= (1-0)²/12

= 1.00/12

= 0.0833 ✓

PDF 与期望值位置

PDF f(x)E[X]±σ

期望值公式

E[X] = ∫ x · f(x) dx

加权平均，f(x) 作为权重

方差公式

var(X) = E[X²] - (E[X])²

"平方的期望 - 期望的平方"

🎯 几何解释

计算期望值 E[X] 相当于找到一块均质木板的质心在长度方向上的位置。对于均匀分布，质心恰好在中点 (a+b)/2。

期望值是概率密度加权的平均值：E[X] = ∫ x·f(x)dx。方差衡量离散程度：var(X) = E[(X-E[X])²] = E[X²] - (E[X])²。

🎯几何解释：质心

期望值 = 质心位置

计算 E[X] 相当于找到一块均质木板（形状由 PDF 决定）的质心在 x 轴上的位置。

降维与归纳

X 的取值在整个区间变化，但期望值 E[X] 是一个标量。这是一种总结归纳，也是降维。

🔢数值积分

并非所有 PDF 都有解析式，即使有也不一定能求出积分的解析解（如高斯函数）。此时需要数值积分或蒙特卡洛模拟来估算。

💡

期望与方差的意义

期望值描述分布的"中心位置"，方差描述分布的"离散程度"。方差越大，数据越分散；方差越小，数据越集中在期望值附近。

✦

6.3

二元连续随机变量

Bivariate Continuous Random Variables

同一试验中有两个连续随机变量 X 和 Y 时，它们的联合概率密度函数f_X,Y(x, y) 是一个曲面。概率对应体积（二重积分）。

⭐ 联合概率密度函数 (Joint PDF)

P((X,Y) ∈ A) = ∬_A f_X,Y(x, y) dx dy

概率 = 曲面在区域 A 上的二重积分（体积）

非负性

f_X,Y(x, y) ≥ 0

归一化（体积为1）

∬ f(x,y) dxdy = 1

📐概率与积分的对应

一元连续

积分：∫ f(x) dx

概率 = 面积

二元连续

积分：∬ f(x,y) dxdy

概率 = 体积

🌐 二元连续随机变量联合 PDF

Joint PDF 曲面与等高线

二元高斯参数

μ_X: 0

μ_Y: 0

σ_X: 1

σ_Y: 1

ρ (相关系数): 0

显示模式

关键公式

P((X,Y)∈A) = ∬_A f(x,y) dxdy

∬_-∞^∞ f(x,y) dxdy = 1

归一化条件

Joint PDF 曲面与 xy 平面围成的体积 = 1

联合概率密度函数 f_X,Y(x, y) 等高线图

高概率密度低概率密度均值点

概率 = 体积

一元连续：概率 = 面积（定积分）
二元连续：概率 = 体积（二重积分）

📈二元累积分布函数 (CDF)

定义

F_X,Y(x, y) = P(X ≤ x, Y ≤ y) = ∫_-∞^y∫_-∞^x f(s,t) ds dt

矩形区域概率

P(a < X < b, c < Y < d) = F(b,d) - F(a,d) - F(b,c) + F(a,c)

🗺️等高线可视化

二元 PDF 是三维曲面，常用等高线图或热图在二维平面上可视化。等高线连接相同概率密度值的点，类似地图上的等高线。

💡

从一元到多元

一元：PDF 是曲线，积分（面积）= 概率
二元：PDF 是曲面，二重积分（体积）= 概率
n 元：PDF 是超曲面，n 重积分（超体积）= 概率

✦

6.4

边缘概率：二元PDF偏积分

Marginal Probability Density Function

从联合 PDF f_X,Y(x, y) 得到边缘 PDF，需要进行偏积分—— 对一个变量积分，消去（降维、压扁）该变量。

⭐ 边缘概率密度函数

消去 Y → 得到 f_X(x)

f_X(x) = ∫_-∞^∞ f_X,Y(x, y) dy

消去 X → 得到 f_Y(y)

f_Y(y) = ∫_-∞^∞ f_X,Y(x, y) dx

边缘 PDF 满足归一化：∫ f_X(x) dx = 1，∫ f_Y(y) dy = 1

🎯几何理解：压扁曲面

沿 y 方向积分

固定 x 值，沿 y 方向"切片"
把切片面积累加 → f_X(x)
相当于把曲面压扁到 x 轴

沿 x 方向积分

固定 y 值，沿 x 方向"切片"
把切片面积累加 → f_Y(y)
相当于把曲面压扁到 y 轴

📊 边缘概率密度函数

从联合 PDF 到边缘 PDF：偏积分消去变量

二元高斯参数

σ_X: 1

σ_Y: 1.5

ρ (相关系数): 0.5

边缘 PDF 公式

f_X(x) = ∫_-∞^∞ f_X,Y(x,y) dy

f_Y(y) = ∫_-∞^∞ f_X,Y(x,y) dx

几何理解

消去 Y：沿 y 方向"压扁"曲面
消去 X：沿 x 方向"压扁"曲面
得到各自的一元 PDF

归一化

∫ f_X(x) dx = 1
∫ f_Y(y) dy = 1
边缘 PDF 面积均为 1

联合 PDF 与边缘 PDF

联合 PDFf_X(x)f_Y(y)

消去 Y → f_X(x)

固定 x，沿 y 方向积分
相当于把曲面"压扁"到 x 轴

消去 X → f_Y(y)

固定 y，沿 x 方向积分
相当于把曲面"压扁"到 y 轴

🔗 与离散情况的对应

离散：p_X(x) = Σ_y p_{X,Y}(x, y) — 偏求和

连续：f_X(x) = ∫ f_{X,Y}(x, y) dy — 偏积分

边缘 PDF 通过对联合 PDF 进行偏积分得到，相当于"消去"一个变量。这与离散情况的"偏求和"完全对应。

🔗连续与离散的对应

离散：偏求和

p_X(x) = Σ_y p_X,Y(x, y)

连续：偏积分

f_X(x) = ∫ f_X,Y(x, y) dy

两者本质相同：消去一个变量，得到另一个变量的分布

💡

边缘化 = 降维

"边缘化"(marginalization) 就是通过积分消去变量，实现降维。从二元分布得到一元分布，从 n 元分布得到更低维的分布。这在贝叶斯推断中非常重要。

✦

6.5

条件概率：引入贝叶斯定理

Conditional Probability Density Function

在给定 Y = y 的条件下，X 的条件概率密度函数通过贝叶斯定理得到：联合 PDF 除以边缘 PDF，实现归一化。

⭐ 条件概率密度函数

f_X|Y(x|y) — 给定 Y=y

f_X|Y(x|y) = f_X,Y(x,y) / f_Y(y)

f_Y|X(y|x) — 给定 X=x

f_Y|X(y|x) = f_X,Y(x,y) / f_X(x)

条件 = 联合 / 边缘|归一化后面积 = 1

🔄归一化过程

联合 PDF 切片：f_X,Y(x, y=c) — 固定 y 得到关于 x 的曲线

计算面积：∫ f_X,Y(x, y=c) dx = f_Y(c) — 面积等于边缘 PDF 值

归一化：除以 f_Y(c)，得到 f_X|Y(x|y=c)，面积变为 1

🎯 条件概率密度函数

贝叶斯定理：f(X|Y=y) = f(X,Y) / f(Y)

参数设置

σ_X: 1

σ_Y: 1.5

ρ (相关系数): 0.6

给定 Y = 1

条件分布统计量

给定 Y = 1

条件均值: 0.400

条件标准差: 0.800

贝叶斯定理

f_X|Y(x|y) = f_X,Y(x,y) / f_Y(y)

联合 / 边缘 = 条件

归一化

f_X,Y(x, y=1) 面积 ≈ 0.2130
这正是 f_Y(1) 的值
除以它后，条件 PDF 面积 = 1

比较边缘 PDF 与条件 PDF（给定 Y = 1）

f_X(x) 边缘f_{X|Y}(x|y) 条件

条件均值随 Y 变化

当 ρ > 0：Y 增大 → 条件均值增大
当 ρ < 0：Y 增大 → 条件均值减小
当 ρ = 0：条件均值 = 边缘均值

条件方差缩小

条件方差 = σ²_X(1-ρ²)
|ρ| 越大，条件方差越小
知道 Y 后，X 的不确定性降低

🔄 从联合到条件的过程

f_{X,Y}(x,y)→ 固定 y →f_{X,Y}(x,y=c)→ ÷f_Y(c) →f_{X|Y}(x|y=c)

条件 PDF 通过贝叶斯定理从联合 PDF 得到：f(X|Y) = f(X,Y)/f(Y)。除以边缘 PDF 实现归一化，使条件 PDF 面积为 1。

📊条件分布的特点（二元高斯）

条件均值随条件变化

E[X|Y=y] = μ_X + ρ(σ_X/σ_Y)(y - μ_Y)

ρ > 0 时，Y 越大，X 的条件均值越大

条件方差缩小

var(X|Y=y) = σ²_X(1 - ρ²)

|ρ| 越大，知道 Y 后 X 的不确定性越小

🔗联合、边缘、条件三者关系

f_X,Y(x, y) = f_X|Y(x|y) · f_Y(y) = f_Y|X(y|x) · f_X(x)

联合 = 条件 × 边缘（乘法法则）

💡

贝叶斯定理的核心作用

贝叶斯定理将联合分布转化为条件分布，同时完成归一化。这是贝叶斯推断的数学基础，在机器学习中无处不在。

✦

6.6

独立性：比较条件概率和边缘概率

Independence of Continuous Random Variables

如果 X 和 Y 独立，则条件 PDF 等于边缘 PDF：知道 Y 的值不会改变对 X 的认识。

⭐ 独立性的等价条件

条件 = 边缘 (1)

f_X|Y(x|y) = f_X(x)

条件 = 边缘 (2)

f_Y|X(y|x) = f_Y(y)

联合 = 乘积

f_X,Y = f_X·f_Y

以上三个条件相互等价，任一成立则 X 与 Y 独立

🧠直观理解

✅ 独立

知道 Y = y 后，对 X 的预测不变
条件 PDF 曲线与 Y 的取值无关
所有条件 PDF 曲线完全重合

❌ 不独立

知道 Y = y 后，对 X 的预测改变
条件 PDF 曲线随 Y 变化
不同 Y 值的条件 PDF 形状不同

🔗 独立性判断

独立时：条件 PDF = 边缘 PDF

📐二元高斯分布的独立性

ρ = 0 时独立

对于二元高斯分布，ρ = 0 是 X 与 Y 独立的充要条件。此时等高线椭圆的轴与坐标轴平行。

ρ ≠ 0 时不独立

当 ρ ≠ 0 时，等高线椭圆倾斜，条件分布的均值随条件变化，X 与 Y 不独立。

🔗连续与离散的对应

离散随机变量

p_X,Y(x,y) = p_X(x) · p_Y(y)

连续随机变量

f_X,Y(x,y) = f_X(x) · f_Y(y)

独立性的定义形式完全一致，只是符号从 p 变为 f

💡

独立性的重要意义

独立性大大简化计算：联合分布 = 边缘分布的乘积。在机器学习中，朴素贝叶斯假设特征独立，独立同分布 (i.i.d.) 是许多算法的基础假设。

✦

6.7

以鸢尾花数据为例：不考虑分类标签

Iris Data Example: Without Classification

以鸢尾花数据集的花萼长度 (X₁) 和花萼宽度 (X₂) 为例，通过核密度估计 (KDE)得到联合概率密度函数，并展示边缘 PDF 和剖面线。

⭐ 核密度估计 (KDE)

在每个数据点处放置一个核函数（如高斯核），叠加后得到连续的概率密度曲线/曲面。

带宽 h 小

更精细，可能过拟合

带宽 h 大

更平滑，可能欠拟合

🌸 鸢尾花数据联合 PDF（不考虑分类）

核密度估计 (KDE) 联合概率密度函数

KDE 带宽

h = 0.40

带宽越小越精细，越大越平滑

显示选项

固定 X₁ 查看剖面

数据信息

样本数: 114

X₁ (花萼长度): 4 ~ 8 cm

X₂ (花萼宽度): 1.5 ~ 4.5 cm

核密度估计

KDE 通过在每个数据点放置高斯核函数来估计连续的概率密度曲面。

联合 PDF f_X₁,X₂(x₁, x₂)

体积 = 1

∬ f(x₁,x₂) dx₁dx₂ = 1

偏积分 → 边缘

f_X₁(x₁) = ∫ f(x₁,x₂) dx₂

核密度估计 (KDE) 将离散数据点转化为连续的概率密度曲面。暖色区域表示样本密集，概率密度较高。

📐剖面线分析

固定 x₁ = c

f_X₁,X₂(x₁=c, x₂) 是关于 x₂ 的曲线
曲线下面积 = 边缘 PDF 值 f_X₁(c)

固定 x₂ = c

f_X₁,X₂(x₁, x₂=c) 是关于 x₁ 的曲线
曲线下面积 = 边缘 PDF 值 f_X₂(c)

📊关键公式回顾

归一化：体积 = 1

∬ f_X₁,X₂(x₁, x₂) dx₁ dx₂ = 1

边缘 PDF：偏积分

f_X₁(x₁) = ∫ f_X₁,X₂(x₁, x₂) dx₂

💡

PDF 值 vs 概率

f_X₁,X₂(6.5, 2.0) ≈ 0.02 是概率密度，不是概率！要计算概率，必须进行二重积分。单点的概率为 0，但概率密度值反映了该处样本的"密集程度"。

✦

6.8

以鸢尾花数据为例：考虑分类标签

Iris Data Example: With Classification Labels

以鸢尾花分类标签 Y ∈ {C₁, C₂, C₃} 为条件，分析条件联合 PDFf_X₁,X₂|Y(x₁, x₂ | Y = C_i)。每个类别有独立的概率密度曲面。

⭐ 三个分类标签

🌸 Setosa (C₁)

山鸢尾

花萼较小、宽

🌺 Versicolor (C₂)

变色鸢尾

中等大小

🌷 Virginica (C₃)

维吉尼亚鸢尾

花萼较大

🎯条件联合 PDF

f_X₁,X₂|Y(x₁, x₂ | Y = C_i)

含义：给定分类标签 Y = C_i，花萼长度和宽度的联合分布

估计方法：仅使用该类别的数据进行 KDE

归一化：每个条件 PDF 曲面与水平面围成的体积 = 1

🏷️ 鸢尾花数据条件 PDF（考虑分类标签）

给定分类标签 Y = C_i 的条件概率密度

选择分类标签

KDE 带宽

h = 0.30

Setosa (C₁)

样本数: 50

先验概率: P(Y=C₁) = 0.33

条件 PDF

f_X₁,X₂|Y(x₁,x₂|Y=C_i)

仅使用该类别的数据进行 KDE

f_X₁,X₂|Y(x₁,x₂ | Y = Setosa (C₁))

Setosa

体积 = 1

Versicolor

体积 = 1

Virginica

体积 = 1

🔗 全概率定理

f_X₁,X₂(x₁,x₂) = Σ_i f_X₁,X₂|Y(x₁,x₂|C_i) · P(Y=C_i)

条件概率加权求和 = 联合概率

给定分类标签后，每个类别有独立的条件联合 PDF。三个类别的条件 PDF 分布形状不同，反映了不同品种鸢尾花的特征差异。

🔗全概率定理：条件 → 联合

加权求和

f_X₁,X₂(x₁,x₂) = Σ_i f_X₁,X₂|Y(x₁,x₂|C_i) · P(Y=C_i)

先验概率

P(Y=C₁) = P(Y=C₂) = P(Y=C₃) = 1/3（鸢尾花数据各 50 个样本）

📊条件边缘 PDF

f_X₁|Y(x₁|Y=C_i)

给定分类，花萼长度的边缘分布
由条件联合 PDF 对 x₂ 偏积分得到

f_X₂|Y(x₂|Y=C_i)

给定分类，花萼宽度的边缘分布
由条件联合 PDF 对 x₁ 偏积分得到

💡

分类与贝叶斯推断

已知条件 PDF f(X|Y=C_i) 和先验 P(Y=C_i)，可通过贝叶斯定理计算后验 P(Y=C_i|X)，这正是贝叶斯分类器的核心思想！

📝 本章小结

6.1 一元连续

PDF/CDF

6.2 期望方差

加权积分

6.3 二元连续

体积=概率

6.4 边缘概率

偏积分

6.5 条件概率

贝叶斯

6.6 独立性

条件=边缘

6.7 鸢尾花例

KDE估计

6.8 分类条件

全概率