Visualize-ML

📚 本章概览

取值为有限个或可数无穷个，对应概率质量函数 PMF

📊

PMF

📈

CDF

🎯

期望

📐

方差

4.1

随机：天地不仁，以万物为刍狗

随机试验与随机变量

在一定条件下，出现的可能结果不止一个，事前无法确切知道哪一个结果一定会出现，但大量重复试验中结果具有统计规律的现象称为随机现象。

🎲随机试验 (Random Experiment)

随机试验是指在相同条件下对某个随机现象进行的大量重复观测，需要满足：

①

可重复

在相同条件下试验可以重复进行

②

样本空间明确

能事先明确试验的所有可能结果

③

单次结果不确定

进行一次试验之前不能确定哪一个结果会出现

🔢

离散随机变量

所有取值能够一一列举，可以是有限个或可数无穷个

例子

• 抛硬币：{0, 1}
• 掷骰子：{1, 2, 3, 4, 5, 6}
• 鸢尾花标签：{C₁, C₂, C₃}

〰️

连续随机变量

取值对应全部实数或数轴上某一区间

例子

• 温度、身高、体重
• 花萼长度、花瓣宽度
• 时间、距离

✏️符号约定

X, Y, Z, X₁, X₂...

大写斜体：随机变量

x, y, z, x₁, x₂...

小写字母：随机变量的取值

Pr(X = x) 表示事件 {X = x} 的概率，x 是随机变量 X 的取值

📊两种概率分布函数

PMF

概率质量函数

Probability Mass Function

离散随机变量
p_X(x)

∫

PDF

概率密度函数

Probability Density Function

连续随机变量
f_X(x)

PMF 和 PDF 就是两种对样本空间概率为 1 "切片、切块"的不同方法

🎮 随机变量与 PMF

探索不同随机试验的概率质量函数

选择随机试验

期望值 E(X)

3.50

样本空间大小

|Ω| = 6

概率质量函数 PMF: p_X(x)

概率分布表

0.167

Σ p(x) = 1.000 = 1 (归一律)

PMF (概率质量函数) 描述离散随机变量在每个取值上的概率。所有概率之和为 1（归一律）。用 Σ 求和计算期望等统计量。

✅归一律

Σ_x p_X(x) = 1

遍历所有 X 取值，将它们的概率值求和，结果为 1。这就是"穷举法"，也叫归一律。

🔄随机变量的函数

对随机变量 X 进行函数变换，可以得到新的随机变量 Y：

Y = h(X)

线性变换

Y = aX + b

两变量运算

Y = X₁ + X₂, X₁ × X₂...

💡

随机变量的本质

随机变量是样本空间到实数集合的函数。它将试验结果映射为数值，方便我们用数学工具分析随机现象。

✦

4.2

期望值与方差

随机变量的数字特征

期望值是随机变量可能取值的加权平均，权重为概率。方差度量取值与期望的偏离程度。

⭐ 期望值 (Expectation)

E(X) = Σ_x x · p_X(x)

= x⁽¹⁾·p(x⁽¹⁾) + x⁽²⁾·p(x⁽²⁾) + ... + x⁽ⁿ⁾·p(x⁽ⁿ⁾)

随机变量的取值（标量）

p_X(x)

权重（概率质量函数）

📐期望的重要性质

线性E(aX) = a·E(X)

可加性E(X+Y) = E(X) + E(Y)

独立时E(XY) = E(X)·E(Y)

⭐ 方差 (Variance)

定义式

Var(X) = E[(X - E(X))²]

简便算法

Var(X) = E(X²) - [E(X)]²

方差度量随机变量与期望值的偏离程度，标准差 σ = √Var(X)

📊

E(X²)

样本以原点为基准的离散程度

🎯

-[E(X)]²

将基准从原点移到质心

🎮 期望与方差可视化

观察样本均值如何收敛到期望值

试验次数

理论值

E(X)3.50

Var(X)2.917

σ(X)1.708

样本统计量

样本均值0.000

误差-3.500

运行均值收敛到期望 E(X) = 3.5

期望值计算

E(X) = Σ x · p_X(x)

x = 1

× 1/6

0.167

x = 2

× 1/6

0.333

x = 3

× 1/6

0.500

x = 4

× 1/6

0.667

x = 5

× 1/6

0.833

x = 6

× 1/6

1.000

3.5

方差计算

定义式

Var(X) = E[(X - E(X))²]

简便算法

Var(X) = E(X²) - E(X)²

期望 E(X) 是随机变量取值的加权平均，权重为 PMF。随着试验次数增加，样本均值收敛到理论期望值（大数定律）。

🎲掷骰子：期望与方差计算

期望值

E(X) = (1+2+3+4+5+6) × 1/6

= 3.5

方差

Var(X) = Σ(x-3.5)²/6

≈ 2.917

💡

大数定律预告

随着试验次数增加，样本均值收敛到期望值。这就是大数定律的直观体现，后续章节将详细介绍。

✦

4.3

累积分布函数 CDF

累加：从 PMF 到 CDF

累积分布函数 (CDF) 是 PMF 的累加，表示随机变量小于等于某个值的概率。

⭐ 累积分布函数 CDF

F_X(x) = Pr(X ≤ x) = Σ_t≤x p_X(t)

累加从 X 最小值开始，截止于 X = x

F_X(x)

累积分布函数值

Pr(X ≤ x)

X 小于等于 x 的概率

📏利用 CDF 计算区间概率

Pr(a ≤ X ≤ b) = F_X(b) − F_X(a−1)

⚠️ 注意：对于离散随机变量，区间端点的开闭影响结果！

🎲区间开闭的影响（掷骰子）

Pr(1 ≤ X ≤ 3)

3/6 = 1/2

Pr(1 < X ≤ 3)

2/6 = 1/3

Pr(1 ≤ X < 3)

2/6 = 1/3

Pr(1 < X < 3)

1/6

连续随机变量就没有端点开闭的麻烦了

🎮 累积分布函数 CDF

理解 PMF 到 CDF 的累加过程

选择 x 值查看 F(x)

F_X(3) = Pr(X ≤ 3)

= 3/6 = 0.500

计算区间概率

下界 a

上界 b

Pr(2 ≤ X ≤ 5) = F(5) - F(1)

= 0.833 - 0.167 = 0.667

PMF: p_X(x) — 概率质量函数

CDF: F_X(x) = Pr(X ≤ x) — 累积分布函数

CDF 是 PMF 的累加：F_X(x) = Σ_t≤x p_X(t)。对于离散随机变量，CDF 是阶梯函数，每个取值处有一个跳跃。区间概率：Pr(a ≤ X ≤ b) = F(b) - F(a-1)。

📊CDF 的重要性质

①单调递增（非严格）

②F(-∞) = 0, F(+∞) = 1

③离散型 CDF 是阶梯函数，每个取值处有跳跃

💡

PMF 与 CDF 的关系

CDF 是 PMF 的累加，反过来 PMF 是 CDF 的差分。 p_X(x) = F_X(x) − F_X(x−1)

✦

4.4

二元离散随机变量

联合 PMF 与边缘化

同一个试验中有两个离散随机变量 X 和 Y，它们的联合概率可以用联合 PMF p_X,Y(x, y) 刻画。

⭐ 联合概率质量函数

p_X,Y(x, y) = Pr(X = x, Y = y)

事件 {X = x, Y = y} 发生的联合概率

p_X,Y(x, y) 是个二元函数，可以用热图或 3D 火柴梗图可视化

✅二元归一律

Σ_x Σ_y p_X,Y(x, y) = 1

热图中所有概率值求和结果为 1，与求和顺序无关。

📊

边缘 PMF of X

p_X(x) = Σ_y p_X,Y(x, y)

对 Y 的所有取值求和，"折叠" Y 维度

📊

边缘 PMF of Y

p_Y(y) = Σ_x p_X,Y(x, y)

对 X 的所有取值求和，"折叠" X 维度

🎮 二元联合 PMF 可视化

探索联合概率质量函数 p_X,Y(x, y)

视图模式

点击热图查看概率

点击热图选择一个点

归一律验证

ΣΣ p_X,Y(x,y) = 1.0000

联合 PMF 热图: p_X,Y(x, y)

X\Y

p_X

0.056

0.087

0.118

0.149

0.181

0.149

0.118

0.087

0.056

p_Y

0.06

0.09

0.12

0.15

0.18

0.15

0.12

0.09

0.06

1.00

低概率

高概率

边缘化公式

p_X(x) = Σ_y p_X,Y(x,y)

p_Y(y) = Σ_x p_X,Y(x,y)

联合 PMF p_X,Y(x,y) 描述二元离散随机变量 (X,Y) 在每个点 (x,y) 的概率。边缘 PMF 通过对另一维度求和（边缘化）得到。所有联合概率之和 = 1。

🎯二元随机变量的样本空间

样本空间 Ω

二元随机变量 (X, Y) 的样本空间是一个二维网格，每个点 (x, y) 对应一个概率值。

可视化方式

• 热图：颜色深浅表示概率
• 3D 火柴梗图：高度表示概率

🔄边缘化的几何意义

行求和：对热图每一行求和，得到 p_X(x)，显示在右侧

列求和：对热图每一列求和，得到 p_Y(y)，显示在下方

全部求和：所有边缘概率求和 = 所有联合概率求和 = 1

💡

联合→边缘，但边缘→联合？

从联合 PMF 可以求出边缘 PMF（通过边缘化），但从边缘 PMF 不能唯一确定联合 PMF（除非 X, Y 独立）。

✦

4.5

协方差、相关性系数

度量两个变量的线性关系

协方差度量两个随机变量共同变化的程度，相关系数是标准化的协方差，取值在 [-1, 1] 之间。

⭐ 协方差 (Covariance)

定义式

cov(X, Y) = E[(X - E(X))(Y - E(Y))]

简便算法

cov(X, Y) = E(XY) - E(X)E(Y)

协方差度量 X 和 Y 同向变化还是反向变化

⭐ 相关系数 (Correlation)

ρ_X,Y = cov(X, Y) / (σ_X · σ_Y)

取值范围：ρ ∈ [-1, 1]

ρ = -1

完全负相关

ρ = 0

线性无关

ρ = +1

完全正相关

🎮 协方差与相关性可视化

理解变量间的线性关系

选择相关类型

协方差

cov = 1.075

= E[(X-μ_X)(Y-μ_Y)]

📐协方差的重要性质

cov(X, a) = 0常数无协方差

cov(X, X) = var(X)自协方差=方差

cov(X, Y) = cov(Y, X)对称性

cov(aX, bY) = ab·cov(X, Y)线性

🔗方差与协方差的关系

var(aX + bY) = a²var(X) + b²var(Y) + 2ab·cov(X,Y)

这是一个二次型！

当 X 和 Y 独立时，cov(X,Y) = 0，公式简化为：

var(X + Y) = var(X) + var(Y)

🎯协方差的几何意义

第一、三象限点

(x - μ_X) 和 (y - μ_Y) 同号，乘积为正，贡献正协方差

第二、四象限点

(x - μ_X) 和 (y - μ_Y) 异号，乘积为负，贡献负协方差

💡

边缘概率：偏求和

相当于降维

边缘概率是某个事件发生的概率，而与其它事件无关。从联合分布计算边缘分布的过程叫做边缘化，本质是偏求和。

⭐ 边缘化公式

消去 Y，得到 X 的边缘分布

p_X(x) = Σ_y p_X,Y(x, y)

固定 x，对所有 y 求和

消去 X，得到 Y 的边缘分布

p_Y(y) = Σ_x p_X,Y(x, y)

固定 y，对所有 x 求和

🔢矩阵运算视角

行求和 → p_X(x)

联合 PMF 矩阵沿 Y 方向（列方向）求和，折叠得到行向量

列求和 → p_Y(y)

联合 PMF 矩阵沿 X 方向（行方向）求和，折叠得到列向量

降维过程

二维矩阵 → 一维向量 → 零维标量 (= 1)

🎮 边缘化可视化

理解偏求和与降维过程

显示边缘分布

p_X(x) - 行求和（右侧）p_Y(y) - 列求和（下方）

选择切片

固定 X = x（高亮列）

固定 Y = y（高亮行）

归一律验证

Σ p_X(x) = 1.0000

Σ p_Y(y) = 1.0000

联合 PMF p_X,Y(x, y) 与边缘分布

X\Y

p_X

0.00

0.01

0.00

0.049

0.00

0.01

0.00

0.076

0.01

0.02

0.01

0.113

0.01

0.02

0.03

0.02

0.01

0.161

0.01

0.02

0.03

0.06

0.03

0.02

0.01

0.203

0.01

0.02

0.03

0.02

0.01

0.161

0.01

0.02

0.01

0.113

0.00

0.01

0.00

0.076

0.00

0.01

0.00

0.049

p_Y

0.049

0.076

0.113

0.161

0.203

0.161

0.113

0.076

0.049

1.000

p_X(x) = Σ_y p_X,Y(x, y)

行求和 → 消去 Y

p_Y(y) = Σ_x p_X,Y(x, y)

列求和 → 消去 X

边缘化就是偏求和：对不关心的维度求和，"折叠"该维度。从二维联合分布可以得到两个一维边缘分布，相当于降维。边缘概率 p_X(x) 和 p_Y(y) 各自求和都等于 1。

📊几何视角：叠加火柴梗

p_X(x) 的几何意义

把联合分布 3D 火柴梗图中，不同 y 对应的火柴梗叠加，得到 X 的边缘分布

p_Y(y) 的几何意义

把联合分布 3D 火柴梗图中，不同 x 对应的火柴梗叠加，得到 Y 的边缘分布

反向视角：概率 1 沿 X、Y 两个方向"展开"，相当于切片、切丝

🔗与全概率定理的联系

边缘化本质上就是全概率定理的应用——对所有可能的条件穷举求和：

p_X(x) = Σ_y p(X=x, Y=y) = Σ_y p(X=x|Y=y) · p(Y=y)

💡

边缘分布丢失了什么？

边缘化过程中，变量间的关联信息被"折叠"掉了。从边缘分布 p_X(x) 和 p_Y(y) 无法还原联合分布 p_X,Y(x,y)，除非 X 和 Y 独立。

✦

4.7

条件概率：引入贝叶斯定理

从联合概率到条件概率

利用贝叶斯定理，可以从联合概率计算条件概率。条件概率本质上是一个归一化过程。

⭐ 条件概率质量函数

给定 Y = y

p_X|Y(x|y) = p_X,Y(x,y) / p_Y(y)

联合概率 ÷ 边缘概率

给定 X = x

p_Y|X(y|x) = p_X,Y(x,y) / p_X(x)

联合概率 ÷ 边缘概率

✅条件概率的归一化性质

Σ_x p_X|Y(x|y) = 1

对于每个固定的 y，条件概率对 x 求和为 1

Σ_y p_Y|X(y|x) = 1

对于每个固定的 x，条件概率对 y 求和为 1

关键理解：条件 Y=y 成为新的样本空间，概率为 1

🎮 条件概率 PMF 可视化

理解条件概率与联合、边缘概率的关系

选择条件类型

选择 Y 的值

贝叶斯公式

p_X|Y(x|4) = p_X,Y(x,4) / p_Y(4)

归一化验证

Σₓ p(x|Y=4) = 1.0000

✓ 条件概率求和 = 1

联合概率切片: p_X,Y(x, 4)

边缘概率 p_Y(4) = 0.2025 (归一化系数)

条件概率: p_X|Y(x|4)

联合切片 ÷ 边缘概率 = 条件概率（归一化过程）

对比：边缘 p_X vs 条件 p_X|Y形状不同 → 不独立

条件概率 p(X|Y=y) = p(X,Y) / p(Y) 是一个归一化过程：联合概率切片除以边缘概率，使条件概率求和为 1。条件 Y=y 成为新的样本空间。

📐几何视角：缩放过程

联合 → 条件

p_X,Y(x, y) 到 p_X|Y(x|y)：以边缘概率 p_Y(y) 作为归一化系数，将联合概率切片"缩放"为求和为 1 的分布

条件 → 联合

p_X|Y(x|y) 到 p_X,Y(x, y)：以边缘概率 p_Y(y) 作为缩放系数，反向恢复联合概率

🔗边缘概率 = 条件概率的加权平均

p_X(x) = Σ_y p_X|Y(x|y) · p_Y(y)

这就是全概率公式！边缘概率是条件概率的加权平均，权重为条件变量的边缘分布。

🔢矩阵运算视角

联合概率：矩阵 p_X,Y(x, y)

边缘概率：行向量 p_X(x) 或列向量 p_Y(y)

条件概率：矩阵 ÷ 向量 = 矩阵（用到广播原则）

p_X|Y(x|y) 的每一行求和为 1（每行是一个新样本空间）

💡

条件概率是二元函数

虽然 Y=y 是"条件"，但这个条件可以变动。所以 p_X|Y(x|y) 本质上也是关于 (x, y) 的二元函数，可以用矩阵表示。

✦

4.8

独立性：条件概率等于边缘概率

判断两个随机变量是否独立

如果 X 和 Y 独立，则条件概率等于边缘概率， Y 的取值不影响 X 的分布。

⭐ 独立性的等价定义

定义 1：条件概率 = 边缘概率

p_X|Y(x|y) = p_X(x)

给定 Y=y 后，X 的分布不变

⟺ 等价于

定义 2：联合概率 = 边缘概率乘积

p_X,Y(x,y) = p_X(x) · p_Y(y)

联合分布是两个边缘分布的张量积

🔄独立性的对称性

p_X|Y(x|y) = p_X(x)

Y 的取值不影响 X 的分布

p_Y|X(y|x) = p_Y(y)

X 的取值不影响 Y 的分布

对称性：X 和 Y 独立 ⟺ Y 和 X 独立

🎮 独立性可视化

条件概率 vs 边缘概率

选择分布类型

选择条件 Y = y

独立性检验

p(X|Y=y) ≈ p(X) ✓
条件概率 = 边缘概率

max|差异| = 0.0000

对比：p_X(x) vs p_X|Y(x|Y=4)

p_X(x) 边缘

p_X|Y(x|4) 条件

联合 PMF 热图

独立：概率沿行列均匀分布

关键判断：不管 Y 取什么值，条件分布 p(X|Y) 的形状都相同，都等于边缘分布 p(X)

独立性判断：若 X 和 Y 独立，则 p(X|Y=y) = p(X)，条件概率等于边缘概率。等价地，p(X,Y) = p(X)·p(Y)，联合概率等于边缘概率的乘积（张量积）。

📐几何视角：张量积

独立时的联合分布

把 p_X(x) 和 p_Y(y) 看成两个向量，联合分布 p_X,Y(x,y) = p_X(x) · p_Y(y) 相当于张量积（外积）

热图特征

独立时，热图的概率沿行和列均匀分布；不独立时，概率可能沿对角线集中

❌不独立的特征

条件分布随条件变化

当 Y 取不同值时，条件分布 p_X|Y(x|y) 的形状会改变

联合 ≠ 边缘乘积

p_X,Y(x,y) ≠ p_X(x) · p_Y(y)，存在相关性

🔗独立性与协方差的关系

X, Y 独立 ⟹ cov(X, Y) = 0

⚠️ 注意：反过来不一定成立！cov(X, Y) = 0 不能推出独立。协方差只能检测线性相关，无法检测非线性相关。

💡

独立性的重要性

独立性大大简化计算：联合分布 = 边缘分布乘积，方差可加 var(X+Y) = var(X) + var(Y)。很多统计方法都假设样本独立同分布 (i.i.d.)。

✦

4.9

鸢尾花数据示例

不考虑分类标签

用鸢尾花数据集的花萼长度 (X₁) 和花萼宽度 (X₂) 为例，通过离散化将连续数据转为离散随机变量。

📏 两把直尺

原始测量

精度 0.1 cm

例：5.3, 6.7, 4.9...

离散化后

round(2×d)/2

精度 0.5 cm（小数只有 0 或 5）

例：5.3 → round(2×5.3)/2 = round(10.6)/2 = 11/2 = 5.5

🎯离散化后的样本空间

X₁ 花萼长度 (8 个取值)

{4.5, 5.0, 5.5, 6.0, 6.5, 7.0, 7.5, 8.0}

X₂ 花萼宽度 (6 个取值)

{2.0, 2.5, 3.0, 3.5, 4.0, 4.5}

🌸 鸢尾花数据：联合与边缘 PMF

花萼长度 X₁ 与花萼宽度 X₂ 的离散化数据

显示模式

高亮 X₁ (花萼长度)

高亮 X₂ (花萼宽度)

数据统计

样本总数: 150

X₁ 取值: 8 个

X₂ 取值: 6 个

联合概率 p(x₁, x₂)

X₁\X₂

2.5

3.5

4.5

p_X₁

4.5

0.01

0.05

0.01

0.07

0.01

0.03

0.05

0.11

0.03

0.23

5.5

0.06

0.03

0.01

0.19

0.02

0.05

0.09

0.01

0.17

6.5

0.04

0.13

0.03

0.21

0.07

0.01

0.08

7.5

0.01

0.03

0.01

0.05

0.01

p_X₂

0.03

0.19

0.49

0.21

0.07

0.01

1.00

低

高

📏 离散化方法

离散值 = round(2 × 原始值) / 2

相当于用精度为 0.5 cm 的直尺测量，保留一位小数（0 或 5）

鸢尾花数据示例：将连续的花萼长度、宽度通过离散化转为离散随机变量。联合概率 = 频数/总样本数。边缘概率通过偏求和得到，所有概率之和 = 1。

🔢频数 → 概率

计算公式

p(x₁, x₂) = 频数(x₁, x₂) / 样本总数

例子

p(6.0, 2.0) = 3/150 = 0.02
即花萼长度 6.0 且宽度 2.0 的概率为 2%

📊边缘概率的计算

p_X₁(7.0) 的计算

= Σ_x₂ p(7.0, x₂) = 0 + 0 + 0.073 + 0.007 + 0 + 0 = 0.08

固定 X₁=7.0，对所有 X₂ 求和（偏求和）

p_X₂(2.0) 的计算

= Σ_x₁ p(x₁, 2.0) = 0 + 0.007 + 0 + 0.02 + ... = 0.027

固定 X₂=2.0，对所有 X₁ 求和（偏求和）

💡

离散与连续是相对的

鸢尾花原始数据本身也是"离散的"——仅保留一位小数。在数据科学领域，电子数据的离散、连续与否是相对的，取决于测量精度和建模需求。

✦

4.10

条件概率与独立性检验

期望、方差、张量积

继续用鸢尾花数据，计算期望值、方差，并通过条件概率检验独立性假设。

⭐ 期望与方差计算

期望值

E[X₁] = Σ x₁ · p_X₁(x₁)

= 4.5×0.073 + 5.0×0.23 + ... ≈ 5.83 cm

方差（简便公式）

var(X₁) = E[X₁²] - E[X₁]²

= 34.74 - 5.83² ≈ 0.67 cm²

🔢独立性假设：张量积

假设独立时

p(x₁, x₂) = p_X₁(x₁) · p_X₂(x₂)

联合概率 = 两个边缘概率的乘积（张量积/外积）

矩阵形式

[6×1 列向量] @ [1×8 行向量] = [6×8 矩阵]

p_X₂ @ p_X₁^T = 联合概率矩阵

🌸 条件概率与独立性检验

给定花萼长度，计算花萼宽度的条件分布

选择条件 X₁

样本数: 34

联合分布对比

X₁ 统计量

E[X₁] = 5.84 cm

E[X₁²] = 34.74 cm²

var(X₁) = 0.675 cm²

σ(X₁) = 0.822 cm

X₂ 统计量

E[X₂] = 3.06 cm

真实联合: p(x₁,x₂)

X₁\X₂

2.5

3.5

4.5

0.01

0.05

0.01

0.03

0.05

0.11

0.03

5.5

0.06

0.03

0.01

0.02

0.05

0.09

0.01

6.5

0.04

0.13

0.03

0.07

0.01

7.5

0.01

0.03

0.01

条件概率 p(X₂ | X₁ = 5)

Σ p(x₂|X₁=5) = 1.000 ≈ 1

独立性检验：比较不同 X₁ 条件下的条件分布形状，若形状相同则独立

条件概率计算：p(X₂|X₁) = p(X₁,X₂) / p(X₁)，每列求和为 1。期望与方差：E[X] = Σx·p(x)，var(X) = E[X²] - E[X]²。

📊条件概率的计算

给定 X₁ = 5.0

浅色区域成为新的样本空间，条件概率 p(X₂|X₁=5.0) 在该区域内求和为 1

贝叶斯公式

p(X₂|X₁) = p(X₁, X₂) / p(X₁)

联合概率除以边缘概率 = 归一化过程

📋条件概率是二元函数

p_X₂|X₁(x₂|x₁) 本质上是个二元函数，可以用矩阵表示。

每列求和 = 1

Σ_x₂ p(x₂|x₁) = 1 （对每个 x₁）

每列代表一个不同的条件样本空间

⚠️

独立假设的问题

比较真实联合分布与独立假设的分布，发现偏差较大。说明花萼长度 X₁ 和花萼宽度 X₂ 不独立—— 假设独立然后计算联合概率的方法需要谨慎使用。

📝 本章小结

4.1 随机变量

离散/连续
PMF/PDF

4.2 期望与方差

E(X)/Var(X)

4.3 累积分布CDF

PMF累加

4.4 二元随机变量

联合/边缘PMF

4.5 协方差相关性

cov/ρ

4.6 边缘概率

偏求和/降维

4.7 条件概率

贝叶斯/归一化

4.8 独立性

条件=边缘

4.9 鸢尾花示例

离散化/频数

4.10 条件与独立

E/var/张量积

📚 本章概览

随机：天地不仁，以万物为刍狗

🎲随机试验 (Random Experiment)

离散随机变量

连续随机变量

✏️符号约定

📊两种概率分布函数

🎮 随机变量与 PMF

✅归一律

🔄随机变量的函数

随机变量的本质

期望值与方差

⭐ 期望值 (Expectation)

📐期望的重要性质

⭐ 方差 (Variance)

E(X²)

-[E(X)]²

🎮 期望与方差可视化

🎲掷骰子：期望与方差计算

大数定律预告

累积分布函数 CDF

⭐ 累积分布函数 CDF

📏利用 CDF 计算区间概率

🎲区间开闭的影响（掷骰子）

🎮 累积分布函数 CDF

📊CDF 的重要性质

PMF 与 CDF 的关系

二元离散随机变量

⭐ 联合概率质量函数

✅二元归一律

边缘 PMF of X

边缘 PMF of Y

🎮 二元联合 PMF 可视化

🎯二元随机变量的样本空间

🔄边缘化的几何意义

联合→边缘，但边缘→联合？

协方差、相关性系数

⭐ 协方差 (Covariance)

⭐ 相关系数 (Correlation)

🎮 协方差与相关性可视化

📐协方差的重要性质

🔗方差与协方差的关系

🎯协方差的几何意义

相关 ≠ 因果

边缘概率：偏求和

⭐ 边缘化公式

🔢矩阵运算视角

🎮 边缘化可视化

📊几何视角：叠加火柴梗

🔗与全概率定理的联系

边缘分布丢失了什么？

条件概率：引入贝叶斯定理

⭐ 条件概率质量函数

✅条件概率的归一化性质

🎮 条件概率 PMF 可视化

📐几何视角：缩放过程

🔗边缘概率 = 条件概率的加权平均

🔢矩阵运算视角

条件概率是二元函数

独立性：条件概率等于边缘概率

⭐ 独立性的等价定义

🔄独立性的对称性

🎮 独立性可视化

📐几何视角：张量积

❌不独立的特征

🔗独立性与协方差的关系

独立性的重要性

鸢尾花数据示例

📏 两把直尺

🎯离散化后的样本空间

🌸 鸢尾花数据：联合与边缘 PMF

🔢频数 → 概率

📊边缘概率的计算

离散与连续是相对的

条件概率与独立性检验

⭐ 期望与方差计算

🔢独立性假设：张量积

🌸 条件概率与独立性检验

📊条件概率的计算

📋条件概率是二元函数