Visualize-ML

"我们仅仅是，川流不息河水里的，一个个涡漩。肉体灰飞烟灭，潮流浩浩荡荡。"
—— 诺伯特·维纳 (Norbert Wiener) | 美国数学家 | 1894 ~ 1964
"

📖本章概览

7.1 连续均匀分布

区间等概率分布，最简单的连续分布

7.2 高斯分布

最重要的概率分布，没有之一

7.3 ~ 7.5 其他分布

指数、对数正态、逻辑分布等

7.6 ~ 7.9 统计分布

t-分布、卡方、F、Beta、Dirichlet

🌐连续分布家族

均匀分布

高斯分布

逻辑分布

t-分布

对数正态

指数分布

卡方分布

Beta分布

✦

7.1

连续均匀分布

Continuous Uniform Distribution

连续均匀分布是离散均匀分布的连续版。随机变量 X 在区间 [a, b] 内取任意实数的概率密度相等，记作 Uniform(a, b) 或 U(a, b)。

⭐ 概率密度函数 (PDF)

f(x) = 1/(b-a), 当 a ≤ x ≤ b

f(x) = 0, 其他

期望

E(X) = (a+b)/2

方差

Var(X) = (b-a)²/12

📊 连续均匀分布 Uniform(a, b)

区间 [a, b] 上等概率分布

参数设置

下界 a2.0

上界 b8.0

样本数量

统计量

E(X) = (a+b)/2 = 5.00

Var(X) = (b-a)²/12 = 3.00

σ = 1.73

PDF 公式

f(x) = 1/(b-a) = 0.167

当 a ≤ x ≤ b

PDF 与随机样本直方图

面积 = 1

(b-a) × 1/(b-a) = 1

等概率

区间内任意点概率密度相等

连续均匀分布是最简单的连续分布。ECDF（经验累积分布函数）是样本的阶跃函数，随着样本量增加会逼近理论 CDF。

📈经验累积分布函数 (ECDF)

ECDF（Empirical Cumulative Distribution Function）是基于样本数据构建的 CDF 估计。

F̂_n(x) = (1/n) × Σ I(X_i ≤ x)

•ECDF 是在每个样本点跳跃 1/n 的阶跃函数
•F̂_n(x) 表示样本中小于等于 x 的比例
•随着样本量 n 增加，ECDF → 理论 CDF（大数定律）

🔷 面积 = 1

PDF 与 x 轴围成的矩形面积：
(b-a) × 1/(b-a) = 1
满足概率归一化条件

📍 期望在中点

E(X) = (a+b)/2
期望正好是区间的中点
均匀分布是对称的

🎲应用场景

随机数生成

U(0,1) 是所有随机数生成的基础

蒙特卡洛模拟

均匀采样用于数值积分

贝叶斯先验

无信息先验常用均匀分布

💡

从均匀到任意分布

通过逆变换采样，可以将 U(0,1) 随机数转换为任意分布的随机数：若 U ~ U(0,1)，则 X = F^-1(U) 服从 CDF 为 F 的分布。这是随机数生成的核心原理！

✦

7.2

高斯分布

Gaussian / Normal Distribution

高斯分布（正态分布）仿佛是宇宙表象下的终极秩序。它是"鸢尾花书"中回归分析、主成分分析、高斯朴素贝叶斯、高斯过程、高斯混合模型等内容的基础。

⭐ 一元高斯分布 PDF

f(x) = (1/σ√2π) exp(-(x-μ)²/2σ²)

均值（位置）

E(X) = μ

方差（宽度）

Var(X) = σ²

记号

N(μ, σ²)

📊 高斯分布 (正态分布)

最重要的概率分布，没有之一

分布类型

一元高斯参数

均值 μ0.0

标准差 σ1.0

一元高斯 PDF

f(x) = (1/σ√2π) e^{-(x-μ)²/2σ²}

统计量

E(X) = μ = 0.0

Var(X) = σ² = 1.00

σ = 1.00

N(0, 1.0) vs 标准正态 N(0,1)

68-95-99.7 法则

μ±σ: 68%, μ±2σ: 95%, μ±3σ: 99.7%

对称钟形曲线

关于 x=μ 对称，尾部快速衰减

高斯分布是自然界和社会现象中最常见的分布。μ 决定分布位置，σ 决定分布宽度。标准正态分布 N(0,1) 是 μ=0, σ=1 的特例。

📏68-95-99.7 法则（经验法则）

68%

μ ± 1σ 范围内

95%

μ ± 2σ 范围内

99.7%

μ ± 3σ 范围内

🎯标准正态分布 N(0, 1)

定义

μ = 0, σ = 1 的特殊高斯分布

标准化

Z = (X - μ) / σ ~ N(0, 1)

🎨二元高斯分布

二元高斯分布由 5 个参数决定：两个均值 μ₁, μ₂，两个标准差 σ₁, σ₂，以及相关系数 ρ。

(X₁, X₂) ~ N(μ, Σ)

协方差矩阵 Σ 决定椭圆等高线形态

ρ = 0

圆形（独立）

ρ > 0

正斜椭圆

ρ < 0

负斜椭圆

🌍高斯分布的重要性

中心极限定理

大量独立随机变量之和趋向于高斯分布

最大熵分布

给定均值和方差，高斯分布熵最大

机器学习

回归、PCA、高斯过程、GMM...

自然现象

身高、测量误差、股票收益...

💡

高斯 vs 拉普拉斯

拉普拉斯分布形式类似高斯，但在对称轴处有尖点（不可导）。拉普拉斯分布的尾部比高斯分布更"重"，在稀疏建模中常用作先验。

✦

7.3

逻辑分布

Logistic Distribution

逻辑分布的 PDF 形似高斯分布，但具有厚尾 (fat tail) 特性。它的 CDF 正是机器学习中著名的 Sigmoid 函数！

⭐ 逻辑分布公式

PDF

f(x) = e^-(x-μ)/s / [s(1+e^-(x-μ)/s)²]

CDF (Sigmoid)

F(x) = 1 / (1 + e^-(x-μ)/s)

参数 μ

位置（均值）

参数 s

形状（尺度）

📊 逻辑分布 (Logistic Distribution)

形似高斯，但有厚尾特性

参数设置

位置 μ0.0

形状 s0.55

显示选项

PDF 公式

f(x) = e^-(x-μ)/s / [s(1+e^-(x-μ)/s)²]

CDF（Sigmoid）

F(x) = 1 / (1 + e^-(x-μ)/s)

统计量

E(X) = μ = 0.0

Var(X) = π²s²/3 = 0.995

σ = πs/√3 = 0.998

PDF: Logistic(μ=0, s=0.55) vs 高斯分布

厚尾 (Fat Tail)

尾部比高斯分布更"厚"，极端值更常见

Sigmoid 函数

CDF 正是机器学习中的 Sigmoid 函数！

逻辑分布的 CDF 是著名的 Sigmoid 函数，广泛应用于逻辑回归和神经网络。与高斯分布相比，逻辑分布中心"稍瘦"但尾部更"厚"。

⚖️逻辑分布 vs 高斯分布

特性	逻辑分布	高斯分布
中心部位	稍瘦	标准钟形
尾部	厚尾	薄尾（快速衰减）
CDF 形式	Sigmoid（解析）	误差函数（无解析）
方差	π²s²/3	σ²

🧠Sigmoid 函数在机器学习中的应用

逻辑回归

将线性输出转换为概率 [0,1]

神经网络

经典激活函数（现多用 ReLU）

二分类

输出层概率解释

💡

厚尾分布的意义

厚尾分布对极端值更鲁棒。在金融、保险等领域，极端事件（如股灾）的发生频率比高斯分布预测的更高，因此厚尾分布更能准确建模这些现象。

✦

7.4

学生 t-分布

Student's t-Distribution

学生 t-分布由戈赛特 (Gosset) 于 1908 年提出，是厚尾分布的典型代表。当样本量小且总体方差未知时，t-分布用于假设检验和置信区间估计。

⭐ 学生 t-分布 PDF

f(x) = [Γ((ν+1)/2) / (√νπ · Γ(ν/2))] · (1 + x²/ν)^-(ν+1)/2

自由度

ν = n - 1

期望

E(X) = 0

方差

ν/(ν-2)

📊 学生 t-分布 (Student's t-Distribution)

厚尾分布，自由度 ν 越大越接近高斯

自由度 ν (df)

ν = 3

统计量

E(X) = 0 (ν > 1)

Var(X) = ν/(ν-2) = 3.00

厚尾明显

Gamma 函数

Γ(n) = (n-1)! 阶乘的推广
Γ(1/2) = √π

t(ν=3) vs N(0,1)

ν = 1: Cauchy 分布

极端厚尾，均值和方差都不存在

ν → ∞: 正态分布

自由度越大，越接近标准正态

不同自由度对比

ν=1

ν=3

ν=10

ν=30

N(0,1)

学生 t-分布是厚尾分布的典型代表。当样本量小且总体方差未知时，用 t-分布代替正态分布进行假设检验和置信区间估计。

ΓGamma 函数

Gamma 函数是阶乘的推广，将阶乘扩展到实数和复数范围。

Γ(n) = (n-1)!

n 为正整数

Γ(1/2) = √π

特殊值

Γ(ν+1) = ν · Γ(ν)

递推关系

ν = 1: Cauchy

极端厚尾
均值、方差不存在
尾部衰减极慢

ν 较小 (2~10)

明显厚尾
方差大于 1
小样本常见

ν → ∞: 正态

趋近标准正态
ν ≥ 30 近似
大样本收敛

📊t-分布的应用

t 检验

小样本均值假设检验
方差未知时的推断

置信区间

小样本均值区间估计
比正态分布更保守

💡

为什么用 t-分布？

当总体方差未知时，用样本方差估计会引入额外的不确定性。 t-分布的厚尾特性正好补偿了这种不确定性，使得统计推断更加可靠。

✦

7.5

对数正态分布

Log-Normal Distribution

如果随机变量 X 的对数 ln(X) 服从正态分布，则 X 服从对数正态分布。对数正态分布只能取正值，且具有明显的右偏特性。

⭐ 对数正态分布 PDF

f(x) = (1/xσ√2π) exp(-(ln x - μ)²/2σ²), x > 0

期望

E(X) = e^μ+σ²/2

方差

(e^σ²-1)e^2μ+σ²

📊 对数正态分布 (Log-Normal)

ln(X) 服从正态分布，X 只能取正值

参数设置

μ (ln X 的均值)0.0

σ (ln X 的标准差)0.50

统计量

E(X) = e^μ+σ²/2 = 1.133

Var(X) = 0.365

众数 = e^μ-σ² = 0.779

中位数 = e^μ = 1.000

右偏特性

平均值 > 中位数 > 众数
1.13 > 1.00 > 0.78

PDF: LogNormal(μ=0, σ=0.50)

只取正值

X > 0，适合建模非负量

右偏 (正偏)

长尾在右侧，均值 > 众数

对数正态分布：若 ln(X) ~ N(μ, σ²)，则 X 服从对数正态分布。常用于建模股票价格、收入分布、粒径分布等只能取正值且右偏的数据。

🔄正态 → 对数正态

Z ~ N(μ, σ²)

正态分布

→

X = e^Z

对数正态分布

对正态随机变量取指数，得到对数正态随机变量

众数 (Mode)

e^μ-σ²

最小

中位数 (Median)

e^μ

中间

均值 (Mean)

e^μ+σ²/2

最大

右偏分布：众数 < 中位数 < 均值

💼对数正态分布的应用

金融

股票价格、资产收益

社会科学

收入分布、城市人口

自然科学

粒径分布、矿物含量

💡

为什么数据常呈对数正态？

许多自然和社会现象是乘法过程的结果（如复利增长）。根据中心极限定理的乘法版本，大量独立随机变量的乘积趋向于对数正态分布。

✦

7.6

指数分布

Exponential Distribution

指数分布是泊松分布的连续版，描述泊松过程中事件之间的等待时间。它是唯一具有无记忆性的连续分布。

⭐ 指数分布公式

PDF

f(x) = λe^-λx, x ≥ 0

CDF

F(x) = 1 - e^-λx

期望

E(X) = 1/λ

方差

Var(X) = 1/λ²

率参数

λ > 0

📊 指数分布 (Exponential Distribution)

泊松过程中事件间隔时间的分布

参数 λ (率参数)

λ = 0.50

统计量

E(X) = 1/λ = 2.000

Var(X) = 1/λ² = 4.000

σ = 1/λ = 2.000

PDF 公式

f(x) = λe^-λx, x ≥ 0

PDF: Exp(λ=0.50)

不同 λ 值对比

λ=0.25

λ=0.5

λ=1

λ=2

λ 越大 → 衰减越快 → 期望值越小

无记忆性

P(X>s+t | X>s) = P(X>t)

与泊松分布

泊松过程事件间隔服从指数分布

指数分布是唯一具有无记忆性的连续分布。常用于建模等待时间、寿命、故障间隔等随机现象。

🧠无记忆性 (Memoryless Property)

P(X > s + t | X > s) = P(X > t)

含义：已经等待了 s 时间，还需要再等待 t 时间的概率，与从头开始等待 t 时间的概率相同。

直觉："过去不影响未来"——无论已经等了多久，剩余等待时间的分布保持不变。

泊松分布

描述固定时间内事件发生次数
离散随机变量
参数：λ（平均发生率）

指数分布

描述事件之间的等待时间
连续随机变量
参数：λ（平均发生率）

⏱️指数分布的应用

可靠性工程

设备故障间隔、寿命分析

排队论

顾客到达间隔、服务时间

物理过程

放射性衰变、分子碰撞

💡

λ 的两种解释

率参数：单位时间内事件的平均发生次数。尺度参数：1/λ 是平均等待时间。 λ 越大，事件发生越频繁，等待时间越短。

✦

7.7

卡方分布

Chi-Square Distribution (χ²)

卡方分布由赫尔默特 (Helmert) 于 1875 年提出。它是 k 个独立标准正态变量平方和的分布，广泛用于假设检验和置信区间估计。

⭐ 卡方分布定义

X = Z₁² + Z₂² + ... + Z_k² ~ χ²(k)

其中 Z_i ~ N(0,1) 相互独立

期望

E(X) = k

方差

Var(X) = 2k

自由度

df = k

📊 卡方分布 (Chi-Square Distribution)

k 个独立标准正态变量平方和的分布

自由度 k (df)

k = 3

统计量

E(X) = k = 3

Var(X) = 2k = 6

众数 = max(k-2, 0) = 1

定义

X = Σ Z_i² ~ χ²(k)

Z_i ~ N(0,1) 独立

形态变化

k<10: 明显右偏

PDF: χ²(3)

不同自由度对比

k=1

k=2

k=3

k=5

k=10

k 越大 → 期望越大 → 越接近正态分布

只取正值

X = Σ Z² ≥ 0，总是非负

马氏距离

马氏距离的平方服从 χ² 分布

卡方分布是 k 个独立标准正态随机变量平方和的分布。广泛用于假设检验（如卡方检验）、置信区间估计和马氏距离计算。

📊形态随自由度变化

k = 1

x=0 渐近线

k = 2

指数分布

k < 30

右偏分布

k ≥ 30

≈ 正态分布

📐卡方分布与马氏距离

D_M² = (x - μ)ᵀ Σ⁻¹ (x - μ) ~ χ²(k)

多元正态分布中，马氏距离的平方服从卡方分布

🧪卡方分布的应用

卡方检验

独立性检验、拟合优度检验

方差估计

样本方差的抽样分布

置信区间

方差的区间估计

💡

为什么是"平方和"？

平方和总是非负的，这与方差的定义一致。在统计推断中，样本方差的分布正是基于卡方分布，这使得我们可以对总体方差进行假设检验和区间估计。

✦

7.8

F-分布

F-Distribution

F-分布是两个独立卡方分布各除以其自由度后的比值的抽样分布。它在方差分析和回归分析中发挥核心作用。

⭐ F-分布定义

X = (S₁/d₁) / (S₂/d₂) ~ F(d₁, d₂)

其中 S₁ ~ χ²(d₁), S₂ ~ χ²(d₂) 相互独立

期望 (d₂ > 2)

E(X) = d₂/(d₂-2)

参数

d₁, d₂ > 0

📊 F-分布 (F-Distribution)

两个卡方分布比值的分布

自由度 d₁

d₁ = 5

自由度 d₂

d₂ = 10

统计量

E(X) = 1.250

众数 ≈ 0.500

定义

X = (S₁/d₁) / (S₂/d₂)

S₁~χ²(d₁), S₂~χ²(d₂)

PDF: F(5, 10)

Beta 函数

B(α, β) = Γ(α)Γ(β) / Γ(α+β)

F-分布的PDF涉及 Beta 函数

非对称性

F(d₁,d₂) ≠ F(d₂,d₁)

应用

ANOVA、回归显著性检验

F-分布是两个独立卡方分布除以各自自由度后的比值分布。广泛用于方差分析(ANOVA)和线性回归显著性检验。

🔢Beta 函数

B(α, β) = ∫₀¹ x^α-1(1-x)^β-1 dx

B(α, β) = Γ(α)Γ(β) / Γ(α+β)

Beta 函数在 F-分布的 PDF 公式中起关键作用。下一节的 Beta 分布也会用到这个函数。这个积分式在贝叶斯推断中也非常重要。

⚠️F-分布的非对称性

F(d₁, d₂) ≠ F(d₂, d₁)

F-分布中 d₁ 和 d₂ 的位置不可随意互换。 d₁ 称为分子自由度，d₂ 称为分母自由度，交换它们会得到完全不同的分布形态。

📊F-分布的应用

方差分析 (ANOVA)

比较多组样本均值是否相等
组间方差 vs 组内方差

线性回归

回归模型显著性检验
解释变异 vs 残差变异

卡方分布

F-分布由两个卡方分布构成

t-分布

t² ~ F(1, ν)

Beta 分布

PDF 中涉及 Beta 函数

💡

为什么是"比值"？

在假设检验中，我们常需要比较两个方差（或变异）是否相等。如果两个总体方差相等，那么样本方差的比值应该接近 1。 F-分布提供了这个比值的抽样分布，让我们能够判断观察到的比值是否显著偏离 1。

✦

7.9

Beta 分布

Beta Distribution — 概率的概率

贝叶斯推断是数据科学和机器学习的重要数学工具，而 Beta 分布在贝叶斯推断中扮演核心角色。它被称为"概率的概率"——用来描述对概率本身的不确定性。

⭐ Beta 分布公式

f(x) = x^α-1(1-x)^β-1 / B(α,β)

x ∈ [0, 1]，α > 0，β > 0

期望

E(X) = α/(α+β)

众数 (α,β >1)

(α-1)/(α+β-2)

归一化

B(α,β)

📊 Beta 分布 (Beta Distribution)

概率的概率 — 贝叶斯推断的基石

参数 α

α = 2.0

参数 β

β = 5.0

统计量

E(X) = α/(α+β) = 0.286

Var(X) = 0.0255

众数 = 0.200

形态

右偏（向左倾斜）

PDF: Beta(2.0, 5.0)

✨ 特殊情况

• Beta(1,1) = U(0,1)

• α = β 时对称

• α < 1, β < 1 → U形

• α > β → 左偏

定义域

x ∈ [0, 1]，适合建模概率

共轭先验

二项分布的共轭先验分布

Beta 分布定义在 [0,1] 区间，被称为"概率的概率"。它在贝叶斯推断中作为先验分布发挥核心作用，是二项分布参数的共轭先验。

🎨Beta 分布的形态多样性

α=β=1

均匀分布

α=β

对称分布

α>β

左偏分布

α<β

右偏分布

α,β<1

U 形分布

Beta(α,β) 实际上代表了一系列分布。通过调整 α 和 β 参数，可以得到从均匀分布到各种偏态分布的多种形态。

🧠Beta 分布与贝叶斯推断

先验×似然∝后验

Beta(α,β) × Binomial → Beta(α+成功, β+失败)

Beta 分布是二项分布的共轭先验。这意味着：先验是 Beta，观测是二项，后验仍是 Beta！这使得贝叶斯更新变得简单优雅。

🎯Beta 分布的应用

A/B 测试

建模转化率的不确定性

贝叶斯推断

概率参数的先验分布

质量控制

建模产品合格率

期望 (Mean)

E(X) = α/(α+β)

分布的"质心"，考虑所有值的加权平均

众数 (Mode)

(α-1)/(α+β-2)

PDF 最高点，贝叶斯推断中常用众数作为点估计

💡

为什么是"概率的概率"？

Beta 分布定义在 [0,1] 区间——正好是概率的取值范围。当我们不确定某个事件的真实概率是多少时，可以用 Beta 分布来表达这种不确定性。例如：我们相信某硬币正面概率在 0.4 到 0.6 之间，可以用 Beta 分布来建模这种信念。

✦

7.10

Dirichlet 分布

狄利克雷分布 — 多元 Beta 分布

Dirichlet 分布本质上是多元 Beta 分布。它定义在单纯形（simplex）上，常作为贝叶斯统计的先验概率，在主题模型等机器学习算法中广泛应用。

⭐ Dirichlet 分布公式

f(x₁,...,x_K) = (1/B(α)) · ∏ x_i^α_i-1

约束：x_i ∈ [0,1]，∑x_i = 1

期望

E(x_i) = α_i/α₀

浓度参数

α₀ = ∑α_i

多元 Beta 函数

B(α) = ∏Γ(α_i)/Γ(α₀)

📊 Dirichlet 分布 (狄利克雷分布)

多元 Beta 分布 — 概率向量的分布

参数 α₁

α₁ = 2

参数 α₂

α₂ = 2

参数 α₃

α₃ = 2

期望

E(x₁) = α₁/α₀ = 0.333

E(x₂) = α₂/α₀ = 0.333

E(x₃) = α₃/α₀ = 0.333

α₀ = 6

PDF: Dir(2, 2, 2) — 单纯形可视化

🔺 单纯形约束

Dirichlet 分布定义在单纯形上：所有 x_i ≥ 0 且 Σx_i = 1。对于 K=3，这是一个三角形区域。颜色越亮表示概率密度越高。

多元 Beta

Beta 分布的多维推广

共轭先验

多项分布的共轭先验

Dirichlet 分布是多元 Beta 分布，定义在单纯形上。它常作为多项分布的共轭先验，在主题模型 (LDA) 等机器学习算法中广泛应用。

🔺单纯形 (Simplex)

x₁ + x₂ + ... + x_K = 1，x_i ≥ 0

Dirichlet 分布定义在单纯形上——所有分量非负且和为 1 的向量构成的空间。

对于 K=3，这个约束定义了三维空间中的一个三角形平面。我们可以用重心坐标系来可视化这个分布。

📐K=3 的特例

x₁ + x₂ + x₃ = 1

三个变量满足此约束，构成三维空间中的三角形"画布"

给定 x₁ 和 x₂，则 x₃ = 1 - x₁ - x₂ 确定。因此 Dirichlet(α₁,α₂,α₃) 的 PDF 可以在二维三角形上可视化。

Beta 分布

K = 2 的特例
x₁ + x₂ = 1
Beta(α,β) = Dir(α,β)

Dirichlet 分布

K ≥ 2 的一般情况
x₁ + x₂ + ... + x_K = 1
多元 Beta 分布

🎯Dirichlet 分布的应用

LDA 主题模型

文档-主题分布的先验

贝叶斯推断

多项分布的共轭先验

混合模型

混合权重的先验分布

💡

为什么 Dirichlet 如此重要？

Dirichlet 分布是多项分布的共轭先验。这意味着：如果先验是 Dirichlet，观测是多项分布，后验仍然是 Dirichlet！这个优雅的性质使得贝叶斯推断在处理分类数据和概率向量时变得简洁高效。

📝 本章小结

7.1 均匀分布

等概率密度
ECDF

7.2 高斯分布

钟形曲线
68-95-99.7

7.3 逻辑分布

Sigmoid
厚尾

7.4 t-分布

厚尾

7.5 对数正态

右偏

7.6 指数分布

无记忆性

7.7 卡方分布

平方和

7.8 F-分布

比值

7.9 Beta分布

贝叶斯

7.10 Dirichlet

多元Beta