Visualize-ML

5.1

概率分布：高度理想化的数学模型

Probability Distributions

概率分布是一种特殊的函数，描述随机变量取值的概率规律。和抛物线 y = ax² + bx + c 一样，常用的概率分布都是高度理想化的数学模型。

⭐ 概率分布的分类

🎯

离散分布

Discrete Distribution

• 概率质量函数 PMF

• 火柴梗图可视化

• Σ p(x) = 1

📈

连续分布

Continuous Distribution

• 概率密度函数 PDF

• 曲线图可视化

• ∫ f(x)dx = 1

📚本章离散分布一览

离散均匀

Uniform

伯努利

Bernoulli

二项

Binomial

多项

Multinomial

泊松

Poisson

几何

Geometric

超几何

Hypergeometric

...

🎮 常见离散分布一览

选择分布类型，调整参数，观察 PMF 形状

选择分布类型

参数调节

a (最小值)

b (最大值)

概率质量函数 PMF: 离散均匀分布

所有结果等概率，不分厚薄

Σ p(x) = 1.0000 ≈ 1 ✓

随机变量类型

离散 (Discrete)

可视化方式

火柴梗图

概率分布是高度理想化的数学模型，描述随机变量取值的概率规律。离散分布对应概率质量函数 PMF，所有概率之和必须等于 1。

💡学习概率分布的建议

1. 确定变量类型

首先判断随机变量是离散还是连续，确定取值范围

2. 熟悉分布形状

理解参数如何影响形状，掌握分布的典型应用场景

3. 当作手册查阅

不需要死记硬背，遇到具体问题时回来查阅即可

4. 注意可视化方式

离散用火柴梗图，连续用曲线/等高线

📖

本章与第7章

本章介绍离散分布（PMF），第7章将介绍连续分布（PDF）。建议以浏览方式学习，后续遇到具体分布时再回来深入了解。

✦

5.2

离散均匀分布：不分厚薄

Discrete Uniform Distribution

离散均匀分布是最简单的离散分布，离散随机变量等概率地取得区间内所有整数。抛硬币、抛骰子都是典型例子。

⭐ 离散均匀分布 PMF

p_X(x) = 1 / (b - a + 1)

x ∈ {a, a+1, a+2, ..., b}

期望值

E[X] = (a + b) / 2

方差

var(X) = (b-a+1)² - 1 / 12

🎲抛骰子试验

X ~ U{1, 6}, p(x) = 1/6, x = 1, 2, 3, 4, 5, 6

⚀

1/6

⚁

1/6

⚂

1/6

⚃

1/6

⚄

1/6

⚅

1/6

🎲 离散均匀分布可视化

所有结果等概率，不分厚薄

模式选择

参数设置

a (最小值): 1

b (最大值): 6

统计量

n = b - a + 1 = 6

p(x) = 1/n = 0.1667

E[X] = (a+b)/2 = 3.50

var(X) = 2.917

σ(X) = 1.708

离散均匀分布 PMF: X ~ U{1, 6}

Σ p(x) = 1.0000 = 1 ✓

PMF 公式

p(x) = 1/(b - a + 1), x ∈ {a, a+1, ..., b}

离散均匀分布是最简单的离散分布：所有结果等概率。抛硬币、抛骰子都是典型例子。圆周率的数字分布也近似均匀（正规数猜想）。

π圆周率与正规数猜想

正规数 (Normal Number)

在某种进位下，数位上的数字分布均匀、随机且无规律。对于十进制，每个数字出现的概率应该相等，即 1/10。

π 是正规数吗？

目前没有严格证明，但统计分析显示：随着位数增加，0~9 的分布趋于均匀。这是数学中的未解之谜。

✅归一律验证

Σ_x=a^b p(x) = (b - a + 1) × [1/(b - a + 1)] = 1 ✓

这是一个函数能够称作 PMF 的基本条件

💡

离散均匀分布的特点

"不分厚薄"——每个结果的概率完全相等。期望值正好在区间中点，是最"公平"的分布。 SciPy: scipy.stats.randint(a, b+1)

✦

5.3

伯努利分布：非黑即白

Bernoulli Distribution

伯努利分布描述单次试验只有两种对立结果的情况：成功(1)或失败(0)。是最基本的离散分布之一。

⭐ 伯努利分布 PMF

p(x) = p^x (1-p)^1-x, x ∈ {0, 1}

或等价地

p(0) = 1 - p

失败概率

p(1) = p

成功概率

期望值

E[X] = p

方差

var(X) = p(1-p)

🪙抛硬币试验

均匀硬币 (p = 0.5)

🌑

反面: 0.5

🌕

正面: 0.5

不均匀硬币 (p = 0.6)

🌑

反面: 0.4

🌕

正面: 0.6

🪙 伯努利分布可视化

非黑即白：只有成功/失败两种结果

成功概率 p

失败: 0.4p = 0.6成功: 0.6

模拟抛硬币

理论值

E[X] = p = 0.60

var(X) = p(1-p) = 0.240

伯努利分布 PMF: X ~ Bernoulli(0.6)

实验记录

点击按钮开始模拟...

🐰 抽样视角

🐰🐰🐰🐰🐰🐰🐔🐔🐔🐔

10只动物：6兔子、4只鸡

P(🐰) = 0.6

P(🐔) = 0.4

放回抽样

伯努利分布描述单次试验只有两种对立结果（成功/失败）的情况。参数只有 p（成功概率），是二项分布的基础。

🎯抽样试验视角

放回抽样 (Sampling with Replacement)

每次抽样后，样本放回总体，下次仍可能被抽到。伯努利试验可看作只有两种结果的放回抽样。

无放回抽样 (Sampling without Replacement)

每次抽出的样本不放回，下次不可能再抽到。这对应超几何分布。

✅归一律验证

Σ p(x) = p(0) + p(1) = (1-p) + p = 1 ✓

💡

伯努利分布是二项分布的基础

伯努利分布只有一个参数 p，样本空间只有 2 个元素。多次独立伯努利试验的成功次数服从二项分布。 SciPy: scipy.stats.bernoulli(p)

✦

5.4

二项分布：杨辉三角

Binomial Distribution

二项分布建立在伯努利分布之上：进行 n 次独立伯努利试验，成功的次数 X 服从二项分布。

⭐ 二项分布 PMF

p(x) = C(n,x) · p^x · (1-p)^n-x

x ∈ {0, 1, 2, ..., n}

C(n,x) = n! / (x!(n-x)!)组合数

期望值

E[X] = np

方差

var(X) = np(1-p)

🪙抛 n 枚硬币

n = 1 (伯努利分布)

p(0) = 1/2, p(1) = 1/2

n = 2

p(0) = 1/4, p(1) = 2/4, p(2) = 1/4

n = 3

p(0) = 1/8, p(1) = 3/8, p(2) = 3/8, p(3) = 1/8

🎯 二项分布可视化

n次独立伯努利试验中成功的次数

参数设置

n (试验次数): 10

p (成功概率): 0.50

显示模式

统计量

X ~ B(10, 0.50)

E[X] = np = 5.00

var(X) = np(1-p) = 2.500

σ(X) = 1.581

快速示例

二项分布 PMF: X ~ B(10, 0.50)

Σ p(x) = 1.0000 ≈ 1 ✓

🪙 抛 10 枚硬币

🪙🪙🪙🪙🪙🪙🪙🪙🪙🪙

每枚正面概率 p=0.50，求正面朝上的次数 X 的分布

PMF 公式

p(x) = C(n,x) · p^x · (1-p)^n-x

C(n,x) = n! / (x!(n-x)!) 为组合数

二项分布建立在伯努利分布之上：n次独立伯努利试验中成功的次数服从二项分布。当 n=1 时退化为伯努利分布，当 n→∞ 且 np 固定时趋近于泊松分布。

📐杨辉三角与二项式系数

杨辉三角 (Pascal's Triangle)

第 n 行的数字正好是 C(n,0), C(n,1), ..., C(n,n)，也就是二项式系数。

二项式定理

(p + (1-p))ⁿ = Σ C(n,x) p^x (1-p)^n-x = 1

这正是归一律的体现！

📊分布形状与参数关系

p = 0.5

对称分布

众数 = E[X]

p < 0.5

右偏（正偏）

众数 < E[X]

p > 0.5

左偏（负偏）

众数 > E[X]

💡

二项分布的特殊情况

当 n = 1 时，退化为伯努利分布。当 n → ∞ 且 np 固定时，趋近于泊松分布。 SciPy: scipy.stats.binom(n, p)

✦

5.5

多项分布：二项分布推广

Multinomial Distribution

多项分布是二项分布的推广： n 次独立试验中，每次有 K 种可能结果，求各结果出现次数的概率分布。

⭐ 多项分布 PMF

p(x₁,...,x_K) = (n! / Πx_i!) · Π p_i^x_i

约束: x₁ + x₂ + ... + x_K = n

约束: p₁ + p₂ + ... + p_K = 1

记作:Mult(p₁, p₂, ..., p_K)

🏠农场抓动物

农场动物比例:

🐰

兔子 60%

🐷

猪 10%

🐔

鸡 30%

问题: 随机抓 8 只动物，其中 2 只兔子、3 只猪、3 只鸡的概率？

P(2,3,3) = 8!/(2!3!3!) × 0.6² × 0.1³ × 0.3³ ≈ 0.0027

🎨 多项分布可视化

n次试验中K种结果各出现的次数

参数设置

n (总试验次数): 8

p₁ (🐰兔子): 0.60

p₂ (🐷猪): 0.10

p₃ (🐔鸡): 0.30

概率分布

🐰

60%

🐷

10%

🐔

30%

示例计算

抓 8 只动物，其中:

🐰 x₁=2, 🐷 x₂=3, 🐔 x₃=3

P = 0.005443

= 8!/(2!3!3 × 0.6^2 × 0.1^3 × 0.3^3

PMF 热图 (x₁ vs x₂, x₃ = 8 - x₁ - x₂)

x₁\x₂

0.01

0.03

0.05

0.03

0.01

0.07

0.10

0.05

0.01

0.12

0.04

0.12

0.08

0.01

0.07

0.02

x₁ = 🐰兔子数x₂ = 🐷猪数x₃ = 🐔鸡数 = 8 - x₁ - x₂

概率最高的组合

(5, 0, 3)

0.118

🐰🐰🐰🐰🐰🐔🐔🐔

(5, 1, 2)

0.118

🐰🐰🐰🐰🐰🐷🐔🐔

(6, 0, 2)

0.118

🐰🐰🐰🐰🐰🐰🐔🐔

(4, 1, 3)

0.098

🐰🐰🐰🐰🐷🐔🐔🐔

(6, 1, 1)

0.078

🐰🐰🐰🐰🐰🐰🐷🐔

(4, 0, 4)

0.073

🐰🐰🐰🐰🐔🐔🐔🐔

PMF 公式

p(x₁,...,x_K) = (n! / Π x_i!) · Π p_i^x_i

约束: Σx_i = n, Σp_i = 1

多项分布是二项分布的推广：n次试验中K种结果各出现的次数。当 K=2 时退化为二项分布，当 n=1 时退化为类别分布。

🔗多项分布的特殊情况

K = 2 → 二项分布

只有两种结果（成功/失败），多项分布退化为二项分布

n = 1 → 类别分布

单次试验从 K 类中选一个，退化为类别分布 (Categorical)

📊可视化方式

三维散点图

(x₁, x₂, x₃) 在平面上

二维热图

x₁ vs x₂, 颜色=概率

火柴梗图

展开所有组合

💡

贝叶斯推断中的重要分布

二项分布、多项分布与 Beta 分布、Dirichlet 分布经常一起出现在贝叶斯推断中（第21、22章）。 SciPy: scipy.stats.multinomial(n, pvals)

✦

5.6

泊松分布：随机事件的发生次数

Poisson Distribution

泊松分布描述在一定时间/空间内随机事件发生的次数。它是二项分布在 n→∞, p→0, np=λ 条件下的极限。

⭐ 泊松分布 PMF

p(x) = (λ^x · e^-λ) / x!

x = 0, 1, 2, 3, ... （非负整数，无上界）

期望值

E[X] = λ

方差

var(X) = λ

⭐ 重要特性：均值 = 方差 = λ

🌍应用场景

🏪

商店客流

每小时进店人数

💻

网站访问

每分钟请求数

⚙️

设备故障

每月故障次数

🚗

交通事故

每天事故数

⏱️ 泊松分布可视化

在一定时间/空间内随机事件发生的次数

参数 λ (平均发生率)

λ = 4

显示模式

统计量

X ~ Poisson(4)

E[X] = λ = 4

var(X) = λ = 4

σ(X) = √λ = 2.000

⭐ 均值 = 方差 = λ

应用场景

泊松分布 PMF: X ~ Poisson(4)

Σ p(x) ≈ 1.0000 → 1

🔗 与二项分布的关系

当二项分布 B(n, p) 中 n → ∞，p → 0，但 np = λ 保持有限时，二项分布趋近于泊松分布 Poisson(λ)。

PMF 公式

p(x) = (λ^x · e^-λ) / x!

x = 0, 1, 2, 3, ...（可取任意非负整数）

泊松分布描述单位时间/空间内随机事件发生次数的概率。最重要的特点是均值 = 方差 = λ，只由一个参数确定全部形态。

🔗泊松分布与二项分布的关系

泊松极限定理

当二项分布 B(n, p) 中：
• n → ∞（试验次数趋于无穷）
• p → 0（单次成功概率趋于零）
• np = λ 保持有限
则 B(n, p) → Poisson(λ)

直观理解

泊松分布描述"稀有事件"的发生次数—— 每次发生的概率很小，但观察的次数/时间很长。

💡

泊松分布的唯一参数

泊松分布只有一个参数 λ，一旦确定 λ，分布形态就完全确定。均值和方差都等于 λ，这是泊松分布的标志性特征。 SciPy: scipy.stats.poisson(λ)

✦

5.7

几何分布：滴水穿石

Geometric Distribution

几何分布描述一系列独立伯努利试验中首次成功所需的试验次数。比如抛硬币，直到第一次正面朝上需要抛多少次？

⭐ 几何分布 PMF

p(x) = (1-p)^x-1 · p

x = 1, 2, 3, ...（首次成功在第 x 次）

期望值

E[X] = 1/p

方差

var(X) = (1-p)/p²

🪙抛硬币直到正面朝上

设正面概率 p = 0.5

P(X=1)

0.5

P(X=2)

0.25

P(X=3)

0.125

P(X=4)

0.0625

直观理解：前 x-1 次必须全部失败（概率 (1-p)^(x-1)），第 x 次必须成功（概率 p）

💧 几何分布可视化

滴水穿石：首次成功所需的试验次数

成功概率 p

p = 0.30

失败概率: 1-p = 0.70

显示模式

统计量

X ~ Geom(0.30)

E[X] = 1/p = 3.33

var(X) = (1-p)/p² = 7.78

σ(X) = 2.79

🎲 模拟实验

几何分布 PMF: X ~ Geom(0.30)

PMF 呈指数递减，最可能在第1次就成功

PMF 公式

p(x) = (1-p)^x-1 · p

x = 1, 2, 3, ...（首次成功在第 x 次试验）

几何分布描述一系列独立伯努利试验中首次成功所需的试验次数。概率质量函数呈指数递减，期望值 E[X] = 1/p。

⚠️几何分布的两种定义

定义 1：首次成功所需试验次数

X = 1, 2, 3, ...（本节采用）
E[X] = 1/p

定义 2：首次成功前的失败次数

X = 0, 1, 2, ...（两者相差 1）
E[X] = (1-p)/p

🧠无记忆性 (Memoryless Property)

P(X > s + t | X > s) = P(X > t)

已经失败了 s 次，再失败 t 次的概率与从头开始失败 t 次的概率相同

几何分布是离散分布中唯一具有无记忆性的分布（连续分布中是指数分布）。

💡

几何分布的特点

几何分布只有一个参数 p，PMF 呈指数递减。期望值 1/p 表示平均需要多少次试验才能首次成功。 SciPy: scipy.stats.geom(p)

📝 本章小结

5.1 概率分布

理想化模型

5.2 离散均匀

等概率/骰子

5.3 伯努利

非黑即白

5.4 二项分布

杨辉三角

5.5 多项分布

K种结果

5.6 泊松分布

E=var=λ

5.7 几何分布

首次成功