Visualize-ML

📚 本章导览

概率论是研究随机现象数量规律的数学分支。本章将介绍概率的基本概念，通过二项式树和抛硬币实验，直观理解概率分布和大数定律。

20.1 二项式树与二项分布

二项式系数、二项分布概率

20.2 抛硬币实验

随机试验、大数定律

20.1 二项式树与二项分布

二项式树是二项分布的图形化表示，用于展示二项试验的可能结果及其层级结构。每一层代表一次试验，节点表示可能的结果。

在 n 次独立的伯努利试验中，每次试验只有两种可能结果（成功或失败），成功的概率为 p，则成功 k 次的概率服从二项分布。

二项分布的数学定义

P(X = k) = C(n, k) · p^k · (1-p)^n-k

其中 C(n, k) = n! / (k! · (n-k)!)

n：试验次数

k：成功次数，k = 0, 1, 2, ..., n

p：单次试验成功的概率

公式 (1) 二项分布概率质量函数

二项式系数 C(n, k)

表示从 n 次试验中选择 k 次成功的组合数，也称为"n 选 k"

C(5, 2) = 5!/(2!·3!) = 10

杨辉三角

二项式系数可通过杨辉三角递推计算

1 1

1 2 1

1 3 3 1

1 4 6 4 1

二项式树可视化（n = 5）

二项式树展示了试验的所有可能路径，每层的节点数对应二项式系数

不同概率下的二项分布

p = 0.5（对称）

成功和失败概率相等

p = 0.6（右偏）

成功概率较高

p = 0.3（左偏）

成功概率较低

观察：p = 0.5 时分布对称；p > 0.5 时右偏；p < 0.5 时左偏

💡 关键洞察

• 二项式系数决定了每种结果出现的"路径数"
• 概率 p 影响分布的形状和中心位置
• 当 n 很大时，二项分布近似于正态分布（中心极限定理）
• 二项分布的期望值为 E(X) = np，方差为 Var(X) = np(1-p)

20.2 抛硬币实验与大数定律

抛硬币实验是概率论中最经典的随机试验。通过重复抛掷硬币，我们可以观察到随机现象的统计规律性。

大数定律表明：当试验次数足够多时，事件发生的频率会稳定在其概率附近。

实验设置

🎲

试验次数

100

🔴

正面（1）

红色圆点标记

🔵

反面（0）

蓝色叉号标记

抛硬币结果可视化

上图：每次抛掷的结果；下图：正面出现的累计比例，随着试验次数增加逐渐收敛到 0.5

大数定律的数学表达

累计均值 = (Σ 结果_i) / k

当 k → ∞ 时，累计均值 → 理论概率 p

公式 (2) 大数定律（弱形式）

📊 频率的稳定性

虽然单次试验结果不确定，但大量重复后，事件发生的频率趋于稳定

🎯 概率的频率解释

概率可理解为事件在大量试验中出现的频率的极限值

⚠️ 常见误区

• 赌徒谬误：前面连续出现多次正面，不代表下一次更可能出现反面。每次试验都是独立的。
• 小数定律：少量试验的结果可能严重偏离理论概率，大数定律需要足够多的试验次数。
• 收敛速度：累计均值收敛到理论概率是渐近过程，短期内仍有较大波动。

20.3 离散型概率分布

离散型随机变量的取值是有限个或可数无限个。离散型概率分布描述了每个可能取值对应的概率。

常见的离散型分布包括：伯努利分布、二项分布、泊松分布等。

伯努利分布（Bernoulli Distribution）

P(X = 1) = p, P(X = 0) = 1 - p

X ∈ { 0, 1 }，表示单次试验的结果

p ∈ [0, 1]，成功的概率

公式 (3) 伯努利分布

📊 分布特征

• 期望：E(X) = p

• 方差：Var(X) = p(1-p)

• 最简单的离散分布

💡 应用场景

• 单次抛硬币

• 产品检验（合格/不合格）

• 二元分类问题

泊松分布（Poisson Distribution）

P(X = k) = (λ^k · e^-λ) / k!

k = 0, 1, 2, 3, ...

λ > 0：单位时间（或空间）内事件发生的平均次数

e ≈ 2.71828：自然常数

公式 (4) 泊松分布

λ越大，分布越分散，峰值向右移动

📈 分布特征

• E(X) = λ

• Var(X) = λ

• 期望与方差相等

🎯 典型应用

• 单位时间内到达人数

• 放射性衰变次数

• 网站访问量

🔗 与二项分布关系

当n很大、p很小、np=λ时，二项分布近似泊松分布

几何分布（Geometric Distribution）

P(X = k) = (1-p)^k-1 · p

k = 1, 2, 3, ...（首次成功的试验次数）

p：单次试验成功的概率

公式 (5) 几何分布

📊 分布特征

• E(X) = 1/p

• Var(X) = (1-p)/p²

• 无记忆性

💼 应用示例

• 直到首次成功的试验次数

• 设备首次故障的时间

• 等待时间问题

💡 离散分布对比

分布类型	应用场景	期望	方差
伯努利	单次二元试验	p	p(1-p)
二项	n次独立试验	np	np(1-p)
泊松	稀有事件计数	λ	λ
几何	首次成功试验	1/p	(1-p)/p²

20.4 连续型概率分布

连续型随机变量的取值是某个区间上的所有实数。连续型分布用概率密度函数（PDF）来描述。

常见的连续型分布包括：均匀分布、正态分布、指数分布等。

均匀分布（Uniform Distribution）

f(x) = 1/(b-a), a ≤ x ≤ b

在区间 [a, b] 上等可能取值

区间外概率密度为 0

公式 (6) 均匀分布概率密度函数

均匀分布在区间内各点的概率密度相等

📊 分布特征

• E(X) = (a+b)/2

• Var(X) = (b-a)²/12

• 对称分布

🎯 应用场景

• 随机数生成

• 等待时间（已知范围）

• 舍入误差

💡 性质

任意子区间概率仅与区间长度有关

正态分布（Normal Distribution）

f(x) = (1 / (σ√(2π))) · e^{-(x-μ)²/(2σ²)}

μ：均值（期望），决定分布的中心位置

σ：标准差，决定分布的离散程度

记作 X ~ N(μ, σ²)

公式 (7) 正态分布概率密度函数

μ控制中心位置，σ控制曲线宽度（分散程度）

🔔 正态分布的重要性

• 中心极限定理：大量独立随机变量之和近似服从正态分布
• 自然界普遍存在：身高、测量误差、考试成绩等
• 68-95-99.7规则：约68%数据在μ±σ内，95%在μ±2σ内，99.7%在μ±3σ内

📈 标准正态分布

• μ = 0, σ = 1

• 记作 Z ~ N(0, 1)

• 标准化：Z = (X - μ) / σ

🎯 应用领域

• 统计推断

• 质量控制

• 机器学习

指数分布（Exponential Distribution）

f(x) = λ · e^-λx, x ≥ 0

λ > 0：速率参数

描述事件发生的时间间隔

公式 (8) 指数分布概率密度函数

λ越大，衰减越快，事件发生越频繁

📊 分布特征

• E(X) = 1/λ

• Var(X) = 1/λ²

• 无记忆性

🎯 应用场景

• 排队等待时间

• 设备寿命

• 放射性衰变时间

🔗 与泊松分布关系

泊松过程中事件间隔时间服从指数分布

💡 连续分布对比

分布类型	应用场景	期望	方差
均匀分布	等可能区间	(a+b)/2	(b-a)²/12
正态分布	自然现象测量	μ	σ²
指数分布	时间间隔	1/λ	1/λ²

20.5 概率分布的期望与方差

期望（均值）和方差是描述概率分布特征的两个最重要的数字特征。

期望反映分布的中心位置，方差反映分布的离散程度。

期望（Expected Value）

离散型随机变量

E(X) = Σ x_i · P(X = x_i)

所有可能取值与其概率的加权和

公式 (9) 离散型期望

连续型随机变量

E(X) = ∫ x · f(x) dx

在整个定义域上积分

公式 (10) 连续型期望

📝 期望计算示例：骰子投掷

投掷一个公平骰子，X 表示点数：

E(X) = 1×(1/6) + 2×(1/6) + 3×(1/6) + 4×(1/6) + 5×(1/6) + 6×(1/6)

3.5

期望值

方差（Variance）

Var(X) = E[(X - E(X))²] = E(X²) - [E(X)]²

衡量随机变量与其期望的偏离程度

标准差 σ = √Var(X)

公式 (11) 方差定义

方差越大，分布越分散；方差越小，数据越集中

期望与方差的性质

期望的性质

线性性： E(aX + b) = aE(X) + b

可加性： E(X + Y) = E(X) + E(Y)

常数： E(c) = c

方差的性质

Var(aX + b) = a²Var(X)

Var(X + Y) = Var(X) + Var(Y) + 2Cov(X,Y)

独立时： Var(X + Y) = Var(X) + Var(Y)

常见分布的期望与方差总结

分布类型	参数	期望 E(X)	方差 Var(X)	特点
离散型分布
伯努利	p	p	p(1-p)	单次试验
二项	n, p	np	np(1-p)	n次独立试验
泊松	λ	λ	λ	期望=方差
几何	p	1/p	(1-p)/p²	首次成功
连续型分布
均匀	a, b	(a+b)/2	(b-a)²/12	对称分布
正态	μ, σ²	μ	σ²	钟形曲线
指数	λ	1/λ	1/λ²	无记忆性

切比雪夫不等式

P(|X - μ| ≥ kσ) ≤ 1/k²

对于任意分布，随机变量偏离期望k个标准差的概率至多为1/k²

公式 (12) 切比雪夫不等式

k = 2

P(|X-μ| ≥ 2σ) ≤ 1/4

至少75%数据在μ±2σ内

k = 3

P(|X-μ| ≥ 3σ) ≤ 1/9

至少89%数据在μ±3σ内

k = 4

P(|X-μ| ≥ 4σ) ≤ 1/16

至少94%数据在μ±4σ内

🎯 实际应用价值

• 风险评估：期望表示平均收益，方差表示风险大小
• 质量控制：通过期望和方差监控生产过程的稳定性
• 投资组合：优化期望收益与风险（方差）的平衡
• 异常检测：识别偏离期望过多（超过3σ）的异常值

20.6 随机中有规律

本节还是用二叉树网格讨论随机和确定之间的辩证关系。

在给定的二叉树网格中，登山者在不同节点"随机""确定向左走、向下走、得到的结果就是一种随机漫步（random walk）。

随机漫步实验

图 15 所示为 20 步二叉树网格。根据帕斯卡，我们知道从起点终点，这个网格对应 2²⁰ (1048576) 条路径。图 15 还随意绘出是登山者"可能"走的 2、4、8、16 条随机路径。

随着路径数量增多，我们似乎可以预感，到达终点时登山者在中间的可能性会高于两端。

为了验证这一直觉，并想对准确确定登山者到达终点位置的规律，我们不断增加随机路径的数量，并根据终点位置直方图制率直方图。如图 16 所示，50、100、5000 条随机路径条件下，登山者终点位置概率直方图。

实际上，一叉树网格只限了登山者向上或向下运动的步幅，直至让登山者在行为本身得到了解，让登山者任意地由左至右网格的限制，让登山者行为更自由得很多，我们可以得到图 17。

不受限的随机漫步

单看图中任意一条或几条路径，我们很难抓住任何规律；但是随着随机路径的数量不断增多，运动的规律就不言自明了。

生活中的随机漫步

举个例子。图 18 左图所示为一段时间内某只股票日收益率，纤细以上趋势上涨为股价下跌。单看某几天的股价涨跌很难抓住任何规律，但是，把一段时间内股价的日收益率数据绘制成直方图，如图 18 右图，我们就可以发现股价涨跌规律的筛板。

💡 当然，为了得出更有意义的结论，我们还需要学习更多的概率统计工具。本系列丛书《概率统计》和《数据科学》两本书中亦组更多概率统计知识，以及如何将其应用到解决实际问题分析和预测测试中。

高斯分布

观察图 16、图 17、图 18 右方图。似乎某种神秘的钟形曲线，或者一条神秘的曲线。呼之欲出，这就是"宇宙钟形线"——高斯分布（Gaussian distribution）。

高斯分布是众多概率分布中极为有用的一种。所谓概率分布（probability distribution）描述随机变量取值的概率规律。

下式是高斯分布的概率密度函数（probability density function, PDF）曲线解析式：

f_X(x) = (1 / (σ√(2π))) exp(-1/2 · ((x-μ)/σ)²)

(17)

其中，μ 为均值，σ 为标准差；下一章将介绍均值和标准差。

满足 (17) 的高斯分布常记做 N(μ, σ²)。连续型随机变量的概率密度函数 PDF 描述随机变量在某个确定的取值点附近的可能性的函数。

(17) 实际上就是本书第 12 章介绍的高斯函数通过函数变换得到的解析式。

图 19 所示为三个不同参数的高斯分布概率密度函数曲线。高斯分布，形态上极类似感；公式优雅简洁，包含数学中两个重要数不无理数 e 和 π。高斯分布可以解释自然界很多现象的规律：有人大、高斯分布伊始宇宙定律中的重要一环——打破数学板块之间的壁垒，将它们有机联系。

✨ 随机中的规律之美

去书店文具用品店，将拿起卷尺、代数、几何、数据引导知识联系起来，去素又将帮助三角的赋有角到非叙重复的概率与统计的重要目标之一——打破数学板块之间的壁垒，特它们有机联系。

希望大家通过本章的学习能够感悟有关概率和随机机的直观含义。随着，关系列丛书中内容的不断深入，大家不但能够获取解释随机现象规律的数学工具，还能将它们应用在解决实际数据科学和机器学习具体问题之中。

📋章节总结

核心内容回顾

1️⃣

二项分布

P(X = k) = C(n,k) · p^k · (1-p)^n-k，描述 n 次独立试验中成功 k 次的概率

2️⃣

二项式系数

C(n,k) = n!/(k!·(n-k)!)，表示组合数，可通过杨辉三角计算

3️⃣

大数定律

大量重复试验后，事件发生的频率稳定在其概率附近

关键公式速查

二项分布

P(X=k) = C(n,k)p^k(1-p)^n-k

期望与方差

E(X) = np

Var(X) = np(1-p)

二项式系数

C(n,k) = n!/(k!(n-k)!)

累计均值

(Σx_i)/n → p (n→∞)

实际应用

质量控制

产品合格率检验，抽样检测

医学研究

药物有效率评估，临床试验

金融分析

风险评估，期权定价