← 返回目录
🎲
Book5 · 统计至简

第3章 古典概率模型

“归根结底,概率就是量化的生活常识”

“真是耐人寻味,一门以赌博为起点的学科本应该是人类知识体系中最重要研究对象。”

—— 皮埃尔-西蒙-拉普拉斯 (Pierre-Simon Laplace) | 法国著名天文学家和数学家 | 1749~1827

3.1

无处不在的概率

从孟德尔豌豆到道尔顿色盲

自然界的随机无处不在——没有两朵完全一样的鸢尾, 没有两片完全一样的雪花,也没有两个完全一样的人生轨迹。 而概率则试图量化随机事件发生的可能性。

🌱孟德尔的豌豆实验

孟德尔 (Gregor Mendel, 1822~1884) 在修道院蔬菜园里进行了大量豌豆杂交实验。

第一代杂交 (F1)

纯种圆粒 (RR) × 纯种皱粒 (rr) → 全部圆粒 (Rr)

第二代自交 (F2)

Rr × Rr → 3:1 比例 (3圆粒 : 1皱粒)

🟢
RR
25%
🟢
Rr
50%
🟢
Rr
(杂合)
🟤
rr
25%

💡 这个精确的 3:1 比例揭示了基因遗传的离散性——这正是古典概率模型的应用!

👁️道尔顿发现红绿色盲

道尔顿 (John Dalton, 1766~1844) 给母亲买了一双他认为是"棕灰色"的袜子, 母亲却说是"樱桃红"。这让他发现了红绿色盲的遗传规律。

情况 A:色盲女性 × 正常男性
👦
儿子:100% 色盲
👧
女儿:100% 携带者
情况 B:携带者女性 × 正常男性
正常儿子
25%
色盲儿子
25%
正常女儿
25%
携带者女儿
25%

💡 这就是条件概率的应用——给定性别条件,发病概率不同!

P

概率 (Probability)

量化随机事件发生的可能性,取值范围 [0, 1]。

|

条件概率

在已知某些信息条件下,对事件发生概率的更精确估计。

🔬从微观到宏观的视角转换

微观/少量/短期
  • • 不确定
  • • 不可预测
  • • 随机
宏观/大量/长期
  • • 确定性
  • • 可识别模式
  • • 统计规律
💡

概率的实际应用

  • • 医学诊断:根据症状计算患病概率
  • • 遗传咨询:预测后代遗传病风险
  • • 天气预报:降雨概率预测
  • • 金融决策:投资风险评估
✦
3.2

古典概率

离散均匀概率律

古典概型(等概率模型)是最经典的概率模型: 基本事件数量有限,且每个基本事件发生的可能性相等。

Ω样本空间 (Sample Space)

定义
给定随机试验,所有可能结果构成的集合为样本空间 Ω
概率公理
Pr(Ω) = 1,Pr(∅) = 0
0 ≤ Pr(A) ≤ 1
任何事件 A 的概率在 0 到 1 之间

P等可能事件概率公式

设样本空间 Ω 由 n 个等可能事件构成:

Pr(A) = |A| / |Ω| = nₐ / n

其中 nₐ 为事件 A 包含的结果数量,n 为样本空间总结果数

🪙

抛一枚硬币

Ω = {0, 1},|Ω| = 2
Pr(正面) = Pr(反面) = 1/2
🎲

掷一枚骰子

Ω = {1,2,3,4,5,6},|Ω| = 6
Pr(1) = Pr(2) = ... = Pr(6) = 1/6
🪙🪙

抛两枚硬币

Ω = {(0,0),(0,1),(1,0),(1,1)},|Ω| = 4
每种结果概率 = 1/4
🎲🎲

掷两枚骰子

Ω = 6×6 = 36 种结果
每种结果概率 = 1/36

🌸以鸢尾花数据为例

从 150 个鸢尾花样本中随机取一个,样本分为三类(各 50 个):

C₁ Setosa
50/150
= 1/3
C₂ Versicolor
50/150
= 1/3
C₃ Virginica
50/150
= 1/3

Pr(C₁) = Pr(C₂) = Pr(C₃) = 1/3,三类等概率

🎮 古典概率模拟器

观察理论概率与试验概率的关系

选择试验
理论概率
1/2 = 0.5
每个结果的概率相等
样本空间 Ω
Ω = {0, 1},|Ω| = 2
试验频率分布
反面正面频数理论值
古典概率:当所有结果等可能时,P(A) = |A| / |Ω|。试验概率通过重复试验验证理论预测,随着试验次数增加,频率趋近概率。

📐 理论概率

  • • 基于数学推导
  • • 假设所有结果等可能
  • • 使用公式 P(A) = |A|/|Ω|
  • • 精确值

🧪 试验概率

  • • 基于重复试验
  • • 统计频率作为估计
  • • 验证理论预测
  • • 随试验次数趋近真值
💡

大数定律预告

随着试验次数 n → ∞,试验频率会收敛到理论概率。 这就是大数定律的核心思想,将在后续章节详细介绍。

✦
3.3

杨辉三角与概率

二项式展开、组合数

杨辉三角(帕斯卡三角)与古典概率模型有着深刻联系。 二项式系数正是抛硬币各种结果的组合数。

🔺杨辉三角 (Pascal's Triangle)

1
11
121
1331
14641
15101051
(a + b)ⁿ = Σ C(n,k) · aᵏ · bⁿ⁻ᵏ
第 n 行的数字就是二项式系数 C(n,0), C(n,1), ..., C(n,n)

🪙抛硬币与杨辉三角

抛 n 枚硬币,正好出现 k 次正面的概率:

Pr(正面=k) = C(n,k) / 2ⁿ
例:抛 10 枚硬币
Pr(正好6次正面) = C(10,6)/2¹⁰
= 210/1024 ≈ 0.205
至少6次正面
Pr(≥6正面) = Σₖ₌₆¹⁰ C(10,k)/2¹⁰
= 386/1024 ≈ 0.377
🌳

二叉树视角

杨辉三角逆时针旋转90°可视为二叉树。每个节点向上/向下走对应正面/反面。

终点节点的路径数 = 该结果的组合数
📊

二项分布预告

当正面概率 p ≠ 0.5 时,概率公式变为:

Pr(k) = C(n,k) · pᵏ · (1-p)ⁿ⁻ᵏ

🎮 杨辉三角与概率

探索二项式系数与抛硬币概率的关系

硬币数量 n = 6
210
杨辉三角第 6 行
C(6,0)=1
C(6,1)=6
C(6,2)=15
C(6,3)=20
C(6,4)=15
C(6,5)=6
C(6,6)=1
总和 = 2^6 = 64
理论概率公式
Pr(k正面) = C(n,k) / 2ⁿ
概率分布
0123456正面次数 k理论试验
k0123456
C(n,k)1615201561
Pr(理论)0.0160.0940.2340.3130.2340.0940.016
杨辉三角(帕斯卡三角)的第 n 行给出了抛 n 枚硬币各种结果的组合数。 每个结果的概率 = 组合数 / 2ⁿ,这正是二项分布的基础。

📐组合数 C(n,k) 的性质

C(n,k) = C(n, n-k)
对称性
C(n,0) = C(n,n) = 1
边界值
Σ C(n,k) = 2ⁿ
每行之和
C(n,k) = C(n-1,k-1) + C(n-1,k)
递推关系
💡

从杨辉三角到二项分布

杨辉三角是理解二项分布的关键。当试验次数 n 很大时, 二项分布会逼近正态分布——这就是中心极限定理的一个体现!

✦
3.4

事件之间的关系

集合运算与概率

事件可以看作样本空间的子集, 因此事件之间的关系可以用集合运算来描述。

⚙️事件运算一览

∩积事件 (Intersection)
A ∩ B:A 和 B 同时发生
也称联合概率 Pr(A,B)
∪和事件 (Union)
A ∪ B:A 或 B 至少一个发生
Pr(A∪B) = Pr(A) + Pr(B) − Pr(A∩B)
−差事件 (Difference)
A − B:A 发生但 B 不发生
Pr(A−B) = Pr(A) − Pr(A∩B)
Ā对立事件 (Complement)
Ā = Ω − A:A 不发生
Pr(Ā) = 1 − Pr(A)

⊘互斥事件 (Mutually Exclusive)

如果 A ∩ B = ∅,则称 A 和 B 互斥(不相容),即两个事件不能同时发生。

互斥时的特殊公式
Pr(A ∪ B) = Pr(A) + Pr(B)
对立事件是特殊的互斥
A ∩ Ā = ∅ 且 A ∪ Ā = Ω

🎮 事件集合运算

通过维恩图理解事件之间的关系

选择运算
概率公式
Pr(A ∩ B) = Pr(A, B)
积事件 维恩图
ΩAB
掷骰子示例
事件 A
点数为奇数 {1,3,5}
事件 B
点数小于4 {1,2,3}
A ∩ B = {1,3},Pr(A ∩ B) = 2/6 = 1/3
事件运算基于集合运算。积事件(∩)表示"且",和事件(∪)表示"或",对立事件(Ā)表示"非"。互斥事件不能同时发生。

📐概率运算公式汇总

样本空间概率Pr(Ω) = 1
空集概率Pr(∅) = 0
对立事件Pr(Ā) = 1 − Pr(A)
加法公式Pr(A∪B) = Pr(A) + Pr(B) − Pr(A∩B)
互斥加法Pr(A∪B) = Pr(A) + Pr(B) (若A∩B=∅)
💡

集合运算与逻辑运算

  • • ∩ (交) 对应逻辑 与 (AND)
  • • ∪ (并) 对应逻辑 或 (OR)
  • • Ā (补) 对应逻辑 非 (NOT)
✦
3.5

条件概率

给定部分信息做推断

条件概率是在给定部分信息基础上对试验结果的推断。 它是机器学习和数据科学中至关重要的概念!

📊条件概率公式

Pr(A | B) = Pr(A ∩ B) / Pr(B)
在 B 发生的条件下,A 发生的概率
Pr(A ∩ B)
A 和 B 的联合概率
Pr(B)
B 的边缘概率 (Pr(B) > 0)

💡关键理解:B 是新的样本空间

Pr(A|B) 可以理解为:B 成为了"新的样本空间" Ω_B! 我们在 Ω_B 中计算 A∩B 的比例。

原始视角
在整个 Ω 中,Pr(A∩B) 和 Pr(B) 都是相对于 Ω 计算
条件视角
缩小到 B,在 B 中看 A∩B 占多少比例
Pr(A | B) = Pr(A∩B) / Pr(B)

给定 B 发生,A 的概率

Pr(B | A) = Pr(A∩B) / Pr(A)

给定 A 发生,B 的概率

🎮 条件概率可视化

理解"给定条件下"的概率计算

事件定义
B: 点数为奇数 {1,3,5}
C: 点数小于4 {1,2,3}
B∩C: {1,3}
选择条件
计算结果
Pr(C|B) = 2/3
≈ 0.667
样本空间 Ω = {1,2,3,4,5,6} → 新样本空间 B
123456灰色淡出: 不在B中 | 蓝色: B∩C (目标) | 淡紫: 仅B
公式推导
Pr(B) = |B|/|Ω|= 3/6 = 1/2
Pr(C) = |C|/|Ω|= 3/6 = 1/2
Pr(B∩C) = |B∩C|/|Ω|= 2/6 = 1/3
Pr(C|B) = Pr(B∩C)/Pr(B)= (1/3)/(1/2) = 2/3
关键理解:条件概率把"给定事件"变成了新的样本空间。 B = {1,3,5} 成为新Ω,在其中找满足C的比例。
条件概率 Pr(A|B) = Pr(A∩B)/Pr(B) 表示在B发生的前提下A发生的概率。 B成为"新的样本空间",我们在B中计算A∩B的比例。

🔗联合概率的分解(乘法公式)

从 A|B 分解Pr(A∩B) = Pr(A|B) × Pr(B)
从 B|A 分解Pr(A∩B) = Pr(B|A) × Pr(A)
推广到 n 个事件
Pr(A₁∩A₂∩...∩Aₙ) = Pr(A₁) × Pr(A₂|A₁) × Pr(A₃|A₁A₂) × ... × Pr(Aₙ|A₁...Aₙ₋₁)
💡

条件概率的应用

  • • 医学诊断:给定症状,患某病的概率
  • • 垃圾邮件检测:给定某些词,是垃圾邮件的概率
  • • 鸢尾花分类:给定花瓣尺寸,是某类的概率
  • • 贝叶斯推断:基于条件概率的核心框架
✦
3.6

贝叶斯定理

条件概率、边缘概率、联合概率的关系

👨‍🔬

托马斯·贝叶斯 (Thomas Bayes)

英国数学家 | 1702 ~ 1761

贝叶斯统计的开山鼻祖,以贝叶斯定理闻名于世。

贝叶斯定理贝叶斯派贝叶斯推断朴素贝叶斯贝叶斯回归

贝叶斯定理撑起机器学习、深度学习算法的半边天! 它的基本思想是根据先验概率和新的证据来计算后验概率。

⭐ 贝叶斯定理核心公式

Pr(A|B) = Pr(B|A) × Pr(A) / Pr(B)
后验 Posterior似然 Likelihood先验 Prior证据 Evidence
Pr(A) 先验概率
在观测到 B 之前,对 A 的信念
Pr(B|A) 似然
假设 A 为真时,观测到 B 的可能性
Pr(B) 边缘概率/证据
观测到 B 的总概率(归一化因子)
Pr(A|B) 后验概率
观测到 B 之后,对 A 的更新信念
📊
Pr(B|A) × Pr(A)
= Pr(A∩B)
从 A 的角度看联合概率
🔄
Pr(A|B) × Pr(B)
= Pr(A∩B)
从 B 的角度看联合概率
✨
两者相等!
这就是贝叶斯定理的来源

🎮 贝叶斯定理可视化

理解先验、似然、后验之间的关系

调整概率值
先验 Pr(A)0.30
似然 Pr(B|A)0.70
边缘 Pr(B)0.40
后验概率
Pr(A|B) = 0.525
贝叶斯公式
Pr(A|B) = Pr(B|A)×Pr(A) / Pr(B)
概率关系图解
Ω (=1)APr=0.30BPr=0.40A∩B0.210
计算步骤
① 先验 Pr(A)0.30
② 似然 Pr(B|A)0.70
③ 联合 Pr(A∩B) = ①×②0.210
④ 边缘 Pr(B)0.40
⑤ 后验 Pr(A|B) = ③÷④0.525
理解:观测到 B 发生后,A 发生的概率从 30% 上升到 52.5%
贝叶斯定理将先验概率 Pr(A) 通过似然 Pr(B|A) 和证据 Pr(B) 更新为后验概率 Pr(A|B)。这是机器学习的核心思想之一!

🎲掷骰子示例

事件 A:偶数
{2,4,6},Pr(A)=1/2
事件 B:奇数
{1,3,5},Pr(B)=1/2
事件 C:小于4
{1,2,3},Pr(C)=1/2
Pr(A∩C) = |{2}|/6= 1/6
Pr(C|A) = Pr(A∩C)/Pr(A)= (1/6)/(1/2) = 1/3
Pr(A|C) = Pr(A∩C)/Pr(C)= (1/6)/(1/2) = 1/3
📈

频率学派

  • • 概率 = 事件发生的频率
  • • 强调大量数据和随机抽样
  • • 使用假设检验和置信区间
  • • 适合大样本场景
🧠

贝叶斯学派

  • • 概率 = 主观信念的度量
  • • 结合先验知识和新证据
  • • 计算参数的后验分布
  • • 适合小样本/缺数据场景
💡

贝叶斯定理的核心思想

先验 + 证据 → 后验:我们对世界有初始信念(先验), 当观测到新证据时,用贝叶斯定理更新信念(后验)。 这正是机器学习从数据中学习的本质!

✦
3.7

全概率定理

穷举法

全概率定理本质上就是穷举法(枚举法)。 将样本空间分割成互不相容的部分,然后累加各部分的贡献。

🧩样本空间的分割 (Partition)

假设 A₁, A₂, ..., Aₙ 互不相容, 形成对样本空间 Ω 的分割,即每次试验 A₁, A₂, ..., Aₙ 中有且仅有一个发生。

A₁
+
A₂
+ ... +
Aₙ
=
Ω
Aᵢ ∩ Aⱼ = ∅ (i ≠ j) 且 A₁ ∪ A₂ ∪ ... ∪ Aₙ = Ω

⭐ 全概率定理

Pr(B) = Σᵢ Pr(B | Aᵢ) × Pr(Aᵢ)
= Pr(B,A₁) + Pr(B,A₂) + ... + Pr(B,Aₙ)
Pr(B)
边缘概率 (Marginal)
Pr(B|Aᵢ)
条件概率 (Conditional)
Pr(B,Aᵢ)
联合概率 (Joint)
📤

正向:求 Pr(B)

已知各 Pr(Aᵢ) 和 Pr(B|Aᵢ),求边缘概率 Pr(B)

Pr(B) = Σᵢ Pr(B|Aᵢ) × Pr(Aᵢ)
📥

反向:求 Pr(Aᵢ|B)

结合贝叶斯定理,已知 B 发生,反推各 Aᵢ 的概率

Pr(Aᵢ|B) = Pr(B|Aᵢ)×Pr(Aᵢ) / Pr(B)

🎮 全概率定理可视化

理解分割、穷举与边缘概率

分割 Ω 的先验概率
Pr(A₁)0.30
Pr(A₂)0.50
Pr(A₃) = 1 - Pr(A₁) - Pr(A₂)0.20
条件概率 Pr(B|Aᵢ)
Pr(B|A₁)0.60
Pr(B|A₂)0.40
Pr(B|A₃)0.20
全概率结果
Pr(B) = 0.420
样本空间 Ω 的分割
ΩA₁30%B∩A₁A₂50%B∩A₂A₃20%B∩A₃上: 分割 Aᵢ | 下: B 与各 Aᵢ 的交集
全概率公式展开
Pr(B) = Σᵢ Pr(B|Aᵢ) × Pr(Aᵢ) = Σᵢ Pr(B, Aᵢ)
Pr(B,A₁)=0.60 × 0.30=0.180
Pr(B,A₂)=0.40 × 0.50=0.200
Pr(B,A₃)=0.20 × 0.20=0.040
Pr(B)=0.180 + 0.200 + 0.040=0.420
反向推断:Pr(Aᵢ|B) = Pr(B,Aᵢ) / Pr(B)
Pr(A₁|B)
42.9%
Pr(A₂|B)
47.6%
Pr(A₃|B)
9.5%
全概率定理本质是穷举法:将样本空间 Ω 分割为互不相容的 A₁, A₂, ..., Aₙ, 则 Pr(B) = Σ Pr(B|Aᵢ)×Pr(Aᵢ)。结合贝叶斯定理可反向求 Pr(Aᵢ|B)。

🔢三分割示例 (n=3)

Pr(B) = Pr(B,A₁) + Pr(B,A₂) + Pr(B,A₃)
= Pr(B|A₁)×Pr(A₁) + Pr(B|A₂)×Pr(A₂) + Pr(B|A₃)×Pr(A₃)

如图所示,A₁、A₂、A₃ 三个互不相容事件对 Ω 形成分割。 事件 B 与每个 Aᵢ 都有交集,全概率定理将 B 的概率表示为这些交集概率的累加。

🔄全概率 + 贝叶斯 = 完整推断

① 全概率定理(正向)
Pr(B) = Σᵢ Pr(B|Aᵢ) × Pr(Aᵢ)
② 贝叶斯定理(反向)
Pr(Aᵢ|B) = Pr(B|Aᵢ)×Pr(Aᵢ) / Pr(B)
③ 代入合并
Pr(Aᵢ|B) = Pr(B|Aᵢ)×Pr(Aᵢ) / [Σⱼ Pr(B|Aⱼ)×Pr(Aⱼ)]
💡

全概率定理的直觉

想象你要计算"明天下雨"的概率。可以分情况讨论: 晴天转阴的概率 × 晴天概率 + 阴天继续阴的概率 × 阴天概率 + ... 这就是穷举!

✦
3.8

独立、互斥、条件独立

三种重要的事件关系

互斥 ≠ 独立!这是概率论中最容易混淆的概念之一。 理解它们的区别对于正确建模至关重要。

🔗独立 (Independent)

事件 B 发生与否,不会影响事件 A 发生的概率:

Pr(A | B) = Pr(A)   &&   Pr(B | A) = Pr(B)
等价条件
Pr(A ∩ B) = Pr(A) × Pr(B)
联合概率 = 边缘概率的乘积

⊘互斥 (Mutually Exclusive / Disjoint)

事件 A 和事件 B 不能同时发生:

A ∩ B = ∅   →   Pr(A ∩ B) = 0
⚠️ 互斥事件实际上高度相关!
Pr(A | B) = 0 ≠ Pr(A)(除非 Pr(A)=0)
知道 B 发生,A 必定不发生——这是强相关!

📊一般情况、互斥、独立 对比

A 和 BPr(A∩B)Pr(A∪B)Pr(A|B)Pr(B|A)
一般情况Pr(B|A)×Pr(A)Pr(A)+Pr(B)-Pr(A∩B)Pr(A∩B)/Pr(B)Pr(A∩B)/Pr(A)
互斥0Pr(A)+Pr(B)00
独立Pr(A)×Pr(B)Pr(A)+Pr(B)-Pr(A)Pr(B)Pr(A)Pr(B)

🎮 独立 vs 互斥 vs 一般

理解三种事件关系的本质区别

选择关系类型
边缘概率
Pr(A)0.40
Pr(B)0.50
关键特征
Pr(A∩B) ≠ Pr(A)×Pr(B) 且 ≠ 0
维恩图 - 一般情况
ΩABA∩B
概率计算
Pr(A ∩ B)
0.200
Pr(A ∪ B)
0.700
Pr(A | B)
0.400
Pr(B | A)
0.500
Pr(A|B) = 0.400 ≠ Pr(A) = 0.40
→ B 发生会影响 A 的概率
⚠️ 重要区分:互斥 ≠ 独立!互斥事件不能同时发生 (Pr(A∩B)=0), 而独立事件是 A 发生不影响 B 的概率 (Pr(A|B)=Pr(A))。 互斥事件实际上是高度相关的——知道一个发生,另一个必不发生!

🎲🎲🎲抛三枚骰子:独立的经典例子

一次性抛三枚骰子,这三枚骰子点数互不影响,也就是"独立"。

Pr(X₁=3, X₂=3, X₃=3) = ?
= Pr(X₁=3) × Pr(X₂=3) × Pr(X₃=3)
= 1/6 × 1/6 × 1/6 = 1/216
因为独立,联合概率 = 各边缘概率的乘积。 这也是乘法分配律的体现!

🔀条件独立 (Conditionally Independent)

在给定事件 C 发生条件下,如果 A 和 B 独立,则称 A 和 B 在 C 条件下条件独立:

Pr(A ∩ B | C) = Pr(A | C) × Pr(B | C)
注意
• 独立 ⇏ 条件独立
• 条件独立 ⇏ 独立
💡

独立性在机器学习中的重要性

  • • 朴素贝叶斯假设特征条件独立
  • • 独立同分布 (i.i.d.) 是很多算法的基础假设
  • • 判断独立性可以大大简化概率计算

📝 本节小结

3.1 无处不在

  • 孟德尔/道尔顿

3.2 古典概率

  • 样本空间/等可能

3.3 杨辉三角

  • 二项式/组合数

3.4 事件关系

  • 集合运算/互斥

3.5 条件概率

  • Pr(A|B)/乘法

3.6 贝叶斯定理

  • 先验/后验/似然

3.7 全概率定理

  • 分割/穷举

3.8 独立与互斥

  • 独立≠互斥