“真是耐人寻味,一门以赌博为起点的学科本应该是人类知识体系中最重要研究对象。”
—— 皮埃尔-西蒙-拉普拉斯 (Pierre-Simon Laplace) | 法国著名天文学家和数学家 | 1749~1827
无处不在的概率
从孟德尔豌豆到道尔顿色盲
自然界的随机无处不在——没有两朵完全一样的鸢尾, 没有两片完全一样的雪花,也没有两个完全一样的人生轨迹。 而概率则试图量化随机事件发生的可能性。
🌱孟德尔的豌豆实验
孟德尔 (Gregor Mendel, 1822~1884) 在修道院蔬菜园里进行了大量豌豆杂交实验。
纯种圆粒 (RR) × 纯种皱粒 (rr) → 全部圆粒 (Rr)
Rr × Rr → 3:1 比例 (3圆粒 : 1皱粒)
💡 这个精确的 3:1 比例揭示了基因遗传的离散性——这正是古典概率模型的应用!
👁️道尔顿发现红绿色盲
道尔顿 (John Dalton, 1766~1844) 给母亲买了一双他认为是"棕灰色"的袜子, 母亲却说是"樱桃红"。这让他发现了红绿色盲的遗传规律。
💡 这就是条件概率的应用——给定性别条件,发病概率不同!
概率 (Probability)
量化随机事件发生的可能性,取值范围 [0, 1]。
条件概率
在已知某些信息条件下,对事件发生概率的更精确估计。
🔬从微观到宏观的视角转换
- • 不确定
- • 不可预测
- • 随机
- • 确定性
- • 可识别模式
- • 统计规律
概率的实际应用
- • 医学诊断:根据症状计算患病概率
- • 遗传咨询:预测后代遗传病风险
- • 天气预报:降雨概率预测
- • 金融决策:投资风险评估
古典概率
离散均匀概率律
古典概型(等概率模型)是最经典的概率模型: 基本事件数量有限,且每个基本事件发生的可能性相等。
Ω样本空间 (Sample Space)
P等可能事件概率公式
设样本空间 Ω 由 n 个等可能事件构成:
其中 nₐ 为事件 A 包含的结果数量,n 为样本空间总结果数
抛一枚硬币
掷一枚骰子
抛两枚硬币
掷两枚骰子
🌸以鸢尾花数据为例
从 150 个鸢尾花样本中随机取一个,样本分为三类(各 50 个):
Pr(C₁) = Pr(C₂) = Pr(C₃) = 1/3,三类等概率
🎮 古典概率模拟器
观察理论概率与试验概率的关系
📐 理论概率
- • 基于数学推导
- • 假设所有结果等可能
- • 使用公式 P(A) = |A|/|Ω|
- • 精确值
🧪 试验概率
- • 基于重复试验
- • 统计频率作为估计
- • 验证理论预测
- • 随试验次数趋近真值
大数定律预告
随着试验次数 n → ∞,试验频率会收敛到理论概率。 这就是大数定律的核心思想,将在后续章节详细介绍。
杨辉三角与概率
二项式展开、组合数
杨辉三角(帕斯卡三角)与古典概率模型有着深刻联系。 二项式系数正是抛硬币各种结果的组合数。
🔺杨辉三角 (Pascal's Triangle)
🪙抛硬币与杨辉三角
抛 n 枚硬币,正好出现 k 次正面的概率:
二叉树视角
杨辉三角逆时针旋转90°可视为二叉树。每个节点向上/向下走对应正面/反面。
二项分布预告
当正面概率 p ≠ 0.5 时,概率公式变为:
🎮 杨辉三角与概率
探索二项式系数与抛硬币概率的关系
| k | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|---|
| C(n,k) | 1 | 6 | 15 | 20 | 15 | 6 | 1 |
| Pr(理论) | 0.016 | 0.094 | 0.234 | 0.313 | 0.234 | 0.094 | 0.016 |
📐组合数 C(n,k) 的性质
从杨辉三角到二项分布
杨辉三角是理解二项分布的关键。当试验次数 n 很大时, 二项分布会逼近正态分布——这就是中心极限定理的一个体现!
事件之间的关系
集合运算与概率
事件可以看作样本空间的子集, 因此事件之间的关系可以用集合运算来描述。
⚙️事件运算一览
⊘互斥事件 (Mutually Exclusive)
如果 A ∩ B = ∅,则称 A 和 B 互斥(不相容),即两个事件不能同时发生。
🎮 事件集合运算
通过维恩图理解事件之间的关系
📐概率运算公式汇总
集合运算与逻辑运算
- • ∩ (交) 对应逻辑 与 (AND)
- • ∪ (并) 对应逻辑 或 (OR)
- • Ā (补) 对应逻辑 非 (NOT)
条件概率
给定部分信息做推断
条件概率是在给定部分信息基础上对试验结果的推断。 它是机器学习和数据科学中至关重要的概念!
📊条件概率公式
💡关键理解:B 是新的样本空间
Pr(A|B) 可以理解为:B 成为了"新的样本空间" Ω_B! 我们在 Ω_B 中计算 A∩B 的比例。
给定 B 发生,A 的概率
给定 A 发生,B 的概率
🎮 条件概率可视化
理解"给定条件下"的概率计算
🔗联合概率的分解(乘法公式)
条件概率的应用
- • 医学诊断:给定症状,患某病的概率
- • 垃圾邮件检测:给定某些词,是垃圾邮件的概率
- • 鸢尾花分类:给定花瓣尺寸,是某类的概率
- • 贝叶斯推断:基于条件概率的核心框架
贝叶斯定理
条件概率、边缘概率、联合概率的关系
托马斯·贝叶斯 (Thomas Bayes)
英国数学家 | 1702 ~ 1761
贝叶斯统计的开山鼻祖,以贝叶斯定理闻名于世。
贝叶斯定理撑起机器学习、深度学习算法的半边天! 它的基本思想是根据先验概率和新的证据来计算后验概率。
⭐ 贝叶斯定理核心公式
🎮 贝叶斯定理可视化
理解先验、似然、后验之间的关系
🎲掷骰子示例
频率学派
- • 概率 = 事件发生的频率
- • 强调大量数据和随机抽样
- • 使用假设检验和置信区间
- • 适合大样本场景
贝叶斯学派
- • 概率 = 主观信念的度量
- • 结合先验知识和新证据
- • 计算参数的后验分布
- • 适合小样本/缺数据场景
贝叶斯定理的核心思想
先验 + 证据 → 后验:我们对世界有初始信念(先验), 当观测到新证据时,用贝叶斯定理更新信念(后验)。 这正是机器学习从数据中学习的本质!
全概率定理
穷举法
全概率定理本质上就是穷举法(枚举法)。 将样本空间分割成互不相容的部分,然后累加各部分的贡献。
🧩样本空间的分割 (Partition)
假设 A₁, A₂, ..., Aₙ 互不相容, 形成对样本空间 Ω 的分割,即每次试验 A₁, A₂, ..., Aₙ 中有且仅有一个发生。
⭐ 全概率定理
正向:求 Pr(B)
已知各 Pr(Aᵢ) 和 Pr(B|Aᵢ),求边缘概率 Pr(B)
反向:求 Pr(Aᵢ|B)
结合贝叶斯定理,已知 B 发生,反推各 Aᵢ 的概率
🎮 全概率定理可视化
理解分割、穷举与边缘概率
🔢三分割示例 (n=3)
如图所示,A₁、A₂、A₃ 三个互不相容事件对 Ω 形成分割。 事件 B 与每个 Aᵢ 都有交集,全概率定理将 B 的概率表示为这些交集概率的累加。
🔄全概率 + 贝叶斯 = 完整推断
全概率定理的直觉
想象你要计算"明天下雨"的概率。可以分情况讨论: 晴天转阴的概率 × 晴天概率 + 阴天继续阴的概率 × 阴天概率 + ... 这就是穷举!
独立、互斥、条件独立
三种重要的事件关系
互斥 ≠ 独立!这是概率论中最容易混淆的概念之一。 理解它们的区别对于正确建模至关重要。
🔗独立 (Independent)
事件 B 发生与否,不会影响事件 A 发生的概率:
⊘互斥 (Mutually Exclusive / Disjoint)
事件 A 和事件 B 不能同时发生:
📊一般情况、互斥、独立 对比
| A 和 B | Pr(A∩B) | Pr(A∪B) | Pr(A|B) | Pr(B|A) |
|---|---|---|---|---|
| 一般情况 | Pr(B|A)×Pr(A) | Pr(A)+Pr(B)-Pr(A∩B) | Pr(A∩B)/Pr(B) | Pr(A∩B)/Pr(A) |
| 互斥 | 0 | Pr(A)+Pr(B) | 0 | 0 |
| 独立 | Pr(A)×Pr(B) | Pr(A)+Pr(B)-Pr(A)Pr(B) | Pr(A) | Pr(B) |
🎮 独立 vs 互斥 vs 一般
理解三种事件关系的本质区别
→ B 发生会影响 A 的概率
🎲🎲🎲抛三枚骰子:独立的经典例子
一次性抛三枚骰子,这三枚骰子点数互不影响,也就是"独立"。
🔀条件独立 (Conditionally Independent)
在给定事件 C 发生条件下,如果 A 和 B 独立,则称 A 和 B 在 C 条件下条件独立:
• 条件独立 ⇏ 独立
独立性在机器学习中的重要性
- • 朴素贝叶斯假设特征条件独立
- • 独立同分布 (i.i.d.) 是很多算法的基础假设
- • 判断独立性可以大大简化概率计算
📝 本节小结
3.1 无处不在
- 孟德尔/道尔顿
3.2 古典概率
- 样本空间/等可能
3.3 杨辉三角
- 二项式/组合数
3.4 事件关系
- 集合运算/互斥
3.5 条件概率
- Pr(A|B)/乘法
3.6 贝叶斯定理
- 先验/后验/似然
3.7 全概率定理
- 分割/穷举
3.8 独立与互斥
- 独立≠互斥