审视数学，你会发现，它不仅是颠扑不破的真理，而且是至高无上的美丽——那种冷峻而朴素的美，不需要唤起人们任何的怜惜，没有绘画和音乐的浮华装饰，纯粹，只有伟大艺术才能展现出来的严格完美。
Mathematics, rightly viewed, possesses not only truth, but supreme beauty — a beauty cold and austere, like that of sculpture, without appeal to any part of our weaker nature, without the gorgeous trappings of painting or music, yet sublimely pure, and capable of a stern perfection such as only the greatest art can show.
—— 伯特兰·罗素 (Bertrand Russell)
英国哲学家、数学家 | 1872 ~ 1970
🐍 Python工具箱
scipy.stats.binom_test()计算二项分布的p值
scipy.stats.norm.interval()产生区间估计结果
seaborn.heatmap()产生热图
seaborn.lineplot()绘制线型图
scipy.stats.ttest_ind()两个独立样本平均值的t-检验
📋 本章内容概览
- • 两大学派对比
- • 大数定理
- • 中心极限定理
- • 点估计
- • 最大似然估计MLE
- • 区间估计
- • 鸢尾花数据
- • 置信区间
- • 假设检验
统计推断：两大学派
Frequentist vs Bayesian Inference
统计有两大分支：统计描述、统计推断。
统计推断有两大学派：频率学派、贝叶斯学派。
统计学的两大分支
用图形和汇总统计量描述样本数据
• 图形展示
• 汇总统计量
• 数据可视化
通过样本推断总体
• "概率"、"高斯"、"随机"板块提供工具
• 数据科学、机器学习广泛应用
• 本章和下一板块的主题
📊 统计推断：两大学派对比
Frequentist vs Bayesian Inference
频率学派推断
Frequentist Inference
• 概率是频率 — 事件概率是大量重复试验中频率的极限值
• "上帝视角" — 真实参数就像上帝能看到的本质
强调事件的可重复性和独立性
不考虑先验概率，只基于观测数据
通过增加样本量提高估计精度
最大似然估计 MLE
置信区间 CI
显著性检验、p值
"真或假"、区间覆盖
我们无法直接打开看，只能通过反复试验来猜测里面是什么。
⚖️ 两大学派对比
| 对比维度 | 频率学派 | 贝叶斯学派 |
|---|---|---|
| 参数性质 | 固定但不可知的常数 | 随机变量，有分布 |
| 概率含义 | 频率的极限 | 信念程度 |
| 信息来源 | 仅样本数据 | 先验知识+样本数据 |
| 主要方法 | MLE、置信区间、假设检验 | 先验、后验、MAP、MCMC |
| 结论形式 | "真或假"、区间覆盖 | 后验概率分布 |
| 主观性 | 客观，不考虑先验 | 整合主观先验 |
| 样本量大时 | 殊途同归！结果趋于一致 | |
• 方法成熟，应用广泛
• 可重复性验证
• 易于理解和实施
• 小样本也能推断
• 不确定性量化完整
• 机器学习应用广泛
• 本章和下一章简要介绍频率学派工具
• 下一个板块用五章内容专门介绍贝叶斯学派
• 机器学习中贝叶斯统计应用越来越广泛
• 贝叶斯能整合主观、客观信息，这是频率派做不到的
📍 图1. 本书统计学版图
最大似然估计MLE
置信区间CI
先验 → 后验
频率学派 (Frequentist Inference)
核心观点：
频率学派认为真实参数确定，但一般不可知。真实参数就好比上帝视角能够看到一切随机现象表象下的本质。
频率学派认为事件的概率是大量重复独立试验中频率的极限值。事件的可重复性、减小抽样误差对于频率派试验很重要。
1) 显著性检验的"真或假"结论
2) 置信区间是否覆盖真实参数的结论
数学工具：区间估计、最大似然估计MLE、假设检验
本章必须掌握的是最大似然估计MLE。
注意：本书不会介绍假设检验。《数据有道》中讲解线性回归时会涉及到常见假设检验。
贝叶斯学派 (Bayesian Inference)
核心观点：
贝叶斯学派则认为参数本身也是不确定的，参数本身也是随机变量，因此也服从某种概率分布。
不同于频率派仅仅使用样本数据，贝叶斯学派结合过去的经验知识和样本数据。
• 先验分布 (prior distribution)
• 后验分布 (posterior distribution)
• 最大后验概率估计 (MAP)
对比：
• 频率派：只考虑证据，不考虑先验
• 贝叶斯：整合先验知识+证据
• 频率派：概率是可重复事件的频率
• 贝叶斯：概率是主观判断或信念
殊途同归
有意思的是，当样本数据量趋近无穷时，
频率学派和贝叶斯学派结果趋于一致，可谓殊途同归。
🤖 机器学习视角
贝叶斯统计能够整合主观、客观不同来源的信息，并作出合理判断，这是频率派推断做不到的。
本书前文提到，机器学习算法中频率学派的方法有其局限性。
本书编排
和常见的概率统计教材不同，本书"厚"贝叶斯学派，"薄"频率学派。
• 下一个板块：用五章内容专门介绍贝叶斯学派统计推断
📈 关于回归分析
回归分析(regression analysis)经常被划分到频率学派的工具箱中。
作者则认为解释回归分析的视角很多：
• 投影视角
• 矩阵分解
• 条件概率
• 最大似然估计MLE
• 最大后验估计MAP
因此，本书不把回归分析划在频率学派下面。
本书将在第24章从多视角来看回归分析。
《数据有道》一册则有专门讲解回归分析的板块。
🎯 16.1 关键要点
• 统计推断 — 样本推断总体
• 两大学派 — 频率派 vs 贝叶斯
• 概率含义 — 频率 vs 信念
• 样本量大时 — 殊途同归
• 贝叶斯：参数有分布，整合先验和证据更新认知
• 本书立场："厚"贝叶斯，"薄"频率，适应机器学习需求
• 必须掌握：MLE（频率派）和MAP（贝叶斯）
频率学派的工具
Tools of Frequentist Inference
🌸 以鸢尾花数据为例
鸢尾花数据集最初由Edgar Anderson于1936年在加拿大加斯帕半岛上采集获得。
• 半岛上三类鸢尾花（setosa、versicolour、virginica）的具体比例
📊 方法一：大数定理 (Law of Large Numbers)
第一个办法是尽可能多地采集样本，比如在估算加斯帕半岛上所有鸢尾花花萼长度均值时，尽量同一时间采集尽可能多的鸢尾花数据。
当我们进行大量的随机实验时，随着实验次数的增加，实际观测值越来越接近真实值。
大数定律体现出一些随机事件的均值具有长期稳定性。
但是，如果硬币质地均匀，让我们抛硬币的次数达到上千上万次，
就会发现硬币朝上的次数约为50%。
因此，频率学派推断特别强调同一试验的可重复性。
📈 方法二：中心极限定理 (Central Limit Theorem)
第二种方法是，多次地独立地从总体中抽取样本，并计算每次样本的平均值，并用这些样本平均值去估算总体的期望。
2) 相同分布：从同一总体中独立抽取样本
3) 样本量足够大
中学物理课，我们用游标卡尺反复测量同一物体的厚度，然后计算平均值来估计物体的实际厚度，这一试验的思路实际上就是中心极限定理的应用。
• 游标卡尺的不稳定性
• 读数不准确
• 人为误差等因素
这些误差的分布将趋向于正态分布。
一个总体中随机进行n次抽样，每次抽取m个样本，计算其平均数，一共能得到n个平均数。
接近于正态分布
不管总体的分布如何
在他眼中正态分布仿佛如同宇宙终极分布一般
🎯 点估计 (Point Estimation)
点估计，顾名思义，是指用样本统计量的某单一具体数值直接作为某未知总体参数的最佳估值。
农场有几万只鸡兔。为了估计兔子的平均体重，我们从农场动物中随机抽取100只兔子作为样本，计算它们的平均体重为5 kg。
本章主要介绍最大似然估计 (Maximum Likelihood Estimation, MLE)。
• MLE和贝叶斯学派的最大后验概率估计MAP地位并列
• 本章必须掌握MLE
📏 区间估计 (Interval Estimation)
在用多次抽样估计总体分布的期望时，抽样的次数总是有限的，也有可能存在极端的样本值，这都会对估算产生影响。
统计学家就想到一个更有效的办法，在进行估算时将注意力集中到样本平均值可能的一个范围或区间内，并给出真实的期望值位于这个区间的概率。
举个例子，每次抽样的次数不变，做100次抽样，分别计算得到100个对应的样本平均值，并且认定在"上帝视角"中这100个样本平均值服从正态分布。
这个区间就是对应的95%置信区间。
总体真正的期望值在这个置信区间范围内。
Confidence Limits
🎯 16.2 关键要点
• "大力出奇迹"
• 强调可重复性
• 局限：需要大量样本
• 与原分布无关
• "上帝视角"
• 游标卡尺例子
• MLE：必须掌握
• 区间估计：置信区间
• 95% CI最常用
中心极限定理：渐近于正态分布
Central Limit Theorem: Asymptotically Normal
通过蒙特卡洛模拟，
我们来直观感受中心极限定理的威力。
📐 中心极限定理公式（公式1-2）
🎲 中心极限定理演示：掷骰子实验
Central Limit Theorem: Dice Rolling Simulation
实验参数
样本均值 X̄ 的分布（共1000次实验）
• 期望 E[X] = (1+2+3+4+5+6)/6 = 3.5
• 方差 Var[X] = 35/12 ≈ 2.917
• 标准差 σ ≈ 1.708
• 期望 E[X̄] = μ = 3.5（不变）
• 标准误 SE = σ/√n = 0.764
• n越大，SE越小，分布越"瘦"
📏 标准误 (Standard Error, SE)
• SE越小，估计越准确
• n越大，SE越小
• 要使SE减半，需要4倍样本量
- 中心极限定理 — n个独立同分布随机变量的均值趋向正态分布
- 与原分布无关 — 无论单个变量服从什么分布，均值都趋向正态
- 标准误SE — 随√n减小，n越大估计越准确
- "上帝视角" — 正态分布像宇宙终极分布
- 实际应用 — 游标卡尺反复测量，误差服从正态分布
离散随机变量例子：掷骰子
第一个例子是离散随机变量。
X服从离散均匀分布，每个面概率为1/6。
图6-8：展示不同n值（5, 10, 20）和K值（100, 1000, 10000）的组合
观察：
• 当n=5时，随着K增大，平均值X̄趋向于正态分布
• 增大n会导致标准误SE不断减小
• 随着n增大，直方图逐渐变"瘦"（SE减小）
连续随机变量例子：双峰分布
第二个例子是连续随机变量。
随着试验次数K不断增大，平均值X̄逐渐趋向于正态分布。
图11中，这个趋势更加明显。
图12所示为标准误SE随着n增大不断减小。
📊 中心极限定理：连续随机变量（双峰分布）
Central Limit Theorem: Continuous Bimodal Distribution
实验参数
图9. 原始双峰分布（不是正态分布）
图10. 样本均值 X̄ 的分布（n=10, K=1000）
图12. 标准误SE随n变化
随着K增大，样本均值的分布逐渐趋向正态分布
n越大，估计越精确，分布越"瘦"
Bk5_Ch16_02.py 绘制图9、图10、图11、图12。
- 原始分布非正态 — 双峰分布，明显偏离正态
- 均值趋向正态 — 无论原始分布如何，均值都趋向正态
- K增大看趋势 — 试验次数越多，正态趋势越明显
- n增大降SE — 样本量越大，标准误越小，估计越准确
- 图12曲线 — SE = σ/√n，双曲线形状
🎯 16.3 关键要点
• SE = σ/√n
• 与原分布无关
• n越大，SE越小
• n增大→分布变"瘦"
• 离散→正态
• 蒙特卡洛验证
• 解释了为什么正态分布无处不在
• 提供了估计误差的理论基础
• 使得我们能够用正态分布进行推断
• 即使原始数据不是正态分布！
最大似然：鸡兔比例
Maximum Likelihood Estimation: Chicken-Rabbit Ratio
白话说，最大似然估计MLE就是
找到让似然函数取得最大值的参数。
🐔🐰 鸡兔同笼
我们先看一个简单的例子。
试想，一个农场散养大量"走地"鸡、兔。假设农场中兔子比例真实值为θ，但是农夫自己并不清楚。
X₁、X₂ ... Xₙ 为每次抓取动物的结果。
其中 0 代表鸡，1 代表兔
注意：抓取动物过程，我们忽略这对农场整体动物总体比例的影响。
图13. 农场有数不清的散养鸡兔
🎯 未知参数 θ
X₁、X₂ ... Xₙ 为IID的伯努利分布 Bernoulli(θ)
• 似然函数、对数似然函数一般用θ (theta)作为未知量
• 上式本应该是概率质量函数，但为了方便还是用f()
• 本书用"|"引出条件概率中的条件，用";"引出概率分布的参数
📊 似然函数 (Likelihood Function)
在统计学中，似然函数通常是通过观测数据的联合分布来定义。
假设一次抓20只动物，其中8只兔子，则似然函数L(θ)为：
图14(a)所示为上述似然函数图像。显然，这个似然函数和横轴围成图形的面积不是1。
本书第20章将介绍方法"归一化"似然函数。
🐔🐰 最大似然估计：鸡兔比例问题
Maximum Likelihood Estimation: Chicken-Rabbit Ratio
🌾 问题设置
0 = 鸡, 1 = 兔
实验参数
📊 观测数据
图14(a). 似然函数 L(θ)
图14(b). 对数似然函数 ln L(θ)
ln L(θ) = s ln θ + (n-s) ln(1-θ)
d/dθ [ln L(θ)] = s/θ - (n-s)/(1-θ) = 0
s(1-θ) = (n-s)θ
s - sθ = nθ - sθ
s = nθ
对数可以将连乘Π变成连加Σ，《数学要素》第12章
概率累积乘积会出现极小正数，计算机精度有限
取对数后更易识别，避免underflow
对数函数单调递增，最大化ln L(θ) 等价于最大化L(θ)
连乘→连加，求导更容易
- MLE定义 — 找到让似然函数取得最大值的参数
- 似然函数 — L(θ) = θs(1-θ)n-s，不是概率分布（面积≠1）
- 对数似然 — ln L(θ) = s ln θ + (n-s) ln(1-θ)
- MLE结果 — θ̂ = s/n，直观上就是样本比例
- 优化方法 — 求导=0，解方程得到MLE
📈 对数似然函数 (Log-Likelihood Function)
对数似然函数就是对似然函数取对数，它可以将似然函数的连乘形式转换为加和形式。
当 n = 20，s = 8 时：
图14(b)所示为上述对数似然函数图像。
🎯 MLE优化问题
对公式10中的 ln L(θ) 对θ求偏导为0，构造等式：
求解上式得到：
🎯 16.4 关键要点
• θ̂ = argmax L(θ)
• 或 argmax ln L(θ)
• 鸡兔问题：θ̂ = s/n
• 连乘形式
• 面积≠1
• 图14(a)展示
• 连乘→连加
• 避免下溢
• 求导方便
• 对数似然将乘法问题转化为加法问题
• 求导=0是找极值的标准方法
• 鸡兔问题：MLE结果θ̂=s/n就是直观的样本比例
• 第21章将用贝叶斯方法重新求解
最大似然：以估算均值、方差为例
MLE for Gaussian Mean and Variance
📊 正态分布参数估计
设 X ~ N(μ, σ²)，μ和σ²为未知参数。
x₁、x₂、...、xₙ 是X₁、X₂、...、Xₙ的观察值。
📐 概率密度函数
令 θ₁ = μ，θ₂ = σ²，Xᵢ的概率密度函数则写成：
📊 似然函数（公式17）
似然函数L(θ₁, θ₂)为fXᵢ(xᵢ; θ₁, θ₂)的连乘：
= ∏ᵢ₌₁ⁿ (1/√(2πθ₂)) exp[-(xᵢ-θ₁)²/(2θ₂)]
= (2πθ₂)-n/2 exp[-Σ(xᵢ-θ₁)²/(2θ₂)]
📈 对数似然函数（公式18）
对公式17取对数得到ln L(θ₁, θ₂)：
🎯 优化问题（公式19-20）
为了最大化公式18中ln L(θ₁, θ₂)，对θ₁、θ₂求偏导为0，构造等式：
可以求得：
"戴帽子"的θ̂₁、θ̂₂为对真实θ₁、θ₂的估计。
注意，上式中θ̂₂并不是对方差的无偏估计。
📊 最大似然估计：正态分布均值与方差
MLE for Gaussian Mean and Variance
📝 样本数据
📋 预设示例
📈 最大对数似然
图15. ln L(θ₁, θ₂) 曲面和最大值点位置
θ̂₁ = x̄ = 0.0000
θ̂₂ = (1/n)Σ(xᵢ-x̄)² = 13.2857
📊 样本统计量
"戴帽子"的θ̂₁、θ̂₂为对真实θ₁、θ₂的估计。
注意，上式中θ̂₂并不是对方差的无偏估计。
（无偏估计应除以n-1而不是n）
- 正态分布MLE — 均值μ和方差σ²的最大似然估计
- θ̂₁ = x̄ — 均值的MLE就是样本均值
- θ̂₂ = (1/n)Σ(xᵢ-x̄)² — 方差的MLE（有偏估计）
- 图15热图 — 对数似然曲面，红×标记最大值
- 无偏估计 — 方差的无偏估计应除以(n-1)
具体值计算
给定样本为 {-2.5, -5, 1, 3.5, -4, 1.5, 5.5}，下面用MLE估算其均值和方差。
θ̂₂ = 13.2857 ≈ 93/7
max ln L(θ₁, θ₂) = -18.98598
图15所示为ln L(θ₁, θ₂)曲面，×对应对数似然函数最大值点位置。
🎯 16.5 关键要点
• μ和σ²未知
• n个样本IID
• 用MLE估计
• θ̂₂ = (1/n)Σ(xᵢ-x̄)²
• 图15：曲面可视化
• θ̂₂是有偏估计
• 取对数
• 对参数求偏导
• 令偏导=0求解
• 方差的MLE：θ̂₂ = (1/n)Σ(xᵢ-x̄)²，注意是有偏估计
• 无偏估计：方差的无偏估计应除以(n-1)而不是n
• 图15曲面：直观展示对数似然函数的最大值点
• 第24章应用：MLE将用于线性回归参数估计
区间估计：总体方差已知，均值估计
Interval Estimation: Known Variance, Mean Estimation
不同于点估计仅估出一个数值，
区间估计在推断总体参数时，根据统计量的抽样分布特征，
估算出总体参数的一个区间范围，并且估算出总体参数落在这一区间的概率。
🎯 核心概念
附加在点估计上构造区间
参数可能落在的区间
区间包含真值的概率
置信区间对应的概率，被称为置信度。
📋 本节内容
📊 置信区间交互演示
Confidence Interval Interactive Demo
区间类型
参数设置
图17(a). 100次估算的95%置信区间
图16. 标准正态分布和95%置信水平
• α = 0.05 (显著性水平)
• 1-α = 0.95 (置信水平)
• z = 1.960 (临界值)
• n = 30 (样本量)
• σ = 5 (总体标准差)
表1. 不同显著性水平的临界值
| 显著性水平/置信水平 | 双尾 | 左尾 | 右尾 |
|---|---|---|---|
| α = 20% 1-α = 80% | ±1.282 | 0.842 | -0.842 |
| α = 10% 1-α = 90% | ±1.645 | 1.282 | -1.282 |
| α = 5% 1-α = 95% | ±1.96 | 1.645 | -1.645 |
| α = 1% 1-α = 99% | ±2.576 | 2.326 | -2.326 |
- 置信区间 — 总体参数落在区间内的概率
- 置信水平 — 1-α，通常取95%或99%
- 双边vs单边 — 双尾、左尾、右尾三种类型
- 覆盖率 — 理论上应接近置信水平（如95%）
- 样本量n↑ — 区间变窄，估计更精确
📐 双边置信区间公式
🔍 临界值计算（公式28）
这和本书前文介绍的百分点函数PPF本质上一致。
📊 95%置信水平
图17. 100次估算的置信区间
再次强调区间估计得到的是总体参数落在某一区间的概率。
• 黑色竖线为总体均值μ所在位置
• × 代表每次估算样本均值x̄所在位置
• 当总体均值落在置信区间时，区间为蓝色
• 否则，区间为红色
• 有88个双尾区间包含真实的总体均值
• 有12个双尾区间不包含真实的总体均值
图17(b)为每次抽取得到的样本数据分布山脊图。
左侧置信区间不断收窄，而右侧分布范围不断变宽，两者并不矛盾。
请大家思考背后原因。
↔️ 单边置信区间
取值范围从负无穷到平均值x̄右侧的临界值：
取值范围从x̄左侧的临界值到正无穷：
总体方差已知，95% (1-α = 1-5%)水平的单侧置信区间分别为：
🎯 16.6 关键要点
• 附带概率信息
• vs 点估计
• 置信区间CI
• 左尾：(-∞, x̄+z]
• 右尾：[x̄-z, +∞)
• 表1：临界值表
• 1-α：置信水平
• z：临界值
• n↑ → CI变窄
• 95%置信水平最常用，z≈1.96
• 图17展示：100次试验中约95次包含真值
• 样本量n增大：置信区间变窄，估计更精确
• ICDF/PPF：用于计算临界值z
区间估计：总体方差未知，均值估计
Interval Estimation: Unknown Variance, Mean Estimation
如果总体方差σ²未知，就不能用上一节的估算方法。
📐 样本方差（公式36）
📊 使用t分布的置信区间
📊 学生-t分布置信区间（方差未知）
Student's t-Distribution Confidence Interval
区间类型
参数设置
• df小时，t值 > z值
• df↑时，t分布→正态
• 厚尾现象明显
图18. t分布 vs 标准正态分布 (df=5)
图19. 左尾/右尾置信区间
• 用样本标准差s代替总体标准差σ
• 用t临界值代替z临界值
• t1-α/2(n-1)为自由度n-1，CDF值为1-α/2的t分布逆累计分布值
厚尾现象
自由度较小时，学生-t分布有明显的厚尾现象。
• 学生-t分布的临界值的绝对值要大于标准正态分布
• t95% = 2.571 > z95% = 1.960
学生-t分布逐渐接近标准正态分布。
尝试调整样本量n，观察t值和z值的差异变化！
- 方差未知 — 用样本方差s²估计，除以(n-1)
- t分布 — 代替标准正态分布，考虑额外不确定性
- 厚尾现象 — df小时尾部更重，临界值更大
- df↑趋正态 — 大样本时t分布→N(0,1)
- 实际应用 — 真实场景中σ²通常未知，常用t分布
厚尾现象
图18所示为自由度为5时，1-α置信水平双尾置信区间对应位置。
• 学生-t分布的临界值的绝对值要大于标准正态分布
• 例如：t0.975(5) ≈ 2.571 > z0.975 ≈ 1.96
学生-t分布逐渐接近标准正态分布。
图19. 左尾/右尾置信区间
图19所示为总体方差未知，总体平均值μ的1-α置信水平的左尾/右尾置信区间。
CI = (-∞, x̄ + t1-α(n-1)·s/√n]
CI = [x̄ - t1-α(n-1)·s/√n, +∞)
σ²已知 vs σ²未知对比
| 特征 | σ²已知（16.6节） | σ²未知（16.7节） |
|---|---|---|
| 分布 | 标准正态分布 N(0,1) | 学生-t分布 t(n-1) |
| 标准差 | σ（总体标准差） | s（样本标准差） |
| 临界值 | z1-α/2 | t1-α/2(n-1) |
| 95%临界值 | ≈ 1.96 | 随df变化，df小时>1.96 |
| 尾部特征 | 轻尾 | 厚尾（df小时） |
| 实际应用 | 理论情况，少见 | 实际情况，常用 |
🎯 16.7 关键要点
• s² = (1/(n-1))Σ(xᵢ-x̄)²
• 无偏估计
• 分母n-1
• 自由度df=n-1
• 厚尾现象
• df↑→N(0,1)
• df小差异大
• df大趋近
• 图18/19展示
• t分布考虑了用s估计σ带来的额外不确定性
• 厚尾现象使得小样本时置信区间更宽
• 大样本（n>30）时t分布≈正态分布
• 公式36：样本方差除以n-1是无偏估计的关键