← 返回目录

Chapter 1: 本书概率统计全景

Landscape of Statistics and Probability

"概率论作为数学学科，可以且应该从公理开始建设，和几何、代数的思路一样。"

—— 安德雷·柯尔莫哥洛夫 (Andrey Kolmogorov)

⚠️ 章节说明

本章是全书的"数学手册"和"备忘录"，用范式化方式罗列本书100个核心公式。

公式连篇，可能是"鸢尾花书"最枯燥无味的一章。但本章之后，我们就用丰富的图形给这些公式以色彩和温度。

1.1

必备数学工具：线性代数小测验

Linear Algebra Prerequisites Quiz

本书前文提到，《统计至简》一册的核心特点是多元。《矩阵力量》中介绍的线性代数工具是本书核心数学工具。因此，在开始本书阅读之前，请大家完成本节这个小测验。

📖 学习建议： 如果大家能够轻松完成这个测验，欢迎大家开始本书后续内容学习；否则，建议大家重温《矩阵力量》中相关数学工具。

测验内容涵盖

📊 数据矩阵

  • • 质心计算
  • • 中心化数据
  • • 标准化数据
  • • 格拉姆矩阵
  • • 协方差矩阵
  • • 相关系数矩阵

🔷 协方差矩阵

  • • 正定性条件
  • • 二元函数图像
  • • 等高线形状
  • • 相关系数范围

🔺 Cholesky分解

  • • 分解前提条件
  • • 上三角矩阵R特点
  • • 几何角度理解

⚡ 特征值分解

  • • V矩阵特殊性质
  • • Λ矩阵特点
  • • 向量空间理解
  • • 几何意义

🔬 奇异值分解

  • • 四种SVD类型
  • • 奇异值与特征值关系
  • • 向量四个空间联系

📈 多元高斯分布

  • • PDF公式含义
  • • 马氏距离定义
  • • 与欧氏距离差别

交互式数据矩阵操作

下面的可视化演示了数据矩阵的各种核心操作。调整参数，观察不同操作的结果。

💡 测验答案

本书不就上述题目给出具体答案，所有答案都在《矩阵力量》一册，请大家自行查阅。

本章下面先用数学手册、备忘录这种范式罗列本书中100个核心公式，每一节对应本书一个板块。而本章之后，我们就用丰富的图形给这些公式以色彩和温度。

1.2

统计描述

Statistical Description

给定随机变量 X 的 n 个样本 {x⁽¹⁾, x⁽²⁾, …, x⁽ⁿ⁾}, 我们需要用统计量来描述数据的特征。

核心统计量

样本均值

μ̄ = (1/n) Σxᵢ

数据的中心位置，所有观测值的算术平均

样本方差

σ² = [1/(n-1)] Σ(xᵢ-μ̄)²

数据的离散程度，偏离均值的平方平均（除以n-1是贝塞尔修正）

样本标准差

σ = √σ²

与原始数据同量纲的离散度度量，方差的平方根

协方差与相关系数

对于样本数据，随机变量 X 和 Y 的协方差和相关系数衡量它们之间的线性关系：

协方差 Covariance

cov(X,Y) = [1/(n-1)] Σ(xᵢ-μₓ)(yᵢ-μᵧ)
  • • 正值：正相关
  • • 负值：负相关
  • • 零：无线性关系
  • • 单位：X单位 × Y单位

相关系数 Correlation

ρ(X,Y) = cov(X,Y) / (σₓ × σᵧ)
  • • 取值范围：-1 ≤ ρ ≤ 1
  • • ρ = 1：完全正相关
  • • ρ = -1：完全负相关
  • • 无量纲（标准化）

📝 符号说明： 注意，除非特殊说明，本书一般不从符号上区分总体、样本的均值、方差、标准差等。

1.3

概率

Probability

概率论是统计学的理论基础。本节涵盖概率的核心概念：古典概率、条件概率、贝叶斯定理和独立性。

概率核心公式

🎲 古典概率

P(A) = nA / n

样本空间由 n 个等可能事件构成，事件A包含 nA 个结果

🔀 条件概率

P(A|B) = P(A,B) / P(B)

在事件B发生的条件下，事件A发生的概率

🎯 贝叶斯定理

P(A|B) = P(B|A) × P(A) / P(B)

从先验概率P(A)和似然P(B|A)计算后验概率P(A|B)

⚡ 独立性

P(A,B) = P(A) × P(B)

A和B独立时，联合概率等于边缘概率之积

🔄 全概率定理

假设 A₁, A₂, …, Aₙ 互不相容，形成对样本空间 Ω 的分割，且 P(Aᵢ) > 0，对于空间 Ω 中任意事件 B：

P(B) = Σ P(Aᵢ,B) = Σ P(B|Aᵢ) × P(Aᵢ)

全概率定理将复杂事件的概率分解为多个简单事件的概率之和

📊 离散随机变量

概率质量函数 (PMF)

Σ pX(x) = 1, 0 ≤ pX(x) ≤ 1

离散随机变量各取值的概率之和为1

期望值 E(X)

E(X) = Σ x × pX(x)

随机变量的加权平均，权重为概率

方差 var(X)

var(X) = Σ (x - E(X))² × pX(x)

随机变量偏离期望的平方的加权平均

1.4

高斯分布

Gaussian Distribution

高斯分布（正态分布）是统计学中最重要的连续分布，在自然界和社会科学中广泛存在。

一元高斯分布

📊 一元正态分布公式

f(x) = (1/σ√(2π)) × exp(-(x-μ)²/(2σ²))
参数
  • • μ: 均值，控制中心位置
  • • σ: 标准差，控制分散程度
  • • σ² 是方差
标准正态分布
  • • μ = 0, σ = 1
  • • 记作 N(0,1)
  • • Z = (X-μ)/σ 标准化

二元高斯分布

如果 (X, Y) 服从二元高斯分布，且相关性系数不为 ±1，其概率密度函数为：

f(x,y) = 1/(2πσ₁σ₂√(1-ρ²)) × exp(-Q/(2(1-ρ²)))

其中 Q = (x-μ₁)²/σ₁² + (y-μ₂)²/σ₂² - 2ρ(x-μ₁)(y-μ₂)/(σ₁σ₂)

📐 边缘分布

X的边缘分布
X ~ N(μ₁, σ₁²)

X服从均值为μ₁、方差为σ₁²的一元正态分布

Y的边缘分布
Y ~ N(μ₂, σ₂²)

Y服从均值为μ₂、方差为σ₂²的一元正态分布

🎯 多元高斯分布

f(x) = 1/((2π)^(D/2)|Σ|^(1/2)) × exp(-1/2(x-μ)ᵀΣ⁻¹(x-μ))

其中：

  • • x: D维随机向量
  • • μ: D维均值向量
  • • Σ: D×D协方差矩阵（正定）
  • • (x-μ)ᵀΣ⁻¹(x-μ): 马氏距离的平方
条件分布

给定X=x条件下，Y仍服从正态分布，且条件期望和条件方差可以显式计算。

重要性质

高斯分布的线性变换、边缘化、条件化结果仍是高斯分布。

1.5

随机变量与分布

Random Variables and Distributions

本节系统总结离散和连续随机变量的常见分布族，这些分布是统计建模和机器学习的基础。

🎲 离散分布

离散均匀分布

P(X=x) = 1/(b-a+1)

x ∈ [a, b]，每个整数值概率相等

伯努利分布

P(X=x) = p^x(1-p)^(1-x)

x ∈ {0,1}，描述单次试验

二项分布

P(X=k) = C(n,k)p^k(1-p)^(n-k)

n次独立重复试验中成功k次

泊松分布

P(X=k) = λ^k e^(-λ) / k!

单位时间内事件发生次数

📈 连续分布

连续均匀分布

f(x) = 1/(b-a), a ≤ x ≤ b

在区间[a,b]上概率密度恒定

正态分布

f(x) = (1/σ√(2π))e^(-(x-μ)²/(2σ²))

最重要的连续分布，中心极限定理

指数分布

f(x) = λe^(-λx), x ≥ 0

等待时间、寿命分析、无记忆性

Beta分布

f(x) = x^(α-1)(1-x)^(β-1)/B(α,β)

定义在[0,1]，贝叶斯先验分布

🔄 随机变量的函数

线性组合

如果 Y = aX₁ + bX₂，则：

期望
E(Y) = aE(X₁) + bE(X₂)
方差
Var(Y) = a²Var(X₁) + b²Var(X₂) + 2ab·Cov(X₁,X₂)

向量投影

如果 χ ~ N(μ, Σ)，向量 χ 在单位向量 v 方向上投影得到 Y = vᵀχ：

期望
E(Y) = vᵀμ
方差
Var(Y) = vᵀΣv

💡 这是PCA主成分分析的数学基础！

矩阵变换

如果 χ ~ N(μ_χ, Σ_χ)，γ = Vᵀχ（V为正交矩阵）：

期望向量
E(γ) = Vᵀμ_χ
协方差矩阵
Var(γ) = VᵀΣ_χV
1.6

频率派推断

Frequentist Statistical Inference

频率派统计学将参数视为固定但未知的常数，通过重复抽样和大样本理论进行推断。

中心极限定理

📊 中心极限定理 (CLT)

X̄ = (1/n)Σᵢ₌₁ⁿ Xᵢ ~ N(μ, σ²/n)

当样本量 n 足够大时，样本均值 X̄ 近似服从正态分布

条件
  • • X₁, X₂, ..., Xₙ 独立同分布
  • • E(Xₖ) = μ (期望存在)
  • • Var(Xₖ) = σ² (方差存在且有限)
重要性
  • • 无论总体分布如何
  • • 样本均值趋向正态
  • • 统计推断的基础

🎯 最大似然估计 (MLE)

优化问题

θ̂_MLE = argmax_θ ∏ᵢ₌₁ⁿ f(xᵢ; θ) = argmax_θ Σᵢ₌₁ⁿ ln f(xᵢ; θ)

最大化似然函数（或对数似然函数）来估计参数

优点
  • • 渐近无偏性
  • • 渐近有效性
  • • 一致性
  • • 不变性
应用
  • • 参数估计
  • • 模型拟合
  • • 假设检验
  • • 置信区间

📈 核密度估计 (KDE)

f̂(x) = (1/nh) Σᵢ₌₁ⁿ K((x - xᵢ)/h)

非参数方法估计概率密度函数

核函数 K(x)
  • • 对称性：K(x) = K(-x)
  • • 归一化：∫ K(x)dx = 1
  • • 常用：高斯核、Epanechnikov核
带宽 h

控制平滑程度：h越大越平滑，h越小越精细

1.7

贝叶斯派推断

Bayesian Statistical Inference

贝叶斯统计学将参数视为随机变量，通过先验分布和似然函数计算后验分布。

贝叶斯定理核心

🎯 贝叶斯公式

P(θ|数据) = P(数据|θ) × P(θ) / P(数据)
后验 ∝ 似然 × 先验
先验分布 P(θ)

观测数据前对参数的信念，反映先验知识或主观判断

似然函数 P(数据|θ)

给定参数下观测数据的概率，反映数据的信息

后验分布 P(θ|数据)

观测数据后对参数的更新信念，结合先验和似然

证据 P(数据)

归一化常数，确保后验分布积分为1

📊 贝叶斯分类

分类决策

ŷ = argmax_Cₖ P(Y=Cₖ|x) = argmax_Cₖ P(x|Cₖ) × P(Cₖ)

选择后验概率最大的类别

后验概率
P(Cₖ|x)
成员值
似然概率
P(x|Cₖ)
类条件概率
先验概率
P(Cₖ)
类别占比
证据因子
P(x)
归一化

🎯 最大后验估计 (MAP)

θ̂_MAP = argmax_θ P(θ|数据) = argmax_θ P(数据|θ) × P(θ)

最大化后验分布来估计参数

与MLE比较
  • • MLE：只考虑似然
  • • MAP：似然 + 先验
  • • 当先验均匀时，MAP = MLE
优势
  • • 融合先验知识
  • • 自然正则化
  • • 适合小样本

⚖️ 频率派 vs 贝叶斯派

对比维度频率派贝叶斯派
参数本质固定但未知的常数服从概率分布的随机变量
推断依据重复抽样、大样本先验知识 + 观测数据
典型方法MLE、置信区间、假设检验后验分布、MAP、贝叶斯因子
不确定性通过置信区间表达通过后验分布直接表达
优点客观、理论完善灵活、融合先验
局限需要大样本、忽略先验计算复杂、先验选择主观

💡 实践建议： 两种方法各有优势，实际应用中可以结合使用。大样本时结果趋于一致，小样本时贝叶斯方法更有优势。

←返回目录第2章→