← 返回目录

第9章 一元高斯分布

Univariate Gaussian Distribution

"可能是应用最广泛的概率分布"

"数学家站在彼此的肩膀上。"

"Mathematicians stand on each other's shoulders."

—— 卡尔·弗里德里希·高斯 (Carl Friedrich Gauss) | 德国数学家、物理学家、天文学家 | 1777 ~ 1855

📚 本章导览

📊

期望 μ

决定分布的位置

📈

标准差 σ

决定分布的形状

📉

标准高斯

μ = 0, σ = 1

本章主题

概率密度函数 PDF
累积分布函数 CDF
百分点函数 PPF
68-95-99.7 法则
参数估计
QQ 图
9.1

期望值决定位置，标准差决定形状

Mean for Location, Standard Deviation for Shape

一元高斯分布 (univariate normal distribution) 的概率密度函数 PDF 如下：

⭐ 一元高斯分布 PDF

f(x) = (1 / (σ√(2π))) · exp(-(x-μ)² / (2σ²))
其中，μ 为期望值，σ 为标准差
参数 μ（期望值）
  • • 决定分布的中心位置
  • • PDF最大值位于 x = μ
  • • 曲线以 x = μ 为轴左右对称
参数 σ（标准差）
  • • 决定分布的形状
  • • σ 越大，曲线越扁平
  • • σ 越小，曲线越瘦高

📊 一元高斯分布：μ 决定位置，σ 决定形状

探索期望值和标准差的影响

期望值 μ

μ = 0.0
决定分布的中心位置

标准差 σ

σ = 1.0
决定分布的形状（扁平 vs 瘦高）

显示模式

PDF关键值
最大值: 0.399
位于 x = μ = 0.0
拐点: μ ± σ
= [-1.0, 1.0]
概率密度函数 (PDF)
μ = 0.0μ-σμ+σ-6-4-202460.00.20.40.6xf(x)
━ μ（期望值）
分布的中心，决定曲线的位置
┅ μ±σ（拐点）
PDF曲线凹凸性变化的点
σ 越小：
  • 曲线越瘦高（尖峰）
  • 数据越集中
  • 不确定性越小
σ 越大：
  • 曲线越扁平
  • 数据越分散
  • 不确定性越大

📍期望值 μ 的影响

一元高斯分布概率密度函数的形状为中间高两边低的钟形， 其 PDF 最大值位于 x = μ。

关键特性：
  • • PDF 以 x = μ 为轴左右对称
  • • 曲线向左右两侧远离 x = μ 呈逐渐均匀下降趋势
  • • 曲线两端与横轴 y = 0 无限接近但永不相交
  • • 改变 μ 值会平移整条曲线，但不改变形状

📏标准差 σ 的影响

σ 也称为高斯分布的形状参数， 从数据角度来讲，σ 描述数据分布的离散程度。

σ 越大：
  • • 曲线越扁平
  • • 数据分布越分散
  • • 不确定性越大
  • • 峰值越低
σ 越小：
  • • 曲线越瘦高
  • • 数据分布越集中
  • • 不确定性越小
  • • 峰值越高
💡 单位一致性：
期望值、标准差的单位和随机变量的单位相同。 因此，直方图、概率密度图上常常出现 μ ± σ、μ ± 2σ、μ ± 3σ 等标注。

🔄拐点：μ ± σ

PDF 曲线的拐点（凹凸性变化的点）位于 μ - σ 和 μ + σ 处。

从 -∞ 到 μ：
  • • 一阶导数 > 0（递增）
  • • 二阶导数先正后负
  • • 在 μ - σ 处二阶导数 = 0
从 μ 到 +∞：
  • • 一阶导数 < 0（递减）
  • • 二阶导数先负后正
  • • 在 μ + σ 处二阶导数 = 0
在 x = μ 处：一阶导数 = 0（最大值），二阶导数 < 0（凹函数）
💡

关键观察

  • • 改变 μ：曲线左右平移，形状不变
  • • 改变 σ：曲线胖瘦变化，位置不变
  • • μ 和 σ 共同决定了高斯分布的全部特征
  • • 高斯分布可以完全由这两个参数描述：N(μ, σ²)
✦
9.2

累积概率密度：对应概率值

Cumulative Distribution Function (CDF)

一元高斯分布的累积概率密度函数 CDF 是 PDF 的积分， 它将实数轴上的任意点 x 映射到 (0, 1) 之间的概率值。

⭐ 累积分布函数 CDF

F(x) = ∫-∞x f(t) dt = ∫-∞x (1/(σ√(2π))) exp(-(t-μ)²/(2σ²)) dt
CDF 是 PDF 从 -∞ 到 x 的积分
误差函数表达式
F(x) = (1/2)[1 + erf((x-μ)/(σ√2))]
其中 erf(x) 为误差函数（error function）

📈 累积概率密度 CDF 与百分点函数 PPF

理解概率密度、累积概率与逆函数

显示模式

选择 x 值

x = 0.0
计算结果
PDF: f(x) = 0.399
(概率密度值)
CDF: F(x) = 0.500
(累积概率)
P(X ≤ 0.0) = 50.0%
标准正态分布
μ = 0, σ = 1
记作 N(0, 1)
PDF（蓝色）与 CDF（绿色）
-4-20240.00.20.40.60.81.0xf(x) / F(x)PDF f(x)CDF F(x)
━ PDF
概率密度函数
y 轴：密度值（不是概率）
━ CDF
累积分布函数
y 轴：概率值 P(X ≤ x)
关键理解：
  • PDF积分 = CDF：PDF 从 -∞ 到 x 的积分面积就是 CDF 在 x 处的高度
  • CDF 范围：从 -∞ 到 +∞，CDF 单调递增，值域为 (0, 1)
  • PPF = CDF⁻¹：PPF 是 CDF 的逆函数，用于查找分位数
  • 实际应用：PPF 可以回答"多少数据在某个百分位以下"的问题

📍期望值 μ 对 CDF 的影响

随着 x 不断靠近 -∞，CDF 取值不断接近于 0，但不等于 0； 反之，随着 x 不断靠近 +∞，CDF 取值不断接近于 1，但不等于 1。

关键特性：
  • • CDF 是单调递增函数
  • • 在 x = μ 处，F(μ) = 0.5（50%）
  • • 改变 μ 会左右平移 CDF 曲线
  • • CDF 的值域严格在 (0, 1) 之间

📏标准差 σ 对 CDF 的影响

σ 越小：
  • • CDF 曲线越陡峭
  • • 从 0 到 1 的过渡越快
  • • 数据越集中在 μ 附近
σ 越大：
  • • CDF 曲线越平缓
  • • 从 0 到 1 的过渡越慢
  • • 数据越分散
💡 CDF 的意义：
CDF 将实数轴 (-∞, +∞) 上的 x 转化为 (0, 1) 之间的某个值， 这个值恰好对应一个概率：P(X ≤ x)

📊PDF vs CDF：关键区别

📈PDF（概率密度函数）
• y 轴：概率密度值
• 不是概率，可以 > 1
• 钟形曲线
• 面积 = 概率
∫ab f(x) dx = P(a ≤ X ≤ b)
📉CDF（累积分布函数）
• y 轴：概率值
• 范围严格在 (0, 1)
• S 型曲线
• 高度 = 概率
F(x) = P(X ≤ x)
🔗 关系
CDF 是 PDF 的积分：F(x) = ∫-∞x f(t) dt
PDF 是 CDF 的导数：f(x) = dF(x)/dx

🔄百分点函数 PPF（Percent-Point Function）

百分点函数 PPF 是 CDF 的逆函数 (inverse CDF)。

CDF（正向）：
给定 x → 得到 p
F(x) = p
"x 值对应的累积概率是多少？"
PPF（逆向）：
给定 p → 得到 x
F⁻¹(p) = x
"p% 的数据在哪个 x 值以下？"
💻 SciPy 函数
CDF: scipy.stats.norm.cdf(x, mu, sigma)
PPF: scipy.stats.norm.ppf(p, mu, sigma)
💡

实际应用场景

  • • CDF：已知学生考试分数 85 分，计算该生超过了多少比例的学生
  • • PPF：要选出前 10% 的学生，应该设定多少分为分数线
  • • 标准化：将任意高斯分布转换为标准正态分布 N(0,1)
  • • 假设检验：查找临界值，如 95% 置信区间对应的 z 值

📝 公式总结

PDF
f(x) = (1/(σ√(2π))) · e-(x-μ)²/(2σ²)
CDF
F(x) = ∫-∞x f(t) dt
PPF
F⁻¹(p) = x
✦
9.3

标准高斯分布：期望为0，标准差为1

Standard Normal Distribution N(0, 1)

当 μ = 0 且 σ = 1 时，高斯分布为标准正态分布 (standard normal distribution)， 记作 N(0, 1)。这是最重要的特殊高斯分布。

⭐ 标准正态分布 PDF

f(z) = (1/√(2π)) · exp(-z²/2)
记作：Z ~ N(0, 1)
特殊值
f(0) = 1/√(2π) ≈ 0.399 ≈ 0.4
注意：0.4 是概率密度值，不是概率值！

📐 标准正态分布 N(0, 1)

期望为0，标准差为1的特殊高斯分布

显示模式

关键值
z = 0:
f(0) ≈ 0.399 ≈ 0.4
拐点:
z = ±1
F(0):
0.5 (50%)

Z分数计算器

Z分数：
z = 2.000
距均值 2.00 倍标准差
PDF 与 CDF
PDF f(z)CDF F(z)-4-3-2-101234z
● PDF
概率密度
最大值在 z=0
● CDF
累积概率
F(0) = 0.5
● 拐点
z = ±1
f''(z) = 0
关键理解：
  • 标准化：z = (x - μ) / σ 将任意高斯分布转换为 N(0,1)
  • 无单位：Z分数消除了原始数据的单位，便于比较不同分布
  • 拐点：PDF 在 z = ±1 处二阶导数为0，凹凸性改变
  • 对称性：关于 z = 0 完全对称，F(0) = 0.5

📈PDF 曲线的导数分析

一阶导数 f'(z)：
  • • 对称轴左半边 (z < 0)：f'(z) > 0，PDF 递增
  • • 在 z = 0 处：f'(0) = 0，PDF 达到最大值
  • • 对称轴右半边 (z > 0)：f'(z) < 0，PDF 递减
二阶导数 f''(z)：
  • • 从 -∞ 到 z = -1：f''(z) > 0，曲线凹（向上弯）
  • • z = -1：f''(-1) = 0，拐点
  • • 从 z = -1 到 z = 1：f''(z) < 0，曲线凸（向下弯）
  • • z = 1：f''(1) = 0，拐点
  • • 从 z = 1 到 +∞：f''(z) > 0，曲线凹（向上弯）
💡 拐点的意义：
PDF 曲线二阶导数为 0 正好对应 μ ± σ 这两点。 对于标准正态分布，μ = 0, σ = 1，所以拐点在 z = ±1。 这两点是 PDF 曲线凹凸性改变的点。

🎯Z 分数（Z-score）：标准化度量

Z 分数，也叫标准分数 (standard score)， 是样本值 x 与平均数 μ 的差再除以标准差 σ 的结果：

z = (x - μ) / σ
这个过程也叫做数据的标准化 (standardize)
Z 分数的特点
  • • 平均值 = 0
  • • 标准差 = 1
  • • 无单位 (unitless)
  • • 可跨数据集比较
几何意义

z 表示数据点 x 和均值 μ 之间的距离为 z 倍标准差 σ

• z = 2：距均值 2 倍标准差
• z = -1：在均值左侧 1 倍标准差

⚠️重要区分：Standardize vs Normalize

Standardize（标准化）
z = (x - μ) / σ
  • • 转换为 Z 分数
  • • 均值 = 0，标准差 = 1
  • • 保持数据分布形状
  • • 值域：(-∞, +∞)
Normalize（归一化）
x' = (x - min) / (max - min)
  • • 转换到 [0, 1] 区间
  • • 最小值 = 0，最大值 = 1
  • • 改变数据分布形状
  • • 值域：[0, 1]
注意：很多资料混用 "standardize" 和 "normalize"，请大家注意区分。 在向量空间中，normalize 还可指向量单位化（将向量转化为 L₂ 模为 1 的单位向量）。

📋标准正态分布常用值

z 值F(z) = P(Z ≤ z)说明
00.5000中位数
±10.8413 / 0.1587拐点位置
1.6450.9500单侧 95%
1.9600.9750双侧 95% (常用)
2.3260.9900单侧 99%
2.5760.9950双侧 99%
3.2910.9995双侧 99.9%
这些值常用于 Z 检验 (Z test) 和置信区间计算。 例如：z = 1.96 对应 95% 双侧置信区间。
💡

Z 分数的实际应用

  • • 比较不同科目成绩：数学85分和英语90分哪个更好？通过 Z 分数比较
  • • 异常值检测：|z| > 3 的数据点通常被视为异常值
  • • 跨数据集比较：将不同单位、不同量级的数据统一到同一尺度
  • • 假设检验：计算检验统计量，查找 p 值
  • • 机器学习预处理：特征标准化，加速模型收敛

📊 四条曲线关系总结

CDF F(z)
• S 型曲线
• 单调递增
• F(0) = 0.5
PDF f(z)
• 钟形曲线
• f(0) ≈ 0.4（最大值）
• 拐点在 z = ±1
一阶导数 f'(z)
• f'(0) = 0
• 左正右负
• 反映 PDF 增减
二阶导数 f''(z)
• f''(±1) = 0（拐点）
• 反映凹凸性
• 决定曲线弯曲方向
✦
9.4

68-95-99.7 法则

Empirical Rule / Three-Sigma Rule

一元高斯分布有所谓的 68-95-99.7 法则， 具体是指一组近乎满足正态分布的样本数据，约 68.3%、95.4% 和 99.7%样本位于距平均值正负 1 个、2 个和 3 个标准差范围之内。

⭐ 68-95-99.7 法则公式

P(-1 ≤ Z ≤ 1) ≈ 0.683
68.3%
约 68% 的数据在 μ ± σ 范围内
P(-2 ≤ Z ≤ 2) ≈ 0.954
95.4%
约 95% 的数据在 μ ± 2σ 范围内
P(-3 ≤ Z ≤ 3) ≈ 0.997
99.7%
约 99.7% 的数据在 μ ± 3σ 范围内

📊 68-95-99.7 法则

Empirical Rule / Three-Sigma Rule

规则选择

分布类型

当前规则
区间: ±1σ
理论概率: ≈68.3%
P(-1.00 ≤ X ≤ 1.00)
标准正态分布
-3-2-10123z68.3%
±1σ
≈68.3%
±2σ
≈95.4%
±3σ
≈99.7%
法则应用：
  • 数据集中程度：大部分数据（约68%）集中在均值附近1个标准差范围内
  • 异常值检测：超出 ±3σ 范围的数据点（占比 < 0.3%）通常被视为异常值
  • 质量控制：工业生产中的"六西格玛"管理（±6σ 对应 99.9999998%）
  • 直观理解：快速估算数据分布和概率，无需查表或计算

📐标准正态分布 N(0, 1)

以标准正态分布 N(0, 1) 为例，整条标准正态分布曲线和横轴包裹的面积为 1。

[-1, 1] 区间
≈ 0.68
标准正态分布和横轴包裹的区域面积约为 68%
[-2, 2] 区间
≈ 0.95
对应的阴影区域面积约为 95%
[-3, 3] 区间
≈ 0.997
对应的阴影区域面积约为 99.7%

📊一般正态分布 N(μ, σ²)

对于一般正态分布 N(μ, σ²)，68-95-99.7 法则同样适用：

P(μ - σ ≤ X ≤ μ + σ)
≈ 0.68
P(μ - 2σ ≤ X ≤ μ + 2σ)
≈ 0.95
P(μ - 3σ ≤ X ≤ μ + 3σ)
≈ 0.997

📏68-95-99.7 法则与分位数

68-95-99.7 法则可以与四分位、十分位、二十分位、百分位等概念联系起来：

常用分位数对应的标准差
90% 范围：±1.645σ
95% 范围：±1.960σ
98% 范围：±2.326σ
99% 范围：±2.576σ
单侧概率
5% 尾部：±1.282σ
2.5% 尾部：±1.960σ
1% 尾部：±2.326σ
0.5% 尾部：±2.576σ

🎲随机样本验证

如果随机数服从一元高斯分布 N(μ, σ²)：

μ ± σ 区间

在 [μ - σ, μ + σ] 区间内，应该约有 68% 的随机数。

样本 500 个
区间内 ≈ 340 个 (68%)
区间外 ≈ 160 个 (32%)
μ ± 2σ 区间

在 [μ - 2σ, μ + 2σ] 区间内，应该约有 95% 的随机数。

样本 500 个
区间内 ≈ 475 个 (95%)
区间外 ≈ 25 个 (5%)
💡 实际意义
68-95-99.7 法则帮助我们直观地理解一元高斯分布的形态和特征， 即大部分数据集中在均值周围，而远离均值的数据较为稀少。

⚠️异常值检测（Outlier Detection）

如果一组数据中存在明显偏离均值多个标准差的数据点， 就有可能是异常值或者离群值，需要进一步检查和分析。

温和异常
|z| > 2
超出 ±2σ 范围
约占 5% 的数据
可能需要注意
显著异常
|z| > 3
超出 ±3σ 范围
约占 0.3% 的数据
高度可疑
极端异常
|z| > 4
超出 ±4σ 范围
几乎不可能出现
需要检查数据
💡

68-95-99.7 法则的实际应用

  • • 快速估算：无需查表或计算，快速判断数据落在某个范围的概率
  • • 质量控制：工业生产中的"六西格玛"管理（Six Sigma，±6σ）
  • • 风险管理：金融领域的风险度量（VaR 值at风险）
  • • 假设检验：快速判断观测值是否异常
  • • 置信区间：约 95% 对应 ±2σ，常用于构建置信区间
  • • 数据清洗：识别和处理离群值

🏭 六西格玛管理（Six Sigma）

概念
六西格玛是一种质量管理方法，目标是将缺陷率降低到 ±6σ 范围之外， 即每百万次机会中只有 3.4 次缺陷（99.9999998% 的产品合格）。
对比
• ±3σ: 99.7% 合格（0.3% 缺陷）
• ±4σ: 99.994% 合格（0.006% 缺陷）
• ±6σ: 99.9999998% 合格（0.0000002% 缺陷）
✦
9.5

用一元高斯分布估计概率密度

Probability Density Estimation with Gaussian Distribution

在数据科学和机器学习中，概率密度估计 (probability density estimation) 是经常遇到的一个问题。 简单来说，概率密度估计就是从离散的样本数据中估计得到连续的概率密度函数曲线。 白话讲，找到一条 PDF 曲线尽可能贴合样本数据分布。

⭐ 参数估计方法

一元高斯分布 PDF 只需要两个参数——均值 (μ) 和 标准差 (σ)。 有些时候，一元高斯分布是估计某个特定特征样本数据分布的一个不错且很便捷的选择。

步骤1：计算均值
μ = (1/n) Σx_i
将所有样本数据求和，再除以样本数量
步骤2：计算标准差
σ = √[(1/n) Σ(x_i - μ)²]
计算样本与均值的偏差平方和的均方根

🌸 鸢尾花数据：高斯分布拟合

参数估计：用μ和σ估计概率密度

特征选择

统计参数

均值 μ:5.843
标准差 σ:0.825
样本数 n:150

显示选项

20
拟合质量评估
较好拟合
★★★★☆
花萼长度 (Sepal Length)
3.84.75.66.67.58.4花萼长度 (Sepal Length) (cm)概率密度数据直方图高斯拟合 N(5.84, 0.83²)
✓ 适合高斯拟合
• 花萼长度（Sepal Length）
• 花萼宽度（Sepal Width）
分布接近单峰对称
✗ 不适合高斯拟合
• 花瓣长度（Petal Length）
• 花瓣宽度（Petal Width）
分布呈现多峰特征
参数估计方法：
  • 均值估计：μ = (1/n) Σx_i，样本均值作为总体均值的估计
  • 标准差估计：σ = √[(1/n) Σ(x_i - μ)²]，样本标准差作为总体标准差的估计
  • 适用条件：数据分布接近单峰对称时，高斯分布拟合效果较好
  • 局限性：对于多峰、偏态分布，需要使用核密度估计等非参数方法（第18章）

🌸以鸢尾花数据为例

举个例子，样本数据中花萼长度的均值为 μ₁ = 5.843， 标准差为 σ₁ = 0.825。注意，μ₁ 和 σ₁ 的单位均为厘米。

高斯分布估计公式

有了这两个参数，我们可以用一元高斯分布估计鸢尾花花萼长度随机变量 X₁ 概率密度函数：

f(x₁) = (1/(0.825√(2π))) · exp(-(x₁ - 5.843)²/(2·0.825²))

类似地，我们可以用一元高斯分布估计鸢尾花其他三个特征的 PDF。

应用价值
有了概率密度函数，我们可以回答这样的问题： 比如鸢尾花的花萼长度在 [4, 6] cm 区间的概率大概多少？ 利用定积分运算就可以得到量化结果。

📊 鸢尾花四个特征的统计参数

花萼长度 (Sepal Length)
特征 x₁
μ₁ = 5.843 cm
σ₁ = 0.825 cm
花萼宽度 (Sepal Width)
特征 x₂
μ₂ = 3.057 cm
σ₂ = 0.436 cm
花瓣长度 (Petal Length)
特征 x₃
μ₃ = 3.758 cm
σ₃ = 1.759 cm
花瓣宽度 (Petal Width)
特征 x₄
μ₄ = 1.199 cm
σ₄ = 0.762 cm

⚠️高斯分布拟合的局限性

给定样本数据，采用一元高斯分布估计单一特征概率密度函数很简单； 但是，这种估算方法对应的问题也很明显。

✓拟合效果良好
花萼长度 (Sepal Length)
用高斯分布描述鸢尾花花萼长度样本数据分布似乎还可以接受。 直方图呈现单峰对称特征，与高斯曲线贴合较好。
花萼宽度 (Sepal Width)
同样呈现较好的单峰对称分布，高斯拟合基本合理。
✗拟合效果不佳
花瓣长度 (Petal Length)
比较直方图和高斯分布，显然高斯分布不适合描述鸢尾花花瓣长度样本数据分布。 数据呈现多峰特征。
花瓣宽度 (Petal Width)
同样存在明显的多峰特征，单一高斯分布无法准确刻画。

🔍为什么花瓣特征拟合不佳？

鸢尾花数据集包含三个不同的物种（Setosa, Versicolor, Virginica）。 不同物种的花瓣长度和宽度差异显著，导致整体分布呈现多峰特征。

数据特点：
  • • 花萼特征：三个物种间重叠较多，整体近似单峰分布
  • • 花瓣特征：三个物种间差异明显，形成多个峰
  • • 单一高斯：只能描述单峰对称分布
  • • 混合高斯：多个高斯分布的加权组合，可以描述多峰分布

💡更好的解决方案

核密度估计 (KDE)
一种非参数方法，不假设数据服从特定分布，可以更灵活地拟合各种形状的分布。
预告：本书第 18 章将利用核密度估计解决这一问题。
混合高斯模型 (GMM)
使用多个高斯分布的加权组合来拟合复杂的多峰分布。
适用于数据明显分为多个子群体的情况。
💡

使用高斯分布拟合的建议

  • • 适用场景：数据呈现单峰、对称、接近正态分布
  • • 优势：简单、快速、只需两个参数（μ, σ）
  • • 检验方法：绘制直方图与拟合曲线对比，观察贴合程度
  • • 不适用：多峰分布、严重偏态、离群值较多
  • • 替代方案：核密度估计（KDE）、混合高斯模型（GMM）

📝 关键要点总结

参数估计
• 仅需 μ 和 σ
• 计算简单快速
• 适合初步分析
适用条件
• 单峰分布
• 对称性较好
• 无严重偏态
局限性
• 多峰无法描述
• 偏态拟合不佳
• 需要其他方法
✦
9.6

经验分布函数

Empirical Cumulative Distribution Function (ECDF)

经验分布函数 (ECDF) 是用来描述一组样本数据分布情况的统计工具。 ECDF 将样本数据按照大小排序，并计算每个数据点对应的累计比例， 形成一个类似阶梯函数的曲线。

⭐ ECDF 定义

横坐标表示数据的取值，纵坐标表示小于等于横坐标的数据比例。

关键特性：
  • • 如果有 n 个样本，ECDF 是在所有 n 个数据点上都跳跃 1/n 的阶跃函数
  • • ECDF 是非参数方法，直接从数据构建，无需假设分布
  • • 每个样本点对应一个跳跃，累积比例从 0 逐渐增加到 1
双射函数（Bijection）
从函数角度来讲，双射指的是每一个输入值都有正好一个输出值， 并且每一个输出值都有正好一个输入值。 ECDF 是一个双射函数，因此存在逆函数。

📊 经验分布函数 (ECDF)

Empirical Cumulative Distribution Function

特征选择

视图模式

显示选项

ECDF 特性
• 阶跃函数
• 每点跳跃 1/n
• n = 150
• 跳跃大小 ≈ 0.0067
花萼长度 - ECDF vs CDF
3.84.75.66.67.58.40.000.250.500.751.00花萼长度 (cm)累积概率ECDF（阶梯）理论CDF N(5.8, 0.8²)
ECDF 特点
• 阶梯函数形式
• 每个样本点跳跃 1/n
• 非参数方法
• 直接从数据构建
拟合评估
✓ ECDF 与 CDF 贴合
✓ 接近高斯分布
✓ 单峰对称
ECDF 的应用：
  • 非参数估计：不假设特定分布，直接从数据构建累积分布
  • 分布检验：与理论 CDF 比较，判断数据是否符合假设分布
  • 双射函数：每个输入值对应唯一输出值，且可逆
  • QQ 图基础：逆 ECDF 用于构建分位-分位图，检验正态性

🔍ECDF 与理论 CDF 的比较

ECDF 常常用来与理论 CDF 分布函数进行比较， 以检验样本数据是否符合某种假设的分布。

ECDF（经验）
• 基于实际样本数据
• 阶梯函数形式
• 每个样本点一个跳跃
• 非参数估计
CDF（理论）
• 基于理论分布（如高斯）
• 平滑连续曲线
• 由参数 μ, σ 决定
• 参数估计
💡 拟合判断：
如果 ECDF 阶梯曲线与理论 CDF 平滑曲线贴合较好， 说明样本数据符合该理论分布假设； 如果偏离明显，则说明数据不符合该分布。

🔄逆经验累积分布函数（Inverse ECDF）

逆经验累积分布函数 (inverse ECDF) 是 ECDF 的逆函数。

ECDF（正向）
给定 x → 得到累积比例 p
输入：数据值
输出：累积概率
逆ECDF（逆向）
给定累积比例 p → 得到 x
输入：累积概率
输出：经验分位数
应用：为 QQ 图做准备
逆 ECDF 用于计算经验分位数， 这些分位数将与理论分布的分位数（通过 PPF 计算）进行比较， 从而构建 QQ 图（分位-分位图）。

🌸鸢尾花数据的 ECDF 分析

通过比较鸢尾花不同特征样本数据的 ECDF 和对应的高斯分布 CDF 曲线， 我们可以直观判断哪些特征更符合高斯分布假设。

✓ 花萼特征
花萼长度：ECDF 与理论 CDF 贴合较好
花萼宽度：ECDF 与理论 CDF 贴合较好
这两个特征的样本数据接近正态分布， 用高斯分布估计概率密度是合理的。
✗ 花瓣特征
花瓣长度：ECDF 与理论 CDF 偏离明显
花瓣宽度：ECDF 与理论 CDF 偏离明显
这两个特征呈现多峰分布， 单一高斯分布无法准确描述其分布特性。

📊ECDF vs 直方图：两种可视化方法

直方图（Histogram）
优势：
  • • 直观展示分布形状
  • • 容易识别峰值和模式
  • • 与 PDF 对应
劣势：
  • • 依赖箱数（bin）选择
  • • 损失部分信息
  • • 不同箱数结果不同
ECDF
优势：
  • • 保留所有样本信息
  • • 无需选择参数
  • • 与 CDF 直接对应
  • • 便于分布检验
劣势：
  • • 阶梯形式不够平滑
  • • 不如直方图直观
💡

ECDF 的实际应用

  • • 分布检验：Kolmogorov-Smirnov 检验（KS 检验）基于 ECDF
  • • QQ 图构建：逆 ECDF 提供经验分位数，用于 QQ 图
  • • 非参数估计：无需假设分布形式，直接从数据获得
  • • 样本比较：比较两组样本的 ECDF，判断是否来自同一分布
  • • 置信区间：构建 ECDF 的置信带，评估估计不确定性

📝 关键要点总结

ECDF 定义
• 阶梯函数
• 每点跳跃 1/n
• 累积比例 0→1
• 非参数方法
逆 ECDF
• ECDF 的逆函数
• 经验分位数
• 用于 QQ 图
• 双射特性
应用价值
• 分布检验
• 拟合度评估
• 样本比较
• KS 检验基础
✦
9.7

QQ 图：分位-分位图

Quantile-Quantile Plot

QQ 图 (quantile-quantile plot) 中的 Q 代表分位数， 常用于检查数据是否符合某个分布的统计图形。 QQ 图是散点图，横坐标一般为假定分布（比如标准正态分布）分位数， 纵坐标为待检验样本的分位数。

⭐ QQ 图原理

QQ 图的构建过程：

  1. 步骤 1：首先计算每个样本 y(i) 对应的 ECDF 值 q(i)
  2. 步骤 2：然后再利用标准正态分布 PPF 将 ECDF 值转化为 x(i)
  3. 步骤 3：这样我们便获得一系列散点 (x(i), y(i))
  4. 步骤 4：将这些散点绘制成散点图
判断标准
✓ 符合分布：
如果样本符合假定分布，则 QQ 图呈现出一条近似于直线的对角线。
✗ 不符合分布：
如果不符合，则呈现出偏离直线的曲线形状。

📈 QQ 图（分位-分位图）

Quantile-Quantile Plot

特征选择

显示选项

拟合质量评估
✓✓ 良好拟合
R² = 0.9785
QQ 图原理
1. 计算样本 ECDF
2. 用 PPF 转换为理论分位数
3. 散点图对比
4. 越接近直线越符合分布
花萼长度 - QQ 图 (vs 标准正态分布)
-2-10124.04.85.76.57.48.2理论分位数 (标准正态)样本分位数 (花萼长度, cm)QQ 散点y = x 参考线
✓ 接近正态分布
花萼长度：散点接近直线
花萼宽度：较好的线性关系
QQ 图散点沿对角线分布，表明数据基本符合正态分布
✗ 偏离正态分布
花瓣长度：明显的曲线形态
花瓣宽度：多峰特征明显
QQ 图散点偏离对角线，呈现 S 形或其他曲线，不符合正态分布
QQ 图判读指南：
  • 接近直线：数据符合假设分布（正态分布）
  • S 形曲线：数据呈现偏态（左偏或右偏）
  • 两端上翘：肥尾分布（heavy-tailed），极端值较多
  • 两端下弯：瘦尾分布（light-tailed），极端值较少
  • 多段折线：多峰分布或混合分布

🌸鸢尾花数据的 QQ 图分析

通过观察鸢尾花数据四个特征样本数据的 QQ 图， 我们可以判断哪个特征的数据分布更类似（贴合）正态分布。 这和直方图、ECDF 分析得出的结论相同。

💡 与 ECDF 的关系：
换个角度来看，QQ 图实际上就是 ECDF 的另外一种可视化方案。 ECDF 直接展示累积概率，而 QQ 图通过比较分位数来检验分布拟合度。
✓ 花萼特征
花萼长度：QQ 散点接近直线
花萼宽度：QQ 散点接近直线
散点沿对角线分布，线性关系明显， 表明数据基本符合正态分布假设。
✗ 花瓣特征
花瓣长度：QQ 散点偏离直线
花瓣宽度：QQ 散点偏离直线
散点呈现曲线或多段折线形态， 明显偏离对角线，不符合正态分布。

📊特殊分布的 QQ 图特征

通过 QQ 图的形态，我们可以判断数据分布的特征：
正态分布 (Normal)
形态：散点几乎在一条直线上
当样本数据分布近似服从正态分布时， QQ 图中的散点会紧密地分布在 y=x 对角线附近。
双峰分布 (Two Peaks)
形态：多段折线或 S 形
数据存在两个或多个峰值时， QQ 图会呈现出明显的分段特征或复杂曲线。
瘦尾分布 (Light-tailed)
形态：两端向下弯曲
极端值较少的均匀分布类型， QQ 图两端点会低于对角线。
肥尾分布 (Heavy-tailed)
形态：两端向上翘起
极端值较多时（如t分布、Cauchy分布）， QQ 图两端点会高于对角线。
左偏分布 (Left Skew)
形态：左下角下弯，右上角上翘
数据左侧有长尾，右侧集中， QQ 图呈现特定的非对称曲线。
右偏分布 (Right Skew)
形态：左下角上翘，右上角下弯
数据右侧有长尾，左侧集中， QQ 图形态与左偏相反。

🔄QQ 图的灵活性

QQ 图的横坐标一般是正态分布， 但当然也可以是其他分布。

示例：均匀分布 QQ 图
横轴为理论均匀分布的分位数， 纵轴为近似均匀分布的样本数据分位数。 用于检验数据是否服从均匀分布。
常见应用场景
  • • 正态性检验（最常见）
  • • 指数分布检验
  • • 均匀分布检验
  • • 任意理论分布检验
QQ 图优势
  • • 直观的图形化检验
  • • 易于识别偏离类型
  • • 适用于各种分布
  • • 可视化分位数对应关系
💡

QQ 图在实际中的应用

  • • 正态性检验：回归分析、假设检验前的数据检查
  • • 模型诊断：检查残差是否满足正态性假设
  • • 数据探索：快速了解数据分布特征（偏态、峰度等）
  • • 异常值识别：偏离直线的极端点可能是异常值
  • • 分布比较：比较两组数据是否来自同一分布
  • • 变换选择：根据 QQ 图形态选择合适的数据变换方法

📝 关键要点总结

QQ 图构建
• 计算样本 ECDF
• PPF 转换分位数
• 绘制散点图
• 对比理论分布
判读标准
• 接近直线 = 符合
• S形 = 偏态
• 两端翘 = 肥尾
• 两端弯 = 瘦尾
实际应用
• 正态性检验
• 模型诊断
• 异常值检测
• 分布比较
✦
9.8

从距离到一元高斯分布

几何变换：平移 + 缩放

现在回过头来再看一元高斯分布的 PDF 解析式。 我们可以发现满足 N(μ, σ²) 的 X 可以通过"平移 + 缩放"变成 满足 N(0, 1) 的 Z。这种几何变换揭示了高斯分布的本质特性。

⭐ 线性变换公式

X → Z (标准化)
Z = (X - μ) / σ
步骤 1：平移 (Translate)：X - μ
步骤 2：缩放 (Scale)：除以 σ
N(μ, σ²) → N(0, 1)
Z → X (反标准化)
X = σZ + μ
步骤 1：缩放 (Scale)：σZ
步骤 2：平移 (Translate)：加上 μ
N(0, 1) → N(μ, σ²)
一般线性变换：Y = aX + b
如果 X ~ N(μ, σ²)，则 Y = aX + b ~ N(aμ + b, a²σ²)
• 均值变换：E(Y) = aE(X) + b = aμ + b
• 方差变换：Var(Y) = a²Var(X) = a²σ²
• 正态性保持：线性变换后仍为正态分布

🔄 高斯分布的几何变换

平移 (Translate) + 缩放 (Scale)

变换模式

原始分布 N(μ, σ²)

10
2

动画控制

当前状态
μ = 0.00
σ = 1.00
Z = (X - μ) / σ (缩放)
标准化过程：N(10, 2²) → N(0, 1)
-8.0-4.00.14.18.212.216.3Z = (X - μ) / σ概率密度N(0.00, 1.00²)样本数: 50
原始分布
X ~ N(10, 2²)
步骤1：平移
X - μ ~ N(0, 2²)
步骤2：缩放
Z ~ N(0, 1)
线性变换性质：
  • 正态性保持：高斯分布经线性变换 Y = aX + b 后仍是高斯分布
  • 均值变换：E(Y) = aE(X) + b = aμ + b
  • 方差变换：Var(Y) = a²Var(X) = a²σ²
  • 标准差变换：σ_Y = |a|σ_X（注意取绝对值）
  • 仿射变换：线性变换相当于线性代数中的仿射变换

🔄平移与缩放的几何意义

→平移 (Translation)
X' = X + c
  • • 改变位置：改变随机变量的均值位置
  • • 保持形状：不影响分布的离散程度
  • • 均值移动：E(X') = E(X) + c
  • • 方差不变：Var(X') = Var(X)
↔缩放 (Scaling)
X' = aX
  • • 改变形状：改变分布的离散程度
  • • 拉伸/压缩：|a| > 1 拉伸，|a| < 1 压缩
  • • 均值缩放：E(X') = a·E(X)
  • • 方差缩放：Var(X') = a²·Var(X)
组合变换：Y = aX + b
先缩放后平移（或先平移后缩放），可以将任意 N(μ₁, σ₁²) 变换为 N(μ₂, σ₂²)。 这在数据标准化、特征工程中有广泛应用。

📐概率密度函数的变换

假设 X 是连续随机变量，PDF 为 f_X(x)，经过线性变换得到 Y：

Y = aX + b

则 Y 的 PDF 为：

f_Y(y) = (1/|a|) · f_X((y - b)/a)
关键要点
  • • 需要除以 |a| 保证面积为 1
  • • 相当于仿射变换
  • • 正态性在变换下保持
应用示例
  • • 数据标准化 (Z-score)
  • • Min-Max归一化
  • • 特征缩放

∫PDF 的基本要求：面积为 1

作为概率密度函数，f_X(x) 必须满足两个基本要求：

要求 1：非负
f_X(x) ≥ 0
概率密度不能为负数
要求 2：面积为 1
∫-∞+∞ f_X(x) dx = 1
整个概率空间的总概率为 1
高斯函数的积分

高斯函数 g(x) = exp(-x²/2) 的积分结果为 √(2π)：

∫-∞+∞ exp(-x²/2) dx = √(2π)

因此，为了让 PDF 的面积为 1，需要除以 √(2π)：

φ(z) = (1/√(2π)) · exp(-z²/2)

这就是标准正态分布 PDF 中分母 √(2π) 的由来！

💡 历史趣闻
历史上曾有其他正态分布 PDF 的定义，但它们的方差不方便（如 1/2 或 1/(2π)）。 最终采用当前形式是因为标准差为 1，计算和应用都更便捷。

💝从距离到亲密度

Z 分数代表"距离"，而高斯函数将"距离"转换成"亲近度"：

g(x) = exp(-x²) → "距离越近，亲近度越高"
距离视角
• Z = (X - μ) / σ：标准化距离
• |Z| 大：远离均值
• |Z| 小：靠近均值
亲密度视角
• exp(-Z²/2)：亲密度函数
• 距离近：亲近度高，概率密度大
• 距离远：疏远，概率密度小
这种将距离转化为相似度/亲密度的思想，在机器学习中有广泛应用， 如径向基函数 (RBF)、高斯核、注意力机制等。
💡

线性变换的实际应用

  • • 数据标准化：机器学习中常用 Z-score 标准化消除量纲影响
  • • 特征缩放：将不同尺度的特征映射到相同范围
  • • 正态化处理：通过 Box-Cox 变换等方法使数据接近正态分布
  • • 模拟生成：从标准正态生成任意参数的正态随机数
  • • 分类与聚类：高斯混合模型、朴素贝叶斯等算法的基础
  • • 异常检测：基于马氏距离检测离群点

🔮 下一章预告

在实际应用中，高斯分布经常用于建模和分析连续型数据， 如测量值、物理量和经济指标等。在机器学习和数据分析中， 高斯分布也被广泛应用于分类、聚类、离群点检测等问题中。

但是，仅仅掌握一元高斯分布的知识是不够的！

从下一章开始，我们将探讨：

  • • 二元高斯分布：两个变量的联合分布
  • • 多元高斯分布：多维数据的建模
  • • 条件高斯分布：给定部分变量后的分布
  • • 协方差矩阵：变量间相关性的刻画

📝 9.8 关键要点总结

线性变换
• 平移改变位置
• 缩放改变形状
• 正态性保持
• Y = aX + b
参数变换
• E(Y) = aμ + b
• Var(Y) = a²σ²
• 仿射变换
• 可逆性
几何意义
• 距离 → 亲密度
• 面积归一化
• √(2π) 的由来
• 应用广泛

🎓 第9章总结

本章学习内容回顾

本章系统介绍了一元高斯分布（正态分布）的基本概念、性质和应用。 从参数到分布函数，从理论到实践，从估计到检验， 完整地构建了理解和使用高斯分布的知识体系。

核心概念

  • • PDF 参数：μ 决定位置，σ 决定形状
  • • CDF/PPF：累积概率与分位数互逆
  • • 标准化：Z = (X - μ) / σ
  • • 68-95-99.7：经验法则快速估算
  • • 拐点：位于 μ ± σ

实用方法

  • • 参数估计：用 μ 和 σ 拟合数据
  • • ECDF：非参数累积分布估计
  • • QQ 图：图形化分布检验
  • • 拟合评估：直方图、ECDF、QQ 图综合判断
  • • 异常检测：基于标准差倍数

鸢尾花数据案例总结

通过对鸢尾花数据四个特征的全面分析，我们发现：

✓ 适合高斯拟合
花萼长度、花萼宽度：直方图单峰对称，ECDF 与理论 CDF 贴合， QQ 图散点接近直线，可以用高斯分布描述。
✗ 不适合高斯拟合
花瓣长度、花瓣宽度：呈现多峰分布，ECDF 偏离理论 CDF， QQ 图散点偏离直线，需要其他方法（如核密度估计）。

💡 关键要点

  • • 高斯分布是统计学中最重要的连续分布之一
  • • 参数估计简单（仅需 μ 和 σ），但要注意适用条件
  • • 多种可视化工具（直方图、ECDF、QQ 图）可综合判断拟合度
  • • 68-95-99.7 法则是快速估算和异常检测的有力工具
  • • 并非所有数据都符合正态分布，需要检验后再使用

📝 本章小结（持续更新）

9.1 期望值与标准差

  • μ 决定位置，σ 决定形状
  • 拐点位于 μ±σ

9.2 CDF 与 PPF

  • CDF：密度积分 = 概率
  • PPF：CDF 的逆函数

9.3 标准高斯分布

  • N(0, 1)：μ=0, σ=1
  • Z分数：标准化度量

9.4 68-95-99.7法则

  • ±σ: 68%, ±2σ: 95%, ±3σ: 99.7%
  • 异常值检测与质量控制

9.5 参数估计

  • 用μ和σ拟合PDF
  • 适用于单峰对称分布

9.6 经验分布函数

  • ECDF：阶梯函数，每点跳跃 1/n
  • 逆ECDF：经验分位数，用于QQ图
  • 与理论CDF比较，检验分布拟合度

9.7 QQ图

  • 分位-分位图：散点图检验分布
  • 接近直线 = 符合分布
  • 不同形态识别偏态、肥尾等特征

9.8 几何变换

  • 平移 + 缩放：X → Z 标准化
  • 线性变换保持正态性
  • 距离 → 亲密度，机器学习基础