🎯 本章导览
在上一章中，我们深入学习了一元高斯分布。 本章将视野扩展到二元高斯分布，探索两个随机变量的联合分布。 你将看到，二元高斯分布的等高线呈现出椭圆的形状—— 这个美丽的几何图形将贯穿整章。
核心主题
- • 二元高斯分布的PDF解析式
- • 椭圆等高线与参数关系
- • 边缘分布与条件分布
- • 协方差矩阵的几何意义
关键概念
- • 质心：(μ_X, μ_Y)
- • 标准差：σ_X, σ_Y
- • 相关系数：ρ ∈ (-1, 1)
- • 椭圆的长轴、短轴、旋转角
二元高斯分布：看见椭圆
Seeing the Ellipse
二元高斯分布（也叫二元正态分布） 是一元高斯分布在二维空间的推广。它描述了两个随机变量 X 和 Y 的联合分布， 其概率密度函数形成了一个优美的钟形曲面，而等高线则呈现出椭圆的形状。
⭐ 二元高斯分布 PDF
概率密度函数 fX,Y(x, y) 的解析式：
• μY: Y的期望值
• 决定分布中心位置
• σY: Y的标准差
• 决定X、Y方向延展
• 不能等于 ±1
• 决定椭圆倾斜程度
🎯 二元高斯分布交互式可视化
Bivariate Gaussian Distribution
质心 (μ_X, μ_Y)
标准差 (σ_X, σ_Y)
相关系数 ρ
显示选项
[1.50, 2.00²]
- 等高线形状：一系列同心旋转椭圆
- 边缘分布：X 和 Y 的边缘分布都是一元高斯分布
- 椭圆分布：二元高斯分布被称为椭圆分布 (Elliptical Distribution)
- 参数限制：ρ ∈ (-1, 1)，不能等于 ±1（否则分母为0）
- 独立性：当 ρ = 0 时，X 和 Y 独立，椭圆变为圆形（σ_X = σ_Y）或轴对齐椭圆
📊PDF 曲面的形状特征
给定参数 μX = 0, μY = 0, σX = 1, σY = 2, ρ = 0.75， 我们可以观察到二元正态分布密度函数曲面的特征：
✂️从不同角度观察 PDF 曲面
将 y 固定为某个值（如 y = 0），观察 fX,Y(x, y=0) 随 x 的变化。 这些剖面线投影到 xz 平面上，呈现类似一元高斯分布的形状。
将 x 固定为某个值，观察 fX,Y(x=0, y) 随 y 的变化。 这些剖面线投影到 yz 平面上，同样呈现类似一元高斯分布的形状。
⭕等高线：椭圆的出现
二元高斯分布 PDF 曲面的等高线是本章的核心主题。 很明显，我们从等高线中看到了椭圆！ 特别是，一系列同心旋转椭圆清晰可见。
这并不奇怪，因为 PDF 解析式中的 exp() 函数内蕴含着一个椭圆解析式。
这种椭圆形式正是我们在《数学要素》第9章讲过的特殊类型。
🔄相关系数 ρ 的影响
椭圆左上-右下倾斜
椭圆轻微倾斜
椭圆变为圆（σ相等）
椭圆轻微倾斜
椭圆左下-右上倾斜
二元高斯分布的应用
- • 数据建模：描述两个变量的联合分布，如身高与体重
- • 模式识别：二维特征的分类，如人脸识别中的特征对
- • 金融分析：两只股票收益率的联合分布
- • 信号处理：二维信号的噪声建模
- • 机器学习：高斯混合模型 (GMM) 的基础
- • 贝叶斯推断：二维参数的后验分布
📝 10.1 关键要点总结
• 归一化系数保证体积为1
• exp()内含椭圆方程
• ρ ∈ (-1, 1)
• ρ决定倾斜程度
• σ决定延展程度
• 椭圆分布
• σ：形状
• ρ：相关性
• 共同决定分布
边缘分布：一元高斯分布
Marginal Distributions
大家可能已经注意到，不考虑 Y 的时候，X 应该服从一元高斯分布。 而 μX 和 σX 是描述随机变量 X 的参数。 也就是说，有了这两个参数，我们就可以写出 X 的边缘 PDF——一元高斯分布概率密度函数。
⭐ 边缘分布 PDF
不考虑 Y 时，X 的边缘 PDF fX(x)：
不考虑 X 时，Y 的边缘 PDF fY(y)：
📊 边缘分布交互式可视化
Marginal Distributions from Bivariate Gaussian
质心 (μ_X, μ_Y)
标准差 (σ_X, σ_Y)
相关系数 ρ
显示选项
- 一元高斯：X 和 Y 的边缘分布都是一元高斯分布
- 参数独立：边缘分布参数仅由 μ 和 σ 决定，与相关系数 ρ 无关
- 偏积分：边缘 PDF 可通过联合 PDF 对另一变量积分得到
- 几何意义：边缘分布对应联合 PDF 曲面在坐标平面上的投影
∫偏积分求边缘分布 PDF
下面以 Y 的边缘分布概率密度函数 fY(y) 为例， 证明二元高斯分布 PDF "偏积分"可以得到一元高斯分布 PDF。
连续随机变量 Y 的边缘分布概率密度函数 fY(y) 可以通过 fX,Y(x, y) 对 x 偏积分得到：
- 配方：将二元高斯 PDF 中的 G(x,y) 改写， 使其包含关于 x 的完全平方项
- 变量代换：引入新变量 t = μX + (ρσX/σY)(y - μY)， t 仅是 y 的函数，与 x 无关
- 分离变量：将 G(x,y) 写成关于 x 和 y 的分离形式
- 高斯积分：利用高斯函数积分 ∫-∞+∞ exp(-u²) du = √π
- 化简：最终得到 fY(y) = N(μY, σY²)
回忆《数学要素》中讲解过的高斯函数积分：
这个积分是证明边缘分布的关键工具。
🎨边缘分布的几何意义
从几何角度看，边缘分布对应于联合 PDF 曲面在坐标平面上的投影：
- • fX(x)：曲面投影到 xz 平面，沿 y 方向"压扁"
- • fY(y)：曲面投影到 yz 平面，沿 x 方向"压扁"
在平面等高线图中：
- • 边缘分布显示在图的顶部和右侧
- • 它们是椭圆等高线在坐标轴方向的"剖面"
- • 无论椭圆如何倾斜（ρ 如何变化），边缘分布形状不变
⚖️边缘分布 vs 条件分布
边缘分布和条件分布是两个容易混淆的概念，需要仔细区分：
边缘分布的应用
- • 降维分析：从联合分布提取单个变量的信息
- • 独立性检验：比较 fX,Y(x,y) 与 fX(x)·fY(y)
- • 参数估计：分别估计各边缘分布的参数
- • 数据可视化：在散点图边缘显示各维度的分布
- • 概率计算：P(X ∈ A) 可通过边缘分布计算
📝 10.2 关键要点总结
• Y ~ N(μY, σY²)
• 都是一元高斯
• 与 ρ 无关
• 消除该变量
• 保留另一变量
• 数学证明
• 坐标平面
• 独立于 ρ
• 可视化直观
累积分布函数：概率值
Cumulative Distribution Function (CDF)
二元高斯分布的累积分布函数 (CDF) FX,Y(x, y) 是对 PDF fX,Y(x, y) 的二重积分。 CDF 给出的是概率值，表示随机点 (X, Y) 落在点 (x, y) 左下方区域的概率。
⭐ 二元高斯 CDF
二元高斯分布的累积分布函数：
📈 二元高斯分布 CDF 交互式可视化
Cumulative Distribution Function
质心 (μ_X, μ_Y)
标准差 (σ_X, σ_Y)
相关系数 ρ
显示选项
- 定义：FX,Y(x,y) = ∫-∞x ∫-∞y fX,Y(s,t) ds dt（二重积分）
- 概率意义：表示 P(X ≤ x, Y ≤ y)，即点 (x,y) 左下方区域的概率
- 取值范围：0 ≤ FX,Y(x,y) ≤ 1
- 单调性：关于 x 和 y 都单调递增
- 边界条件：FX,Y(-∞, y) = 0, FX,Y(x, -∞) = 0, FX,Y(+∞, +∞) = 1
⚖️CDF vs PDF 的区别
PDF 和 CDF 是描述分布的两种不同方式，各有用途：
📊CDF 曲面的特征
二元高斯 CDF 曲面呈现出S形上升的特征：
- • 从左下角 (−∞, −∞) 的 0 逐渐上升
- • 在质心 (μX, μY) 附近上升最快
- • 最终趋向右上角 (+∞, +∞) 的 1
- • 曲面光滑、单调递增
与 PDF 类似，可以从不同方向观察 CDF 曲面：
- • 沿 x 剖面：固定 y，观察 FX,Y(x, y) 随 x 的变化
- • 沿 y 剖面：固定 x，观察 FX,Y(x, y) 随 y 的变化
- • 剖面线都呈现 S 形（sigmoid 形状）
边缘 CDF 是一元 CDF，可以通过联合 CDF 的极限得到：
🧮使用 CDF 计算概率
CDF 的一个重要应用是计算矩形区域的概率：
计算 P(a < X ≤ b, c < Y ≤ d)：
CDF 的应用
- • 概率计算：直接计算区间概率，无需积分
- • 分位数查找：给定概率，找对应的值（反函数）
- • 假设检验：K-S 检验等基于 CDF 的检验方法
- • 随机数生成：逆变换采样（inverse transform sampling）
- • 风险评估：金融中的 VaR（Value at Risk）计算
- • 可靠性分析：失效概率、生存函数
⚠️重要区别
再次强调，联合 PDF fX,Y(x, y) 二重积分得到的是概率， 也就是曲面体积代表概率。
而 fX,Y(x, y) 偏积分得到的还是概率密度， 即边缘概率密度 fX(x) 或 fY(y)。 边缘 PDF 还需要进一步积分才得到概率。
📝 10.3 关键要点总结
• P(X≤x, Y≤y)
• 累积概率
• 取值 [0, 1]
• 单调递增
• 光滑曲面
• 从 0 到 1
• 分位数
• 假设检验
• 风险评估
用椭圆解剖二元高斯分布
Dissecting Bivariate Gaussian with Ellipse
我们已经在二元高斯 PDF 解析式中看到了椭圆的身影。 这一节我们对二元高斯分布和椭圆的关系进行定量研究， 揭示椭圆的几何性质如何精确对应分布的统计参数。
⭐ 二次曲面 G(x,y)
利用 G(x,y) 可以简化二元高斯 PDF：
令 G(x,y) = k（常数），得到椭圆方程：
⭕ 用椭圆解剖二元高斯分布
Dissecting Bivariate Gaussian with Ellipse
质心 (μ_X, μ_Y)
标准差 (σ_X, σ_Y)
相关系数 ρ
椭圆大小
显示选项
- 椭圆方程：令 G(x,y) = 常数，得到一系列同心椭圆
- 相切矩形：椭圆与长 2σ_X、宽 2σ_Y 的矩形相切（《数学要素》第9章）
- 四个切点：切点位置由 (μ, σ, ρ) 唯一确定
- ρ 的作用：ρ > 0 正相关（东北倾斜），ρ < 0 负相关（西北倾斜），ρ = 0 正椭圆
- 马氏距离：√G(x,y) 是点 (x,y) 到中心的马氏距离
- 长短轴：与协方差矩阵的特征值和特征向量相关（PCA 基础）
▭椭圆与矩形相切
《数学要素》第9章介绍过，形如 G(x,y) = 1 的椭圆有一个重要特点：
椭圆与长 2σX、宽 2σY 的矩形相切
- • 矩形中心：(μX, μY)
- • 矩形宽度：2σX
- • 矩形高度：2σY
- • 矩形边平行于坐标轴
📍四个切点的坐标
椭圆与矩形有四个切点 A, B, C, D：
- • 切点位置由 (μ, σ, ρ) 唯一确定
- • ρ 改变时，切点沿矩形边移动
- • ρ = 0 时，切点在矩形边的中点
- • |ρ| 越大，切点离角越近
↗️ρ 与椭圆倾斜方向
从切点可以定义一个角度 θ：
这个角度与条件概率和线性回归直接相关（第12章）
↔️椭圆的长轴和短轴
椭圆的长轴和短轴方向由协方差矩阵的特征向量决定：
- • 长轴：对应最大特征值的特征向量方向
- • 短轴：对应最小特征值的特征向量方向
- • 长短轴长度：与特征值的平方根成正比
椭圆的长短轴方向与主成分分析 (PCA) 密切相关：
- • 长轴方向 = 第一主成分方向
- • 短轴方向 = 第二主成分方向
- • 这是本书第 14、25 章的内容
📏马氏距离
我们前面提到，椭圆上所有点代入 G(x,y) 的值相同。 这个值的平方根就是马氏距离（Mahalanobis distance）：
- • G(x,y) = 1: 马氏距离 = 1（类似 μ ± σ）
- • G(x,y) = 4: 马氏距离 = 2（类似 μ ± 2σ）
- • 同一椭圆上的点，到中心的马氏距离相同
椭圆分析的应用
- • 数据可视化：用椭圆表示二元数据的分布特征
- • 置信区域：统计推断中的置信椭圆
- • 异常检测：基于马氏距离的异常值识别
- • 主成分分析：椭圆的长短轴给出主成分方向
- • 线性回归：切点连线与回归直线的关系
- • 条件分布：AC、BD 线段与条件高斯分布（第12章）
📝 10.4 关键要点总结
• 一系列同心椭圆
• 中心 (μX, μY)
• 由 σ 和 ρ 决定形状
• 四个切点
• 切点公式
• 与 ρ 相关
• 长短轴
• PCA 方向
• 条件分布
📝 本章小结（持续更新）
10.1 看见椭圆
- 二元高斯PDF：5个参数决定分布
- 等高线呈椭圆形：椭圆分布
- 相关系数 ρ 决定椭圆倾斜程度
10.2 边缘分布
- X 和 Y 的边缘分布都是一元高斯
- 边缘分布与相关系数 ρ 无关
- 偏积分求边缘分布：消除一个变量
10.3 累积分布函数
- CDF = PDF 的二重积分
- 直接给出概率值，取值 [0,1]
- S 形曲面，单调递增