💭
本章引言
本章是第8章的延续。第8章专门介绍了离散、连续随机变量的条件期望（Conditional Expectation）、条件方差（Conditional Variance）。 本章将这些数学工具应用在高斯分布上。
"生命就像一个永恒的春天，穿着崭新而绚丽的衣服站在我面前。"
—— 卡尔·弗里德里希·高斯 (Carl Friedrich Gauss)
12.1
联合概率和条件概率关系
Joint and Conditional Probability
本节首先回顾条件概率（Conditional Probability）。 条件概率是指某事件在另外一个事件已经发生条件下的概率。 我们将通过二元高斯分布的实例， 直观理解联合PDF、边缘PDF和条件PDF之间的关系。
📊 联合概率与条件概率的关系
Joint vs Conditional Probability
参数设置
显示选项
关键关系：
fX|Y(x|y) = fX,Y(x,y) / fY(y)
当前值：
fY(y=0.0) ≈ 0.399
fY(y=0.0) ≈ 0.399
归一化因子 ≈ 2.51×
给定 Y = 0.0 时的概率密度函数
边缘PDF
fX(x)：X的分布
不依赖Y的取值
曲线下面积=1
不依赖Y的取值
曲线下面积=1
联合PDF切片
fX,Y(x,y)：切片
Y固定时的曲线
面积=fY(y)
Y固定时的曲线
面积=fY(y)
条件PDF
归一化后的PDF
除以fY(y)
曲线下面积=1
除以fY(y)
曲线下面积=1
关键观察：
- 联合PDF fX,Y(x,y) — 在Y=y处切一刀得到的红色曲线，面积等于边缘PDF fY(y)
- 条件PDF fX|Y(x|y) — 用fY(y)归一化后的蓝色曲线，面积等于1
- 归一化因子 — 条件PDF = 联合PDF / fY(y)，相当于在高度上放大约1/fY(y)倍
- 条件期望 — 蓝色曲线的对称轴对应E(X|Y=y)，随Y变化而移动
- 条件方差 — 蓝色曲线的形状（标准差）在不同Y值下保持不变（高斯分布特性）
📐 公式(1)：条件概率基本公式
Area = 1
Conditional
Given Y=y
=
不标注面积
Joint
Given Y=y
/
Area = fY(y)
Marginal
占位
fX|Y(x|y) = fX,Y(x,y) / fY(y)
条件PDF = 联合PDF / 边缘PDF（归一化因子）
⚠️
注意：此时fY(y)代表一个具体的值，但这个值仍然是概率密度，而不是概率。
📐 公式(2)：边缘PDF的积分公式
分解来看，当Y=y时，联合PDF fX,Y(x,y)这条曲线和横轴围成的面积为边缘PDF fY(y)，即：
不标注面积
Marginal
占位
=
Area = fY(y)
Joint
Given Y=y
fY(y) = ∫x fX,Y(x,y) dx
边缘PDF = 联合PDF沿x方向的积分
📐 公式(3)：条件PDF的归一化条件
归一化后的fX|Y(x|y)曲线和横轴围成的面积为1，即：
Area = 1
Conditional
Given Y=y
∫x fX|Y(x|y) dx = 1
条件PDF曲线下面积必为1（概率密度函数的性质）
📐 条件概率：从联合到条件
几何视角
以(X, Y)服从二元高斯分布为例， 联合概率密度函数PDF fX,Y(x, y)为一个曲面。
给定Y = y条件下，相当于在曲面上沿着Y = y切一刀， 得到的红色曲线便是fX,Y(x, y)。
贝叶斯公式
给定Y = y的条件下（fY(y) > 0），利用贝叶斯定理：
fX|Y(x | y) = fX,Y(x, y) / fY(y)
• fX|Y(x | y): 条件PDF
• fX,Y(x, y): 联合PDF
• fY(y): 边缘PDF（归一化因子）
• fX,Y(x, y): 联合PDF
• fY(y): 边缘PDF（归一化因子）
📏面积关系：归一化的本质
联合PDF切片
当Y = y时，联合PDF fX,Y(x, y)这条曲线和横轴围成的面积为：
∫ fX,Y(x, y) dx = fY(y)
• 面积不等于1
• 面积的大小取决于y的值
• 面积等于边缘PDF fY(y)
• 面积的大小取决于y的值
• 面积等于边缘PDF fY(y)
条件PDF归一化
归一化后的fX|Y(x | y)曲线和横轴围成的面积为：
∫ fX|Y(x | y) dx = 1
• 面积等于1
• 这是概率密度函数的必要条件
• 相当于在高度上放大1/fY(y)倍
• 这是概率密度函数的必要条件
• 相当于在高度上放大1/fY(y)倍
归一化因子的作用
归一化因子 = 1 / fY(y)
• fY(y)越小，归一化因子越大，条件PDF曲线被"拉高"得越多
• fY(y)越大，归一化因子越小，条件PDF曲线被"压低"得越少
• 目的：保证条件PDF曲线下面积为1
• fY(y)越大，归一化因子越小，条件PDF曲线被"压低"得越少
• 目的：保证条件PDF曲线下面积为1
🎯 具体案例：Y = -2
图2示例分析
如图2所示，当y = -2时，对联合PDF曲面在y=-2处切一刀， 得到fX,Y(x, y=-2)对应图2中红色曲线。
关键数值：
• fX,Y(x, y=-2)和横轴围成的面积便是边缘PDF fY(y=-2)
• 经过计算得知面积约为0.05，即fY(y=-2) = 0.05
• 经过计算得知面积约为0.05，即fY(y=-2) = 0.05
⚠️
再次强调：0.05不是概率值，虽然它的大小某种程度上也代表"可能性"。
公式(4)：条件PDF计算
在给定y = -2条件下，条件PDF fX|Y(x | y=-2)可以通过下式计算得到：
fX|Y(x | y=-2) = fX,Y(x, y=-2) / fY(y=-2)
图2同时比较三条曲线：
联合PDF
fX,Y(x, y=-2)
面积 = 0.05
fX,Y(x, y=-2)
面积 = 0.05
边缘PDF
fY(y=-2)
值 = 0.05
fY(y=-2)
值 = 0.05
条件PDF
fX|Y(x | y=-2)
面积 = 1
fX|Y(x | y=-2)
面积 = 1
高度与面积的关系
从图像上可以清楚看到：
条件PDF相对联合PDF
• 条件PDF fX|Y(x | y=-2)相当于联合PDF fX,Y(x, y=-2)在高度上放大约20倍
• 原因：归一化因子 = 1/0.05 = 20
• 曲线形状不变，只是高度缩放
• 原因：归一化因子 = 1/0.05 = 20
• 曲线形状不变，只是高度缩放
面积对比
• 联合PDF曲线面积 = 0.05
• 条件PDF曲线面积 = 1
• 比值 = 1/0.05 = 20
• 条件PDF曲线面积 = 1
• 比值 = 1/0.05 = 20
⚠️
值得反复强调的是：联合PDF fX,Y(x, y=-2)曲线和横轴围成的面积为0.05， 然而条件PDF fX|Y(x | y=-2)曲线和横轴围成的面积为1。
🔍Y取不同值时的观察
图2到图6的系统观察
沿着这个思路，让我们观察一组当y取值分别为-2、-1、0、1、2时， 联合PDF和条件PDF的关系。图2到图6五幅图分别展示当y取值不同时，高斯二元分布联合PDF和条件PDF的关系。
1️⃣ 曲线都是高斯形状
几何直观注意点：五幅图像上截取的概率曲线形状都类似高斯一元分布曲线。
⚠️ 它们本身不是一元随机变量PDF的原因：
虽然它们本身不是一元随机变量PDF的原因很简单——面积不为1。
经过缩放得到面积为1的曲线就是条件PDF。
虽然它们本身不是一元随机变量PDF的原因很简单——面积不为1。
经过缩放得到面积为1的曲线就是条件PDF。
2️⃣ 切点横坐标对应条件期望
Y = y直线和联合PDF等高线某一个椭圆相切，而当y变化时，切点似乎沿着直线运动。
切点的横坐标取值对应条件PDF fX|Y(x|y)曲线的对称轴，
而这个对称轴的位置就是条件期望E(X|Y=y)的期望值。
这一点说明，y取值变化时，切点似乎沿着直线运动。
而这个对称轴的位置就是条件期望E(X|Y=y)的期望值。
这一点说明，y取值变化时，切点似乎沿着直线运动。
3️⃣ 条件PDF曲线形状不变
图2到图6五幅图条件PDF fX|Y(x|y)对应的蓝色曲线，似乎在状上没有任何变化，仅仅是对称轴发生移动。
条件期望观察
Y = y直线和联合PDF等高线的一个椭圆相切，而当y变化时，切点似乎沿着直线运动。
切点的横坐标取值对应条件PDF fX|Y(x|y)曲线的对称轴，
这个期望值就是本章第8章介绍的条件期望E(X|Y=y)。
切点的横坐标取值对应条件PDF fX|Y(x|y)曲线的对称轴，
这个期望值就是本章第8章介绍的条件期望E(X|Y=y)。
条件方差观察
这一点说明，y取值变化时，条件PDF对应分布的方差似乎没有变化；
这个方差就是本章第8章介绍的条件方差var(X|Y=y)。
这个方差就是本章第8章介绍的条件方差var(X|Y=y)。
💡
直观印象：本章预告
这一节先给大家一个直观印象。本章之后将会利用高斯二元分布对条件概率、条件期望、条件方差等概念进行定量研究。
🎯 关键发现：
①
条件PDF公式：fX|Y(x|y) = fX,Y(x,y) / fY(y)
（贝叶斯公式的核心）
（贝叶斯公式的核心）
②
条件期望E(X|Y=y)：切点横坐标，随Y值线性变化
（切点沿直线移动，这为线性回归提供了几何直观）
（切点沿直线移动，这为线性回归提供了几何直观）
③
条件方差var(X|Y=y)：不随Y值变化
（条件PDF曲线形状保持不变，这是高斯分布的独特性质）
（条件PDF曲线形状保持不变，这是高斯分布的独特性质）
📖 后续章节：
本章将对条件概率、条件期望、条件方差等概念进行定量研究， 并展示它们如何为线性回归、相关分析提供坚实的理论基础。
📝 12.1 关键要点总结
条件概率公式
• fX|Y(x|y) = fX,Y(x,y)/fY(y)
• 贝叶斯定理
• 归一化因子
• 面积等于1
• 贝叶斯定理
• 归一化因子
• 面积等于1
几何解释
• 联合PDF切片
• 切点移动轨迹
• 条件期望变化
• 条件方差不变
• 切点移动轨迹
• 条件期望变化
• 条件方差不变
高斯特性
• 条件PDF仍为高斯
• 对称轴线性移动
• 形状保持不变
• 为回归奠基
• 对称轴线性移动
• 形状保持不变
• 为回归奠基
✦
12.2
给定X条件下，Y的条件概率
Conditional Probability: Given X, Find Y
本节以二元高斯分布为例， 给出在给定X = x条件下，Y的条件PDF解析式。 我们将发现条件PDF仍然是高斯分布， 且条件期望与X呈线性关系， 条件方差为定值。 这些性质为线性回归奠定了理论基础。
🎮 条件概率密度 3D 可视化
f(X₂|X₁=x₁) 条件分布切片
二元高斯参数
相关系数 ρ0.60
σ₁1.0
σ₂1.0
给定条件 X₁
X₁ = 0.00
条件均值: μ₂|₁ = 0.00
条件标准差: σ₂|₁ = 0.80
显示选项
条件分布公式
f(X₂|X₁=x₁) = f(x₁,x₂) / f_X₁(x₁)
μ₂|₁ = μ₂ + ρ(σ₂/σ₁)(x₁-μ₁)
σ²₂|₁ = σ²₂(1-ρ²)
联合分布 f(X₁, X₂) 与条件分布
条件分布 f(X₂|X₁=0.0)
条件分布：给定 X₁=x₁ 时，X₂ 的条件分布 f(X₂|X₁=x₁) 是联合分布在 x₁ 处的"切片"归一化后的结果。 对于二元高斯分布，条件分布仍是高斯分布，条件均值是 X₁ 的线性函数。
🔪 等高线切片器
在不同位置切割二元分布
分布参数
σ₁1.0
σ₂1.5
相关系数 ρ0.70
切片方向
切片位置 X₁
X₁ = 0.00
切片说明
固定 X₁=0.0，观察 f(0.0, X₂) 随 X₂ 变化
等高线图与切片线
切片曲线 f(0.0, X₂)
等高线切片：在二元分布的等高线图上选择一条垂直或水平线，观察沿该线的概率密度变化。 这种"切片"操作揭示了固定一个变量后，另一个变量的分布形态。
📐 公式(5)：二元高斯分布联合PDF
如果(X, Y)服从二元高斯分布，联合PDF fX,Y(x,y)解析式如下：
fX,Y(x,y) = 1 / (2πσXσY√(1-ρX,Y²))
× exp
-1 / [2(1-ρX,Y²)] ×
[(x-μX)/σX]²
- 2ρX,Y · (x-μX)/σX · (y-μY)/σY
+ [(y-μY)/σY]²
归一化常数：
1/(2πσXσY√(1-ρ²)) 确保总概率为1
1/(2πσXσY√(1-ρ²)) 确保总概率为1
椭圆指数项：
Ellipse标注部分，决定等高线形状
Ellipse标注部分，决定等高线形状
📐 公式(6)：条件PDF fY|X(y|x)完整解析式
利用条件PDF、联合PDF、边缘PDF三者关系，我们可以求得在给定X=x条件下， 条件PDF fY|X(y|x)解析式为：
fY|X(y|x) = 1 / (σY√(1-ρX,Y²)√(2π))
× exp
-1/2 ×
[y - (μY + ρX,Y · σY/σX · (x-μX))]²
σY√(1-ρX,Y²)
✓
重要发现：可以发现当X=x取一定值时，(6)解析式对应高斯正态分布， 这印证了本书第10章的猜测。将fY|X(y|x)曲面不同位置曲线投影在yz平面上， 容易发现这些曲线的形状完全相同（条件标准差不变）， 但是曲线的中心位置变化（条件期望值变化）。
📊条件PDF曲面特征
曲面视图
fY|X(y|x)曲面网格线展示了条件PDF随X变化的规律。
观察：
• 曲面由多条高斯曲线组成
• 每条曲线对应不同的X值
• 曲线的期望和方差对应条件期望E(Y|X=x)和条件方差var(Y|X=x)
• 曲面由多条高斯曲线组成
• 每条曲线对应不同的X值
• 曲线的期望和方差对应条件期望E(Y|X=x)和条件方差var(Y|X=x)
投影视图
将fY|X(y|x)曲面不同位置曲线投影在yz平面上。
发现：
• 曲线形状完全相同（条件标准差不变）
• 曲线中心位置变化（条件期望值变化）
• 这两个特性是高斯分布的独特性质
• 曲线形状完全相同（条件标准差不变）
• 曲线中心位置变化（条件期望值变化）
• 这两个特性是高斯分布的独特性质
📈条件期望E(Y|X=x)：线性关系
📐 公式(7)：条件期望解析式
如果(X, Y)满足二元高斯分布，给定X=x条件下，Y的条件PDF fY|X(y|x)如图9所示。 图10所示为fY|X(y|x)平面等高线，条件期望E(Y|X=x)解析式为：
E(Y | X = x) = μY + ρX,Y · (σY/σX) · (x - μX)
如图10所示，E(Y|X=x)随着X=x取值线性变化； 也就是说，E(Y|X=x)和x的关系是一条直线。 这条直线的一般式可以写成：
📐 公式(8)：直线的一般式
y = μY + ρX,Y · (σY/σX) · (x - μX)
💡
可以发现直线的斜率为ρX,Y·σY/σX， 且过点(μX, μY)。 眼尖的读者一眼就会发现，这条曲线是x自变量、y因变量的OLS线性回归直线解析式。
📚 章节关联：本章最后一节将深入探讨这一话题。 此外本书第24章也会展开讲解线性回归问题。
斜率
slope = ρ · σY / σX
• 由相关系数ρ决定
• 由标准差比值决定
• ρ>0：正相关
• ρ<0：负相关
• 由标准差比值决定
• ρ>0：正相关
• ρ<0：负相关
截距
通过点(μX, μY)
当x = μX时，
E(Y|X=μX) = μY
E(Y|X=μX) = μY
直线必经过联合分布的均值点
回归直线
这就是x为自变量、y为因变量的OLS线性回归直线！
• 最小二乘法
• 第24章详解
• 统计学基础
• 第24章详解
• 统计学基础
📊条件方差var(Y|X=x)：定值
📐 公式(9)：条件方差解析式
给定X=x条件下，Y的条件方差var(Y|X=x)解析式为：
var(Y | X = x) = (1 - ρX,Y²) · σY²
✓
关键发现：给定X=x条件下，Y的条件标准差σY|X=x， 解析式为定值：
📐 公式(10)：条件标准差解析式
σY|X=x = √(1 - ρX,Y²) · σY
💡
这解释了为什么图10中的等高线为平行线。
📊 图11展示：图11展示为σY|X=x的几何含义。
不随X变化
关键特性：
条件方差是定值，不随X值变化！
条件方差是定值，不随X值变化！
这解释了为什么：
• 等高线是平行线
• 条件PDF曲线形状相同
• 只有中心位置移动
• 等高线是平行线
• 条件PDF曲线形状相同
• 只有中心位置移动
平行四边形
条件期望±条件标准差形成平行四边形：
E(Y|X=x) ± σY|X
• 两条平行线
• 与条件期望线平行
• 第15章再现
• 与条件期望线平行
• 第15章再现
🌸 条件概率与独立性检验
给定花萼长度，计算花萼宽度的条件分布
选择条件 X₁
样本数: 34
联合分布对比
X₁ 统计量
E[X₁] = 5.84 cm
E[X₁²] = 34.74 cm²
var(X₁) = 0.675 cm²
σ(X₁) = 0.822 cm
X₂ 统计量
E[X₂] = 3.06 cm
真实联合: p(x₁,x₂)
X₁\X₂
2
2.5
3
3.5
4
4.5
4.5
0.01
0.05
0.01
5
0.01
0.03
0.05
0.11
0.03
5.5
0.06
0.06
0.03
0.03
0.01
6
0.02
0.05
0.09
0.01
0.01
6.5
0.04
0.13
0.03
7
0.07
0.01
7.5
0.01
0.03
0.01
8
0.01
条件概率 p(X₂ | X₁ = 5)
Σ p(x₂|X₁=5) = 1.000 ≈ 1
独立性检验：比较不同 X₁ 条件下的条件分布形状，若形状相同则独立
条件概率计算：p(X₂|X₁) = p(X₁,X₂) / p(X₁)，每列求和为 1。期望与方差：E[X] = Σx·p(x)，var(X) = E[X²] - E[X]²。
🌸 以鸢尾花为例：条件期望E(X₂|X₁=x₁)、条件方差var(X₂|X₁=x₁)
数据背景
以鸢尾花萼长度(X₁)、花萼宽度(X₂)数据为例，假设(X₁, X₂)服从二元高斯分布。 条件PDF fX₂|X₁(x₂ | x₁)三维等高线和平面等高线如图12所示。
变量定义：
• X₁：花萼长度 (Sepal length)
• X₂：花萼宽度 (Sepal width)
• X₁：花萼长度 (Sepal length)
• X₂：花萼宽度 (Sepal width)
分布假设：
• (X₁, X₂) ~ 二元高斯分布
• 参数已从数据中估计
• (X₁, X₂) ~ 二元高斯分布
• 参数已从数据中估计
📐 公式(11)：X₁=x₁条件下的条件期望
在给定X₁=x₁条件下，X₂的条件期望E(X₂|X₁=x₁)解析式为：
E(X₂ | X₁ = x₁) = μ₂ + ρ1,2 · (σ₂/σ₁) · (x₁ - μ₁)
代入具体数值：
= 3.057 - 0.117 × (0.434/0.825) × (x₁ - 5.843)
= -0.615x₁ + 3.417
📐 公式(12)：条件方差
条件方差var(X₂|X₁=x₁)为：
var(X₂ | X₁ = x₁) = (1 - ρ1,2²) · σ₂²
= (1 - ρ1,2²) · σ₂² ≈ 0.186
📐 公式(13)：条件标准差
条件标准差σX₂|X₁=x₁为：
σX₂|X₁=x₁ = √(1 - ρ1,2²) · σ₂
= √(1 - ρ1,2²) · σ₂ ≈ 0.431
✓
关键发现：如图12所示，不管x₁怎么变， 这个条件标准差σX₂|X₁=x₁为定值。 请大家对比第8章的类似图。
💡
视觉验证：
• 图12(a)：3D条件PDF曲面，显示曲线形状相同
• 图12(b)：平面等高线热力图，显示平行四边形区域
• 条件期望线（中间黑线）：E(X₂|X₁=x₁) = -0.615x₁ + 3.417
• 上下边界（平行线）：E(X₂|X₁=x₁) ± 2σX₂|X₁=x₁
• 图12(b)：平面等高线热力图，显示平行四边形区域
• 条件期望线（中间黑线）：E(X₂|X₁=x₁) = -0.615x₁ + 3.417
• 上下边界（平行线）：E(X₂|X₁=x₁) ± 2σX₂|X₁=x₁
🌸 以鸢尾花为例，考虑标签
分类条件分析
换个条件来看，如图13所示，给定鸢尾花分类条件， 假设花萼长度服从高斯分布。请大家自行计算给定鸢尾花分类为条件， 花萼长度的条件期望E(X₁ | Y = Ci)、 条件方差var(X₁ | Y = Ci)。
图13观察要点
• 给定鸢尾花标签Y，花萼长度x₁的PDF，连续随机量
• 三条曲线的中心位置不同（条件期望不同）
• 三条曲线的宽度不同（条件方差/标准差不同）
• 每条曲线面积都为1（归一化条件）
• 三条曲线的中心位置不同（条件期望不同）
• 三条曲线的宽度不同（条件方差/标准差不同）
• 每条曲线面积都为1（归一化条件）
🎨几何解释：等高线与回归线
等高线特征
fY|X(y|x)的平面等高线表现出独特的性质：
1. 等高线是平行线
因为条件方差不随X变化
因为条件方差不随X变化
2. 平行于回归线
斜率都是ρσY/σX
斜率都是ρσY/σX
3. 间距固定
由条件标准差σY|X决定
由条件标准差σY|X决定
4. 对称分布
围绕条件期望线对称
围绕条件期望线对称
回归线的意义
条件期望E(Y|X=x)形成的红色直线就是回归线：
• 预测工具：给定X=x，最佳预测Y的值是E(Y|X=x)
• 最小化误差：回归线使预测误差的平方和最小
• OLS方法：普通最小二乘法（Ordinary Least Squares）
• 统计基础：线性回归、相关分析的理论依据
• 最小化误差：回归线使预测误差的平方和最小
• OLS方法：普通最小二乘法（Ordinary Least Squares）
• 统计基础：线性回归、相关分析的理论依据
📝 12.2 关键要点总结
条件PDF
• 仍是高斯分布
• 曲面网格线
• 投影形状相同
• 中心位置移动
• 曲面网格线
• 投影形状相同
• 中心位置移动
条件期望
• E(Y|X=x)线性变化
• 斜率=ρσY/σX
• 过(μX,μY)
• OLS回归直线
• 斜率=ρσY/σX
• 过(μX,μY)
• OLS回归直线
条件方差
• var(Y|X=x)=σY²(1-ρ²)
• 不随X变化
• 等高线平行
• 平行四边形
• 不随X变化
• 等高线平行
• 平行四边形
✦
12.3
给定Y条件下，X的条件概率
Conditional Probability: Given Y, Find X
本节讨论反向条件概率： 在给定Y = y条件下，求X的条件PDF。 这与12.2节的方向相反， 我们将看到两条回归线的对称性， 以及回归不可逆的重要性质。
🔄 逆向条件分布
f(X₁|X₂) vs f(X₂|X₁) 对比
分布参数
ρ0.65
σ₁: 1.0
σ₂: 1.2
逆向条件 f(X₁|X₂)
给定 X₂ = 0.50
μ₁|₂ = 0.27
σ₁|₂ = 0.76
对称性
虽然 f(X₁|X₂) ≠ f(X₂|X₁)，但它们都满足条件分布的性质，条件均值都是给定变量的线性函数。
联合分布与条件切片
f(X₁|X₂=0.5)
逆向条件分布：f(X₁|X₂) 与 f(X₂|X₁) 虽然不同，但它们的数学形式相似。 对于二元高斯分布，两个方向的条件分布都是高斯分布，条件均值都是给定变量的线性函数。
📈 Two Regression Lines
Y on X vs X on Y regression lines
Y on X
X on Y
📐 公式(14)：反向条件PDF fX|Y(x|y)完整解析式
如果(X, Y)服从二元高斯分布，给定Y=y条件下， X的条件PDF fX|Y(x|y)解析式为：
fX|Y(x|y) = 1 / (σX√(1-ρX,Y²)√(2π))
× exp
-1/2 ×
[x - (μX + ρX,Y · σX/σY · (y-μY))]²
σX√(1-ρX,Y²)
✓
对称结构：公式(14)与公式(6)完全对称，只是X和Y互换。 这体现了二元高斯分布的对称性质。
📉条件期望E(X|Y=y)：反向回归线
📐 公式(15)：条件期望E(X|Y=y)
如果(X, Y)满足二元高斯分布，给定Y=y条件下，X的条件期望为：
E(X | Y = y) = μX + ρX,Y · (σX/σY) · (y - μY)
这是一条关于y的直线，可以改写为：
x = μX + ρX,Y · (σX/σY) · (y - μY)
x = μX + ρX,Y · (σX/σY) · (y - μY)
与E(Y|X=x)的对比
E(Y|X=x)：
斜率 = ρσY/σX
斜率 = ρσY/σX
E(X|Y=y)：
斜率 = ρσX/σY
斜率 = ρσX/σY
斜率之积 = ρ²
对称性
两条回归线都通过点(μX, μY)
• 关于椭圆主轴对称
• 不关于y=x对称
• 除非ρ=±1，两线不重合
• 体现回归的不可逆性
• 不关于y=x对称
• 除非ρ=±1，两线不重合
• 体现回归的不可逆性
📊条件方差var(X|Y=y)：同样是定值
📐 公式(16)：条件方差
给定Y=y条件下，X的条件方差var(X|Y=y)为：
var(X | Y = y) = (1 - ρX,Y²) · σX²
✓
关键性质：与公式(9)对称，条件方差为定值， 不随Y的取值变化。
📐 公式(17)：条件标准差
σX|Y=y = √(1 - ρX,Y²) · σX
💡
这解释了为什么图16中蓝色虚线平行，对应E(X|Y=y)的标准差带。
两个条件方差
var(Y|X=x) = σY²(1-ρ²)
var(X|Y=y) = σX²(1-ρ²)
• 都是定值
• 都含因子(1-ρ²)
• 分别对应两个方向
• 都含因子(1-ρ²)
• 分别对应两个方向
平行四边形
两个方向都形成平行四边形结构：
水平方向：
E(Y|X=x) ± σY|X
E(Y|X=x) ± σY|X
垂直方向：
E(X|Y=y) ± σX|Y
E(X|Y=y) ± σX|Y
🔀两条回归线的对称与区别
E(Y|X=x) - 正向回归
y = μY + (ρσY/σX)(x-μX)
• 自变量：X
• 因变量：Y
• 预测：用X预测Y
• 残差：Y方向的误差
• 应用：身高预测体重
• 因变量：Y
• 预测：用X预测Y
• 残差：Y方向的误差
• 应用：身高预测体重
E(X|Y=y) - 反向回归
x = μX + (ρσX/σY)(y-μY)
• 自变量：Y
• 因变量：X
• 预测：用Y预测X
• 残差：X方向的误差
• 应用：体重预测身高
• 因变量：X
• 预测：用Y预测X
• 残差：X方向的误差
• 应用：体重预测身高
回归的不可逆性
重要结论：除非ρ=±1（完全线性相关），
两条回归线不重合，即回归是不可逆的！
两条回归线不重合，即回归是不可逆的！
|ρ|接近1：
两线接近重合
两线接近重合
ρ=0：
两线垂直相交
两线垂直相交
一般情况：
两线在(μX,μY)相交
两线在(μX,μY)相交
🌺 Iris Reverse Conditional
Predict X₁ given X₂ and X₃
Input Features
Predicted X₁ (Sepal Length)
3.90 cm
Regression Model:
X₁ = 1.20 + 0.50·X₂ + 0.30·X₃
X₁ = 1.20 + 0.50·X₂ + 0.30·X₃
🌸 以鸢尾花为例：E(X₁|X₂=x₂)、var(X₁|X₂=x₂)
数据背景（反向）
以鸢尾花萼长度(X₁)、花萼宽度(X₂)数据为例，假设(X₁, X₂)服从二元高斯分布。 现在给定X₂=x₂条件，求X₁的条件分布。
📐 公式(18)：X₂=x₂条件下的条件期望
在给定X₂=x₂条件下，X₁的条件期望E(X₁|X₂=x₂)为：
E(X₁ | X₂ = x₂) = μ₁ + ρ1,2 · (σ₁/σ₂) · (x₂ - μ₂)
代入具体数值：
= 5.843 - 0.117 × (0.825/0.434) × (x₂ - 3.057)
= -0.222x₂ + 6.523
📐 公式(19)：条件方差
条件方差var(X₁|X₂=x₂)为：
var(X₁ | X₂ = x₂) = (1 - ρ1,2²) · σ₁²
= (1 - ρ1,2²) · σ₁² ≈ 0.671
📐 公式(20)：条件标准差
条件标准差σX₁|X₂=x₂为：
σX₁|X₂=x₂ = √(1 - ρ1,2²) · σ₁
= √(1 - ρ1,2²) · σ₁ ≈ 0.819
✓
关键发现：如图18所示，不管x₂怎么变， 这个条件标准差σX₁|X₂=x₂为定值。 这与公式(13)的σX₂|X₁=x₁完全对称。
💡
对比12.2节：
• 12.2节：E(X₂|X₁=x₁) = -0.615x₁ + 3.417，σX₂|X₁ ≈ 0.431
• 12.3节：E(X₁|X₂=x₂) = -0.222x₂ + 6.523，σX₁|X₂ ≈ 0.819
• 斜率之积：(-0.615) × (-0.222) ≈ 0.137 ≈ ρ² = (-0.117)² ≈ 0.014
• 两条回归线在(μ₁, μ₂) = (5.843, 3.057)处相交
• 12.3节：E(X₁|X₂=x₂) = -0.222x₂ + 6.523，σX₁|X₂ ≈ 0.819
• 斜率之积：(-0.615) × (-0.222) ≈ 0.137 ≈ ρ² = (-0.117)² ≈ 0.014
• 两条回归线在(μ₁, μ₂) = (5.843, 3.057)处相交
🔢斜率之积的奥秘
斜率乘积公式
两条回归线的斜率之积等于ρ²：
(ρσY/σX) · (ρσX/σY) = ρ²
这个关系式揭示了两条回归线之间的内在联系。
当ρ²=1
完全线性相关
• 两条线重合
• 没有残差
• 完美预测
• 回归可逆
• 没有残差
• 完美预测
• 回归可逆
当ρ²=0
完全不相关
• 两线垂直
• 最大残差
• 无法预测
• E(Y|X)=μY
• 最大残差
• 无法预测
• E(Y|X)=μY
0<ρ²<1
部分相关
• 两线不重合
• 有残差
• 部分预测
• 回归不可逆
• 有残差
• 部分预测
• 回归不可逆
📝 12.3 关键要点总结
反向条件PDF
• fX|Y(x|y)仍是高斯
• 曲面结构对称
• 投影形状相同
• 中心位置变化
• 曲面结构对称
• 投影形状相同
• 中心位置变化
两条回归线
• E(Y|X)和E(X|Y)
• 斜率之积=ρ²
• 交于(μX,μY)
• 回归不可逆
• 斜率之积=ρ²
• 交于(μX,μY)
• 回归不可逆
对称性
• 两个条件方差
• 都是定值
• 都含(1-ρ²)
• 双向平行四边形
• 都是定值
• 都含(1-ρ²)
• 双向平行四边形
✦
12.4
多元正态条件分布：引入矩阵运算
Multivariate Conditional Distribution: Matrix Operations
本节利用矩阵运算讨论多元正态条件分布。 从二元高斯推广到多元情况， 我们将看到条件期望和条件方差的矩阵表达式， 以及它们与多元线性回归的联系。 这为理解机器学习中的回归问题提供了理论基础。
📊 Matrix Block Partitions
Explore different ways to partition a matrix
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Matrix partitioned into 4 blocks (2×2 each)
📐 公式(21)：多元高斯分布
如果随机变量向量χ和γ服从多维高斯分布：
[χ]
[γ]
~
N
(
[μχ]
[μγ]
,
[ΣχχΣχγ]
[ΣγχΣγγ]
)
符号说明：
• 左侧：随机变量向量的分块
• 中间：均值向量的分块
• 右侧：协方差矩阵的分块
• 左侧：随机变量向量的分块
• 中间：均值向量的分块
• 右侧：协方差矩阵的分块
📐 公式(22)：向量的具体形式
自变量向量 χ
χ=
X₁
X₂
⋮
XD
D维列向量
因变量向量 γ
γ=
Y₁
Y₂
⋮
YM
M维列向量
图20：协方差矩阵的分块结构
均值向量
μχ
μγ
协方差矩阵（分块）
Σχχ
Σχγ
Σγχ
Σγγ
Σχχ: D×D
自变量协方差
自变量协方差
Σχγ: D×M
互协方差
互协方差
Σγχ: M×D
转置关系
转置关系
Σγγ: M×M
因变量协方差
因变量协方差
📐 公式(23)：互协方差矩阵转置
注意，Σγχ的转置为Σχγ：
(Σγχ)T = Σχγ
Σγχ也叫互协方差矩阵（cross-covariance matrix）， 这是下一章要讨论的内容之一。
📐 公式(24)：给定χ=x条件下γ的条件分布
给定χ=x条件下，γ服从如下多元高斯分布：
{γ | χ = x}
~
N
(
μγ|χ=x
Expectation
,
Σγ|χ=x
Covariance matrix
)
这是一个M维多元高斯分布，其参数由条件期望和条件协方差矩阵确定。
📐 公式(25)：条件期望μγ|χ=x
也就是说，如图21所示，给定χ=x条件下γ的条件期望为：
μγ|χ=x = Σγχ Σχχ-1 (x - μχ) + μγ
图21：矩阵运算展开（条件期望）
μγ|χ=x
M×1
=
Σγχ
M×D
@
Σχχ-1
D×D
@
(x - μχ)
D×1
+
μγ
M×1
@ 表示矩阵乘法
关键性质：
• 条件期望是x的线性函数
• 回归系数矩阵：ΣγχΣχχ-1
• 这就是多元线性回归的理论基础！
• 条件期望是x的线性函数
• 回归系数矩阵：ΣγχΣχχ-1
• 这就是多元线性回归的理论基础！
📐 公式(26)：条件方差Σγ|χ=x
如图22所示，给定χ=x条件下γ的方差为：
Σγ|χ=x = Σγγ - Σγχ Σχχ-1 Σχγ
图22：矩阵运算展开（条件方差）
Σγ|χ=x
M×M
=
Σγγ
M×M
-
Σγχ
M×D
@
Σχχ-1
D×D
@
Σχγ
D×M
关键性质：条件方差不依赖于x，是定值矩阵。 这与二元高斯的条件方差是定值完全一致！
🔢 Matrix Multiplication Animation
Step-by-step matrix multiplication: C = A × B
Matrix A
1
2
3
4
×
Matrix B
5
6
7
8
=
Result C
19
C[0][0] = A[0][0]×B[0][0] + A[0][1]×B[1][0]
= 1×5 + 2×7 = 19
= 1×5 + 2×7 = 19
🔄 协方差矩阵对称性
Σ₁₂ = Σ₂₁ 的可视化
相关系数
ρ = 0.60
对称性
Cov(X₁, X₂) = Cov(X₂, X₁)
协方差矩阵是对称矩阵
Σ = Σᵀ
矩阵形式
┌ ┐
│ 1.0 0.6 │
│ 0.6 1.0 │
└ ┘
等高线椭圆（关于 y=x 对称）
Σ₁₂
X₁对X₂的协方差
0.600
Σ₂₁
X₂对X₁的协方差
0.600
协方差矩阵的对称性：Σ₁₂ = Σ₂₁，因为 Cov(X,Y) = Cov(Y,X)。等高线椭圆关于y=x对称。
📈 单一因变量：多元线性回归
特别地，γ只有一个随机变量Y时， 这对应线性回归中有多个自变量，只有一个因变量。 如图23所示。
图23：均值向量（单Y）
μχ
μY
协方差矩阵（单Y）
Σχχ
ΣχY
ΣYχ
ΣYY
注意：当γ只有一个随机变量Y时，ΣYχ退化为行向量（1×D），ΣYY退化为标量。
📐 公式(30)：单Y的条件期望
这种情况下，给定χ=x条件下Y的条件期望为：
μY|χ=x = ΣYχ Σχχ-1 (x - μχ) + μY
图24：矩阵运算（单Y条件期望）
μY|χ=x
标量
=
ΣYχ
1×D
@
Σχχ-1
D×D
@
(x - μχ)
D×1
+
μY
标量
(30)对应多元线性回归。图24对应矩阵运算示意图。
📐 公式(31)：多元线性回归系数
不考虑常数项系数，如果是行向量表述的话，多元线性回归的系数b为：
b = [b₁ b₂ ... bD] = ΣYχ Σχχ-1
图25：计算多元回归系数b
b
1×D
=
ΣYχ
1×D
@
Σχχ-1
D×D
图25所示为b的矩阵运算。 这是一个行向量，包含D个回归系数。
📐 公式(32)：常数项b₀
常数项b₀为：
b₀ = μY - b · μχ
作用：截距项，保证回归线通过均值点(μχ, μY)
类型：标量值（单个数字）
📐 公式(33)：简单线性回归
更特殊地，当χ和γ都只有一个随机变量时，即单一自变量X，单一因变量Y：
μY|X=x = cov(X,Y)(σX²)-1(x - μX) + μY = ρX,Y · (σY/σX) · (x - μX) + μY
这和本章之前的(8)完全一致。本书第24章将继续讨论这一话题。
🌺 Iris Regression Calculator
Complete calculation flow from data to model
Select Features (X)
Target Variable Y: Petal Width (mean = 1.199)
1
Step 1: Determine Dimensions
D = 3 (number of features)
M = 1 (number of targets)
M = 1 (number of targets)
💡 Interactive Tips:
• Click feature cards to select/deselect features
• Use step buttons to view complete calculation flow
• Click "Try Prediction" in final step to open real-time prediction tool
• Drag sliders to change input values and see prediction update instantly
• Click feature cards to select/deselect features
• Use step buttons to view complete calculation flow
• Click "Try Prediction" in final step to open real-time prediction tool
• Drag sliders to change input values and see prediction update instantly
🌸 以鸢尾花为例：公式(34)-(36)
图26：数据背景
图26所示为鸢尾花数据的质心向量、协方差矩阵热力图。 我们用花萼长度、花萼宽度、花瓣长度为多元线性回归的多变量， 用花瓣宽度为因变量。图26同均值和协方差矩阵也提此分块。
自变量χ（3维）
• X₁: 花萼长度 = 5.843
• X₂: 花萼宽度 = 3.057
• X₃: 花瓣长度 = 3.758
• X₂: 花萼宽度 = 3.057
• X₃: 花瓣长度 = 3.758
因变量Y（1维）
• Y: 花瓣宽度 = 1.199
📐 公式(34)：回归系数计算
利用(31)，我们可以计算得到回归系数：
b = [b₁ b₂ b₃] = ΣYχ Σχχ-1
= [0.516 -0.122 1.296] @ Σχχ-1
= [-0.207 0.223 0.524]
图27：矩阵运算示意
b
1×3
=
ΣYχ
1×3
@
Σχχ-1
3×3
📐 公式(35)：常数项计算
利用(32)，计算得到多元线性回归的常数项：
b₀ = μY - b @ μχ
= 1.199 - [-0.207 0.223 0.524] @ [5.843 3.057 3.758]T
= -0.240
图28：常数项计算示意
b₀
标量
=
μY
1.199
-
b
1×3
@
μχ
3×1
📐 公式(36)：多元线性回归解析式
从而得到多元线性回归的解析式：
y = b @ x + b₀
= [-0.207 0.223 0.524] @ [x₁ x₂ x₃]T - 0.240
= -0.207x₁ + 0.223x₂ + 0.524x₃ - 0.240
这个式子相当于用花萼长度、花萼宽度、花瓣长度作为变量估算花瓣宽度。
有必要强调一下：
线性回归并不一定表示因果关系。尽管线性回归可以用来探索变量之间的关系， 但它并不会告诉我们一个变量是否是另一个变量的原因。 因为在统计学中，相关性并不等于因果关系。
要确定两个变量之间的因果关系，需要进行实验研究，例如随机对照实验。 在这种类型的实验中，研究人员可以控制潜在的影响因素， 然后观察自变量对因变量的影响。因此，线性回归可以用于探索变量之间的关系， 但要确定因果关系需要进行更深入的研究和分析。
📝 12.4 关键要点总结
矩阵分块
• χ和γ向量分块
• 协方差矩阵分块
• 互协方差矩阵
• 转置关系
• 协方差矩阵分块
• 互协方差矩阵
• 转置关系
条件分布
• 仍是多元高斯
• 条件期望线性
• 条件方差定值
• 对称性质
• 条件期望线性
• 条件方差定值
• 对称性质
线性回归
• 回归系数公式
• 常数项计算
• 鸢尾花实例
• 相关≠因果
• 常数项计算
• 鸢尾花实例
• 相关≠因果
✦
📚
本章总结
Chapter 12 Summary
🎓
核心思想
条件高斯分布是指在已知某些变量的取值情况下， 对另外一些变量的概率分布进行建模的一种方法。 条件高斯分布在模式识别、机器学习、贝叶斯推断等领域都有广泛的应用。
关键洞察：
条件高斯分布给线性回归提供了一种全新的解读视角。
回归不再只是"拟合直线"，而是对条件期望的估计。
条件高斯分布给线性回归提供了一种全新的解读视角。
回归不再只是"拟合直线"，而是对条件期望的估计。
⚠️相关性 ≠ 因果关系
有必要强调一下：线性回归并不一定表示因果关系。
为什么？
- 线性回归可以探索变量之间的关系
- 但它不会告诉我们一个变量是否是另一个变量的原因
- 在统计学中，相关性并不等于因果关系
如何确定因果关系？
- 需要进行实验研究，例如随机对照实验（RCT）
- 研究人员需要控制潜在的影响因素
- 然后观察自变量对因变量的影响
因此，线性回归可以用于探索变量之间的关系， 但要确定因果关系需要进行更深入的研究和分析。