💪
"杀不死你的，会让你更强大。"
"What doesn't kill you, makes you stronger."
—— 弗里德里希 · 尼采 (Friedrich Nietzsche) | 德国哲学家 | 1844 ~ 1900
🐍 Python工具箱
•
matplotlib.pyplot.contour3D()绘制三维等高线图•
matplotlib.pyplot.contourf()绘制平面填充等高线•
matplotlib.pyplot.fill_between()区域填充颜色•
matplotlib.pyplot.plot_wireframe()绘制线框图•
matplotlib.pyplot.scatter()绘制散点图•
scipy.stats.gaussian_kde()高斯核密度估计•
numpy.outer()计算外积，张量积📚
本章概述
本章也是采用鸢尾花数据对鸢尾花分类进行预测； 不同的是，本章采用花萼长度、花萼宽度两个特征， 相当于上一章贝叶斯分类的"升维"。
本章和上一章的编排类似，请大家对照阅读； 因此，这两章也共享一个知识导图。
关键变化：
• 第18章：一维特征 (x) → 一维KDE
• 第19章：二维特征 (x₁, x₂) → 二维KDE
• 从曲线到曲面
• 从平面到三维空间
• 第18章：一维特征 (x) → 一维KDE
• 第19章：二维特征 (x₁, x₂) → 二维KDE
• 从曲线到曲面
• 从平面到三维空间
19.1
似然概率：给定分类条件下的概率密度
Likelihood: Conditional Probability Density
为了估算 fX₁,X₂|Y(x₁,x₂|C₁)， 首先提取标签为 C₁ (Setosa) 的50个样本， 根据样本所在具体位置利用高斯KDE估计 fX₁,X₂|Y(x₁,x₂|C₁)。
🎲 似然概率：二维特征的概率密度
Likelihood: Bivariate PDF (Sepal Length & Width)
选择类别
视图模式
带宽 h
视角
图1：似然概率 PDF 曲面 fX₁,X₂|Y(x₁,x₂|C1)
📊 二维KDE
• 使用花萼长度和宽度
• 二维高斯核密度估计
• fX₁,X₂|Y(x₁,x₂|Ck)
• 曲面下体积 = 1
• 偏积分得边缘分布
• 二维高斯核密度估计
• fX₁,X₂|Y(x₁,x₂|Ck)
• 曲面下体积 = 1
• 偏积分得边缘分布
🎲 3D可视化
• 3D曲面：展示概率密度
• 等高线：平面投影
• 三类对比：区域重叠
• 交互旋转：多角度观察
• 带宽调节：平滑度控制
• 等高线：平面投影
• 三类对比：区域重叠
• 交互旋转：多角度观察
• 带宽调节：平滑度控制
🎲 似然概率PDF曲面特性
图1分析：fX₁,X₂|Y(x₁,x₂|C₁) 曲面
几何特性
• 体积 = 1
• 曲面与水平面包裹的几何体
• 需要二重积分计算概率
• 高度表示概率密度
• 曲面与水平面包裹的几何体
• 需要二重积分计算概率
• 高度表示概率密度
C₁数据分布
• 花萼长度：4.5 ~ 5.5 cm
• 花萼宽度：3 ~ 4 cm
• 这个区域曲面高度最高
• 即可能性最大
• 花萼宽度：3 ~ 4 cm
• 这个区域曲面高度最高
• 即可能性最大
💡 关键概念：
• 条件概率密度：给定类别C₁，花萼长度x₁和宽度x₂的联合分布
• 二重积分：对fX₁,X₂|Y(x₁,x₂|C₁)进行二重积分得到概率
• 偏积分：对fX₁,X₂|Y(x₁,x₂|C₁)"偏积分"得到条件边缘概率密度 fX₁|Y(x₁|C₁) 或 fX₂|Y(x₂|C₁)
• 条件概率密度：给定类别C₁，花萼长度x₁和宽度x₂的联合分布
• 二重积分：对fX₁,X₂|Y(x₁,x₂|C₁)进行二重积分得到概率
• 偏积分：对fX₁,X₂|Y(x₁,x₂|C₁)"偏积分"得到条件边缘概率密度 fX₁|Y(x₁|C₁) 或 fX₂|Y(x₂|C₁)
📊 三个类别的似然概率曲面
图1：C₁ (Setosa)
• 花萼长度：较短
• 花萼宽度：较宽
• 峰值位置明显
• 与其他类别分离
• 花萼宽度：较宽
• 峰值位置明显
• 与其他类别分离
图2：C₂ (Versicolor)
• 花萼长度：中等
• 花萼宽度：中等
• 峰值在中间区域
• 与C₃有重叠
• 花萼宽度：中等
• 峰值在中间区域
• 与C₃有重叠
图3：C₃ (Virginica)
• 花萼长度：较长
• 花萼宽度：中等
• Volume = 1 标注
• 与C₂有重叠
• 花萼宽度：中等
• Volume = 1 标注
• 与C₂有重叠
📐 数学性质总结：
• 每个类别的似然概率曲面都满足：∬ fX₁,X₂|Y(x₁,x₂|Ck) dx₁dx₂ = 1
• 曲面高度反映在该位置观测到数据的可能性
• 三个曲面的峰值位置不同，反映了三个类别在特征空间中的分布差异
• 每个类别的似然概率曲面都满足：∬ fX₁,X₂|Y(x₁,x₂|Ck) dx₁dx₂ = 1
• 曲面高度反映在该位置观测到数据的可能性
• 三个曲面的峰值位置不同，反映了三个类别在特征空间中的分布差异
🗺️ 图4：比较三个似然概率曲面（平面等高线）
图4比较 fX₁,X₂|Y(x₁,x₂|C₁)、fX₁,X₂|Y(x₁,x₂|C₂)、fX₁,X₂|Y(x₁,x₂|C₃) 三个似然概率平面等高线。
等高线的意义
• 将3D曲面投影到平面
• 每条等高线代表相同高度
• 密集区域概率密度高
• 便于观察分布重叠
• 每条等高线代表相同高度
• 密集区域概率密度高
• 便于观察分布重叠
三类对比观察
• C₁在左上角（短且宽）
• C₂在中间区域
• C₃在右侧（长且中等）
• C₂和C₃有重叠区域
• C₂在中间区域
• C₃在右侧（长且中等）
• C₂和C₃有重叠区域
🔍 关键观察：
通过等高线可以清楚地看到三个类别在二维特征空间中的分布情况。 C₁与C₂、C₃分离较好，而C₂和C₃之间有一定重叠，这为后续分类决策提供了直观的几何解释。
通过等高线可以清楚地看到三个类别在二维特征空间中的分布情况。 C₁与C₂、C₃分离较好，而C₂和C₃之间有一定重叠，这为后续分类决策提供了直观的几何解释。
📖
回顾与链接
本书第6章还给出过条件概率 fX₁,X₂|Y(x₁,x₂|y=C₁) 平面等高线和条件边缘概率密度曲线， 请大家回顾。
知识串联：
• 第6章：条件概率的基础概念
• 第17章：KDE方法原理
• 第18章：一维贝叶斯分类
• 第19章：二维贝叶斯分类（升维）
• 第6章：条件概率的基础概念
• 第17章：KDE方法原理
• 第18章：一维贝叶斯分类
• 第19章：二维贝叶斯分类（升维）
🔗 贝叶斯定理连接
本章计算先验概率的方式和上一章完全一致，请大家回顾。 然后利用贝叶斯定理，根据似然概率和先验概率就可以计算联合概率和证据因子。
后验概率 = (似然概率 × 先验概率) / 证据因子
fY|X₁,X₂(Ck|x₁,x₂) = [fX₁,X₂|Y(x₁,x₂|Ck) · pY(Ck)] / fX₁,X₂(x₁,x₂)
第18章（一维）
fY|X(Ck|x)
fY|X(Ck|x)
第19章（二维）
fY|X₁,X₂(Ck|x₁,x₂)
fY|X₁,X₂(Ck|x₁,x₂)
🎯 19.1 关键要点
二维KDE
• 两个特征：x₁和x₂
• 高斯核密度估计
• 3D曲面可视化
• 体积为1
• 高斯核密度估计
• 3D曲面可视化
• 体积为1
三类对比
• C₁、C₂、C₃曲面
• 平面等高线投影
• 分布区域差异
• 重叠与分离
• 平面等高线投影
• 分布区域差异
• 重叠与分离
💡 核心洞察
• 图1-3：三个似然概率3D曲面，展示各类别在二维特征空间的分布
• 图4：平面等高线对比，直观展示三类区域重叠情况
• 升维：从一维到二维，从曲线到曲面，从平面到三维空间
• 体积=1：每个似然概率曲面与水平面包裹的几何体体积为1
• 偏积分：可得到条件边缘概率密度
• 下一节：将讨论联合概率曲面
• 图4：平面等高线对比，直观展示三类区域重叠情况
• 升维：从一维到二维，从曲线到曲面，从平面到三维空间
• 体积=1：每个似然概率曲面与水平面包裹的几何体体积为1
• 偏积分：可得到条件边缘概率密度
• 下一节：将讨论联合概率曲面
✦
19.2
联合概率：可以作为分类标准
Joint Probability: Classification Criterion
联合概率 fX₁,X₂,Y(x₁,x₂,Ck)描述三个事件 X₁=x₁、X₂=x₂、Y=Ck同时发生的可能性。
根据贝叶斯定理，联合概率可以通过似然概率和先验概率相乘得到。
🎯 联合概率：可以作为分类标准
Joint Probability: Classification Criterion
选择类别
视图模式
带宽 h
视角
📐 公式1：联合概率计算
fX₁,X₂,Y(x₁,x₂,Ck) = fX₁,X₂|Y(x₁,x₂|Ck) · pY(Ck)
Joint = Likelihood × Prior
先验概率 pY(Ck) = 1/3，在公式中仅仅起到缩放作用。
联合概率曲面的体积 = pY(Ck) = 1/3
联合概率曲面的体积 = pY(Ck) = 1/3
图5：联合概率 PDF 曲面 fX₁,X₂,Y(x₁,x₂,C1)
🎯 联合概率特性
• 三个事件同时发生的可能性
• Joint = Likelihood × Prior
• 体积 = pY(Ck) = 1/3
• 先验仅起缩放作用
• 可作为分类标准
• Joint = Likelihood × Prior
• 体积 = pY(Ck) = 1/3
• 先验仅起缩放作用
• 可作为分类标准
📊 分类依据
• 比较三个联合概率曲面高度
• 高度最大的类别为预测结果
• 等价于比较后验概率
• 无需计算证据因子
• 简化分类过程
• 高度最大的类别为预测结果
• 等价于比较后验概率
• 无需计算证据因子
• 简化分类过程
📏 先验概率的缩放作用
对于鸢尾花分类问题，Y为离散随机变量， 而先验概率 pY(Ck) 本身为概率质量函数， pY(Ck) 在公式1中仅仅起到缩放作用。
从似然到联合
• 似然曲面体积 = 1
• 乘以先验概率 1/3
• 联合曲面体积 = 1/3
• 仅高度缩放，形状不变
• 乘以先验概率 1/3
• 联合曲面体积 = 1/3
• 仅高度缩放，形状不变
体积意义
• 似然：∬ f dx₁dx₂ = 1
• 联合：∬ f dx₁dx₂ = 1/3
• 体积 = 先验概率
• 三个联合体积之和 = 1
• 联合：∬ f dx₁dx₂ = 1/3
• 体积 = 先验概率
• 三个联合体积之和 = 1
💡 关键理解：
联合概率曲面和水平面包裹的几何体的体积为 pY(Ck) = 1/3。 这是因为先验概率对似然概率曲面进行了统一的缩放， 使得体积从1变为先验概率值。
联合概率曲面和水平面包裹的几何体的体积为 pY(Ck) = 1/3。 这是因为先验概率对似然概率曲面进行了统一的缩放， 使得体积从1变为先验概率值。
🎲 三个联合概率曲面
图5：C₁联合概率
• fX₁,X₂,Y(x₁,x₂,C₁)
• 体积 = pY(C₁) = 1/3
• Setosa的分布
• 峰值在左上区域
• 体积 = pY(C₁) = 1/3
• Setosa的分布
• 峰值在左上区域
图6：C₂联合概率
• fX₁,X₂,Y(x₁,x₂,C₂)
• 体积 = pY(C₂) = 1/3
• Versicolor的分布
• 峰值在中间区域
• 体积 = pY(C₂) = 1/3
• Versicolor的分布
• 峰值在中间区域
图7：C₃联合概率
• fX₁,X₂,Y(x₁,x₂,C₃)
• 体积 = pY(C₃) = 1/3
• Virginica的分布
• 峰值在右侧区域
• 体积 = pY(C₃) = 1/3
• Virginica的分布
• 峰值在右侧区域
📊 数学验证：
三个联合概率曲面的体积之和：1/3 + 1/3 + 1/3 = 1
这验证了全概率定理：所有互不相容事件的联合概率之和等于1
三个联合概率曲面的体积之和：1/3 + 1/3 + 1/3 = 1
这验证了全概率定理：所有互不相容事件的联合概率之和等于1
🎯 联合概率作为分类标准
上一章介绍过，比较三个联合概率曲面高度可以用作鸢尾花分类预测的依据。
分类规则
给定观测点(x₁, x₂)，计算：
• fX₁,X₂,Y(x₁,x₂,C₁)
• fX₁,X₂,Y(x₁,x₂,C₂)
• fX₁,X₂,Y(x₁,x₂,C₃)
预测类别 = argmaxk fX₁,X₂,Y(x₁,x₂,Ck)
• fX₁,X₂,Y(x₁,x₂,C₁)
• fX₁,X₂,Y(x₁,x₂,C₂)
• fX₁,X₂,Y(x₁,x₂,C₃)
预测类别 = argmaxk fX₁,X₂,Y(x₁,x₂,Ck)
为什么可行？
• 后验 ∝ 联合 / 证据
• 证据因子对所有类相同
• 比较联合 ≡ 比较后验
• 无需计算证据因子
• 简化计算过程
• 证据因子对所有类相同
• 比较联合 ≡ 比较后验
• 无需计算证据因子
• 简化计算过程
🔔 重要结论：
联合概率可以直接用作分类标准，无需计算后验概率。 这是因为在比较不同类别时，证据因子（分母）是相同的， 因此argmax后验概率 = argmax联合概率。
联合概率可以直接用作分类标准，无需计算后验概率。 这是因为在比较不同类别时，证据因子（分母）是相同的， 因此argmax后验概率 = argmax联合概率。
🔄 与第18章的对比
| 维度 | 第18章（一维） | 第19章（二维） |
|---|---|---|
| 特征 | x (花萼长度) | (x₁, x₂) 长度+宽度 |
| 似然 | fX|Y(x|Ck) 曲线 | fX₁,X₂|Y(x₁,x₂|Ck) 曲面 |
| 联合 | fX,Y(x,Ck) 曲线 | fX₁,X₂,Y(x₁,x₂,Ck) 曲面 |
| 积分 | 一重积分 | 二重积分 |
| 面积/体积 | 面积 = 1/3 | 体积 = 1/3 |
核心规律：无论是一维还是二维， 联合概率都是似然概率与先验概率的乘积， 都可以作为分类标准，数学原理完全一致。
🎯 19.2 关键要点
联合概率计算
• Joint = Likelihood × Prior
• 公式1的应用
• 缩放作用明显
• 体积 = 1/3
• 公式1的应用
• 缩放作用明显
• 体积 = 1/3
分类标准
• 比较三个曲面高度
• 无需计算证据因子
• 等价于比较后验
• 简化分类过程
• 无需计算证据因子
• 等价于比较后验
• 简化分类过程
💡 核心洞察
• 图5-7：三个联合概率3D曲面，体积都是1/3
• 公式1：Joint = Likelihood × Prior，先验仅起缩放作用
• 分类依据：比较联合概率曲面高度即可分类
• 体积验证：三个曲面体积之和 = 1/3 + 1/3 + 1/3 = 1
• 升维一致性：一维到二维，数学原理完全相同
• 下一节：将讨论证据因子
• 公式1：Joint = Likelihood × Prior，先验仅起缩放作用
• 分类依据：比较联合概率曲面高度即可分类
• 体积验证：三个曲面体积之和 = 1/3 + 1/3 + 1/3 = 1
• 升维一致性：一维到二维，数学原理完全相同
• 下一节：将讨论证据因子
✦
19.3
证据因子：和分类无关
Evidence Factor: Independent of Classification
证据因子 fX₁,X₂(x₁,x₂)描述样本数据的分布情况，和分类无关。
C₁、C₂、C₃为一组不相容分类，对鸢尾花数据样本空间Ω形成分割。 根据全概率定理，证据因子可以通过联合概率求和得到。
🔍 证据因子：和分类无关
Evidence Factor: Independent of Classification
视图模式
带宽 h
视角
显示控制
📐 公式2-3：证据因子计算（全概率定理）
fX₁,X₂(x₁,x₂) = Σk=13 fX₁,X₂,Y(x₁,x₂,Ck)
= fX₁,X₂,Y(x₁,x₂,C₁) + fX₁,X₂,Y(x₁,x₂,C₂) + fX₁,X₂,Y(x₁,x₂,C₃)
证据因子 = 三个联合概率之和
• C₁、C₂、C₃为不相容分类，对样本空间Ω形成分割
• 根据全概率定理，证据因子等于所有联合概率之和
• 体积验证：1/3 + 1/3 + 1/3 = 1
• 证据因子与分类无关，描述样本数据的整体分布
• 根据全概率定理，证据因子等于所有联合概率之和
• 体积验证：1/3 + 1/3 + 1/3 = 1
• 证据因子与分类无关，描述样本数据的整体分布
图8：叠加联合概率曲面，估算证据因子
三个联合概率曲面
证据因子（叠加结果）
左侧：三个联合概率曲面（体积各为1/3）→ 右侧：证据因子（体积为1）
🔍 证据因子特性
• 描述样本数据整体分布
• 与分类无关（所有类别共享）
• 全概率定理：Σ联合概率
• 体积 = 1
• 起归一化作用
• 与分类无关（所有类别共享）
• 全概率定理：Σ联合概率
• 体积 = 1
• 起归一化作用
📊 叠加过程
• 三个联合概率曲面
• 垂直叠加求和
• 1/3 + 1/3 + 1/3 = 1
• 形成证据因子曲面
• 良好描述数据分布
• 垂直叠加求和
• 1/3 + 1/3 + 1/3 = 1
• 形成证据因子曲面
• 良好描述数据分布
📐 全概率定理的应用
C₁、C₂、C₃为一组不相容分类，对鸢尾花数据样本空间Ω形成分割。 根据全概率定理，下式成立：
fX₁,X₂(x₁,x₂) = Σk=13 fX₁,X₂,Y(x₁,x₂,Ck)
公式2：全概率定理形式
把公式2展开来写，证据因子可以通过下式计算得到：
fX₁,X₂(x₁,x₂) = fX₁,X₂,Y(x₁,x₂,C₁) + fX₁,X₂,Y(x₁,x₂,C₂) + fX₁,X₂,Y(x₁,x₂,C₃)
= fX₁,X₂|Y(x₁,x₂|C₁)·pY(C₁) + fX₁,X₂|Y(x₁,x₂|C₂)·pY(C₂) + fX₁,X₂|Y(x₁,x₂|C₃)·pY(C₃)
公式3：证据因子的展开式
💡 理解：
• 证据因子是三个联合概率的和
• 每个联合概率 = 似然 × 先验
• 三个联合概率体积：1/3 + 1/3 + 1/3 = 1
• 因此证据因子的体积也是1
• 证据因子是三个联合概率的和
• 每个联合概率 = 似然 × 先验
• 三个联合概率体积：1/3 + 1/3 + 1/3 = 1
• 因此证据因子的体积也是1
🔄 图8：叠加联合概率曲面，估算证据因子
图8所示为叠加联合概率PDF曲面，计算证据因子PDF的过程。
左侧：三个联合概率
• fX₁,X₂,Y(x₁,x₂,C₁)
• fX₁,X₂,Y(x₁,x₂,C₂)
• fX₁,X₂,Y(x₁,x₂,C₃)
• 体积分别为 pY(C₁)、pY(C₂)、pY(C₃)
• 三者之和为 1
• fX₁,X₂,Y(x₁,x₂,C₂)
• fX₁,X₂,Y(x₁,x₂,C₃)
• 体积分别为 pY(C₁)、pY(C₂)、pY(C₃)
• 三者之和为 1
右侧：证据因子
• fX₁,X₂(x₁,x₂)
• 三个曲面垂直叠加
• 逐点相加求和
• 体积 = 1
• 与分类无关
• 三个曲面垂直叠加
• 逐点相加求和
• 体积 = 1
• 与分类无关
🎯 关键过程：
图8左侧三个几何体的体积分别为 pY(C₁)、pY(C₂)、pY(C₃)。 显然 pY(C₁) + pY(C₂) + pY(C₃) = 1/3 + 1/3 + 1/3 = 1。 将这三个曲面叠加（逐点相加），就得到右侧的证据因子曲面。
图8左侧三个几何体的体积分别为 pY(C₁)、pY(C₂)、pY(C₃)。 显然 pY(C₁) + pY(C₂) + pY(C₃) = 1/3 + 1/3 + 1/3 = 1。 将这三个曲面叠加（逐点相加），就得到右侧的证据因子曲面。
🗺️ 图9：证据因子曲面及平面等高线
图9所示为 fX₁,X₂(x₁,x₂) 的曲面和平面等高线图。 可以发现 fX₁,X₂(x₁,x₂) 较好地描述了样本数据分布。
3D曲面特性
• 描述所有数据分布
• 不区分类别
• 体积 = 1
• 峰值在数据密集区
• 综合三类信息
• 不区分类别
• 体积 = 1
• 峰值在数据密集区
• 综合三类信息
等高线意义
• 平面投影
• 展示数据密度
• 等高线密集处概率高
• 覆盖所有150个样本
• 边缘PDF的二维形式
• 展示数据密度
• 等高线密集处概率高
• 覆盖所有150个样本
• 边缘PDF的二维形式
📊 数据分布描述：
证据因子 fX₁,X₂(x₁,x₂) 是边缘PDF， 它综合了所有150个鸢尾花样本（不分类别）在二维特征空间(x₁, x₂)中的分布情况。 从图9可以看出，数据主要分布在花萼长度4.5-7.5cm、花萼宽度2-4cm的区域。
证据因子 fX₁,X₂(x₁,x₂) 是边缘PDF， 它综合了所有150个鸢尾花样本（不分类别）在二维特征空间(x₁, x₂)中的分布情况。 从图9可以看出，数据主要分布在花萼长度4.5-7.5cm、花萼宽度2-4cm的区域。
🔍 为什么与分类无关？
定义角度
• 证据因子是边缘PDF
• fX₁,X₂(x₁,x₂) 只关心(x₁,x₂)
• 不涉及类别变量Y
• 描述X的整体分布
• 对所有类别都相同
• fX₁,X₂(x₁,x₂) 只关心(x₁,x₂)
• 不涉及类别变量Y
• 描述X的整体分布
• 对所有类别都相同
计算角度
• 是所有联合概率之和
• 包含所有类别信息
• 在分类时作为分母
• 对所有类别是常数
• 因此可以约掉
• 包含所有类别信息
• 在分类时作为分母
• 对所有类别是常数
• 因此可以约掉
🔔 贝叶斯分类中的作用：
在计算后验概率时，证据因子作为分母：
Posterior = Joint / Evidence
在比较不同类别时，证据因子对所有类别都相同，因此：
argmaxk Posterior = argmaxk Joint
这就是为什么我们可以直接比较联合概率进行分类，无需计算证据因子。
在计算后验概率时，证据因子作为分母：
Posterior = Joint / Evidence
在比较不同类别时，证据因子对所有类别都相同，因此：
argmaxk Posterior = argmaxk Joint
这就是为什么我们可以直接比较联合概率进行分类，无需计算证据因子。
🔄 与第18章的对比
| 项目 | 第18章（一维） | 第19章（二维） |
|---|---|---|
| 证据因子 | fX(x) 曲线 | fX₁,X₂(x₁,x₂) 曲面 |
| 计算方法 | Σ三个联合概率曲线 | Σ三个联合概率曲面 |
| 积分 | 一重积分 = 1 | 二重积分 = 1 |
| 作用 | 归一化，与分类无关 | 归一化，与分类无关 |
一致性原理：无论一维还是二维， 证据因子都是通过全概率定理从联合概率求和得到， 都与分类无关，都起归一化作用，数学原理完全一致。
🎯 19.3 关键要点
证据因子计算
• 全概率定理应用
• 三个联合概率求和
• 公式2和公式3
• 体积 = 1
• 三个联合概率求和
• 公式2和公式3
• 体积 = 1
与分类无关
• 边缘PDF
• 不涉及类别变量
• 对所有类别相同
• 分类时可约掉
• 不涉及类别变量
• 对所有类别相同
• 分类时可约掉
💡 核心洞察
• 图8：叠加过程，三个联合曲面（左）→ 证据因子（右）
• 图9：证据因子3D曲面和平面等高线，良好描述数据分布
• 公式2-3：全概率定理的完整展开
• 体积验证：1/3 + 1/3 + 1/3 = 1
• 独立性：与分类无关，仅描述数据整体分布
• 归一化作用：在后验概率计算中作为分母
• 下一节：将讨论后验概率
• 图9：证据因子3D曲面和平面等高线，良好描述数据分布
• 公式2-3：全概率定理的完整展开
• 体积验证：1/3 + 1/3 + 1/3 = 1
• 独立性：与分类无关，仅描述数据整体分布
• 归一化作用：在后验概率计算中作为分母
• 下一节：将讨论后验概率
✦
19.4
后验概率：也是分类的依据
Posterior Probability: Classification Criterion
fY|X₁,X₂(Ck|x₁,x₂)作为条件概率，指的是在 X₁=x₁ 和 X₂=x₂ 发生条件下，事件 Y=Ck 发生的概率。
上一章提到，fY|X₁,X₂(Ck|x₁,x₂) 本身为概率， 取值范围为 [0, 1]；因此，后验概率又叫成员值。
🎯 后验概率：分类的依据
Posterior Probability: Classification Criterion
选择类别
视图模式
带宽 h
视角
📐 公式4-5：后验概率
fY|X₁,X₂(Ck|x₁,x₂) = fX₁,X₂,Y(x₁,x₂,Ck) / fX₁,X₂(x₁,x₂)
公式4：贝叶斯定理
Σk=13 fY|X₁,X₂(Ck|x₁,x₂) = 1
公式5：后验概率之和为1
• 后验概率是条件概率，取值范围 [0, 1]
• 也叫成员值 (membership score)
• 三个后验概率之和恒等于1
• 后验 = 联合 / 证据 = (似然 × 先验) / 证据
• 也叫成员值 (membership score)
• 三个后验概率之和恒等于1
• 后验 = 联合 / 证据 = (似然 × 先验) / 证据
图10：后验概率 fY|X₁,X₂(C1|x₁,x₂) 曲面
🎯 后验概率特性
• 条件概率，取值[0,1]
• 成员值 (membership score)
• Posterior = Joint / Evidence
• 三个后验之和 = 1
• 分类的直接依据
• 成员值 (membership score)
• Posterior = Joint / Evidence
• 三个后验之和 = 1
• 分类的直接依据
📊 决策边界
• 两类后验概率相等的位置
• 分类切换的临界线
• 将平面分为三个区域
• 每个区域对应一个类别
• argmax Posterior
• 分类切换的临界线
• 将平面分为三个区域
• 每个区域对应一个类别
• argmax Posterior
📊 后验概率的特性
根据贝叶斯定理，当 fX₁,X₂(x₁,x₂) > 0 时， 后验概率 fY|X₁,X₂(Ck|x₁,x₂) 可以根据下式计算得到：
fY|X₁,X₂(Ck|x₁,x₂) = fX₁,X₂,Y(x₁,x₂,Ck) / fX₁,X₂(x₁,x₂)
公式4：贝叶斯定理计算后验概率
条件概率
• 给定(x₁,x₂)条件下的概率
• 取值范围 [0, 1]
• 不是PDF，是真正的概率
• 成员值 (membership score)
• 取值范围 [0, 1]
• 不是PDF，是真正的概率
• 成员值 (membership score)
计算方法
• Posterior = Joint / Evidence
• = (Likelihood × Prior) / Evidence
• 分子：联合概率
• 分母：证据因子（归一化）
• = (Likelihood × Prior) / Evidence
• 分子：联合概率
• 分母：证据因子（归一化）
💡 关键理解：
后验概率是在给定观测值(x₁,x₂)条件下，样本属于类别Ck的概率。 它综合了先验知识（先验概率）和观测数据（似然概率）， 通过贝叶斯定理得到最终的分类依据。
后验概率是在给定观测值(x₁,x₂)条件下，样本属于类别Ck的概率。 它综合了先验知识（先验概率）和观测数据（似然概率）， 通过贝叶斯定理得到最终的分类依据。
🎲 图10-12：三个后验概率曲面
图10：C₁后验概率
• fY|X₁,X₂(C₁|x₁,x₂)
• Setosa的成员值
• 取值 [0, 1]
• 左上区域值高
• Setosa的成员值
• 取值 [0, 1]
• 左上区域值高
图11：C₂后验概率
• fY|X₁,X₂(C₂|x₁,x₂)
• Versicolor的成员值
• 取值 [0, 1]
• 中间区域值高
• Versicolor的成员值
• 取值 [0, 1]
• 中间区域值高
图12：C₃后验概率
• fY|X₁,X₂(C₃|x₁,x₂)
• Virginica的成员值
• 取值 [0, 1]
• 右侧区域值高
• Virginica的成员值
• 取值 [0, 1]
• 右侧区域值高
📐 曲面特性：
• 每个后验概率曲面展示一个类别的成员值在二维特征空间的分布
• 曲面高度表示概率值，范围 [0, 1]
• 在该类别数据密集区域，后验概率接近1
• 在其他类别区域，后验概率接近0
• 每个后验概率曲面展示一个类别的成员值在二维特征空间的分布
• 曲面高度表示概率值，范围 [0, 1]
• 在该类别数据密集区域，后验概率接近1
• 在其他类别区域，后验概率接近0
📐 公式5：后验概率之和为1
上一章提到，后验概率（成员值）存在以下关系：
Σk=13 fY|X₁,X₂(Ck|x₁,x₂) = 1
公式5：三个后验概率之和恒等于1
这意味着，图10、图11、图12三幅图曲面叠加在一起得到高度为1的"平台"。
数学意义
• 三个后验概率互补
• 在任意点(x₁,x₂)处
• P(C₁)+P(C₂)+P(C₃)=1
• 完整的概率分配
• 在任意点(x₁,x₂)处
• P(C₁)+P(C₂)+P(C₃)=1
• 完整的概率分配
几何意义
• 三个曲面垂直叠加
• 每点高度和为1
• 形成平坦平台
• 归一化的体现
• 每点高度和为1
• 形成平坦平台
• 归一化的体现
🔔 重要性质：
这个性质保证了后验概率是完整的概率分配， 对于任意观测点(x₁,x₂)，样本必然属于三个类别之一， 三个类别的成员值之和必然为1。这是概率论的基本要求。
这个性质保证了后验概率是完整的概率分配， 对于任意观测点(x₁,x₂)，样本必然属于三个类别之一， 三个类别的成员值之和必然为1。这是概率论的基本要求。
📊 图13：比较三个后验概率曲面
在给定任意花萼长度 x₁ 和花萼宽度 x₂ 的条件下， 比较图13所示三个后验概率 fY|X₁,X₂(C₁|x₁,x₂)、fY|X₁,X₂(C₂|x₁,x₂)、fY|X₁,X₂(C₃|x₁,x₂) 大小，最大后验概率对应的标签就可以作为鸢尾花分类依据。
平面等高线对比
• 三个子图并排展示
• (a) C₁ 后验概率
• (b) C₂ 后验概率
• (c) C₃ 后验概率
• 填充等高线显示分布
• (a) C₁ 后验概率
• (b) C₂ 后验概率
• (c) C₃ 后验概率
• 填充等高线显示分布
分类规则
• 计算三个后验概率
• 找出最大值
• 最大值对应的类别
• 即为预测结果
• argmax Posterior
• 找出最大值
• 最大值对应的类别
• 即为预测结果
• argmax Posterior
💡 直观理解：
通过对比三个等高线图，可以清楚地看到每个类别在特征空间中的"势力范围"。 在某个区域，如果某个类别的后验概率明显高于其他两个， 那么该区域的样本就应该被分类为该类别。
通过对比三个等高线图，可以清楚地看到每个类别在特征空间中的"势力范围"。 在某个区域，如果某个类别的后验概率明显高于其他两个， 那么该区域的样本就应该被分类为该类别。
🎯 优化目标：最大化后验概率
也就是说，这个分类问题对应的优化目标为最大化后验概率，即：
ŷ = argmaxk fY|X₁,X₂(Ck|x₁,x₂)
其中，k = 1, 2, ..., K。对于鸢尾花三分类问题，K = 3。
根据 后验 ∝ 似然 × 先验，我们也可以最大化"似然 × 先验"：
ŷ = argmaxk [fX₁,X₂|Y(x₁,x₂|Ck) · pY(Ck)]
等价形式：最大化联合概率
🔔 两种等价方式：
• 方式1：最大化后验概率（需要计算证据因子）
• 方式2：最大化联合概率（无需计算证据因子）
• 由于证据因子对所有类别相同，两种方式结果一致
• 实践中通常使用方式2，因为计算更简单
• 方式1：最大化后验概率（需要计算证据因子）
• 方式2：最大化联合概率（无需计算证据因子）
• 由于证据因子对所有类别相同，两种方式结果一致
• 实践中通常使用方式2，因为计算更简单
🗺️ 图14：朴素贝叶斯决策边界
图14这幅图中曲线就是所谓决策边界 (decision boundary)， 决策边界将平面划分成三个区域，每个区域对应一类鸢尾花标签。
决策边界定义
• 两类后验概率相等的位置
• 分类切换的临界线
• 非线性边界
• 基于KDE估计
• 数据驱动的边界
• 分类切换的临界线
• 非线性边界
• 基于KDE估计
• 数据驱动的边界
三个分类区域
• C₁区域：左上，Setosa
• C₂区域：中间，Versicolor
• C₃区域：右侧，Virginica
• 区域内：该类后验概率最大
• 边界上：两类后验概率相等
• C₂区域：中间，Versicolor
• C₃区域：右侧，Virginica
• 区域内：该类后验概率最大
• 边界上：两类后验概率相等
📚 知识延伸：
《机器学习》一册将探讨更多分类算法，包括： 线性判别分析(LDA)、逻辑回归、支持向量机(SVM)、决策树、随机森林、 神经网络等。每种算法都有其独特的决策边界形式和适用场景。
《机器学习》一册将探讨更多分类算法，包括： 线性判别分析(LDA)、逻辑回归、支持向量机(SVM)、决策树、随机森林、 神经网络等。每种算法都有其独特的决策边界形式和适用场景。
🎯 19.4 关键要点
后验概率
• 条件概率，取值[0,1]
• 成员值 (membership)
• 公式4：贝叶斯定理
• 公式5：和为1
• 成员值 (membership)
• 公式4：贝叶斯定理
• 公式5：和为1
分类依据
• argmax 后验概率
• 图13：三类对比
• 图14：决策边界
• 平面划分三区域
• 图13：三类对比
• 图14：决策边界
• 平面划分三区域
💡 核心洞察
• 图10-12：三个后验概率3D曲面，取值[0,1]
• 图13：平面等高线对比，直观展示三类势力范围
• 图14：决策边界，将平面划分为三个分类区域
• 公式4：后验 = 联合 / 证据
• 公式5：三个后验之和 = 1（完整概率分配）
• 优化目标：argmax后验 = argmax联合
• 基于KDE：非参数贝叶斯分类器
• 下一节：将讨论独立与条件独立
• 图13：平面等高线对比，直观展示三类势力范围
• 图14：决策边界，将平面划分为三个分类区域
• 公式4：后验 = 联合 / 证据
• 公式5：三个后验之和 = 1（完整概率分配）
• 优化目标：argmax后验 = argmax联合
• 基于KDE：非参数贝叶斯分类器
• 下一节：将讨论独立与条件独立
✦
19.5
独立 ≠ 条件独立
Independence vs Conditional Independence
本章最后以鸢尾花数据为例再次区分"独立"和"条件独立"这两个概念。
🔄 独立 vs 条件独立
Independence vs Conditional Independence
假设类型
带宽 h
视角
📐 公式7：独立假设
fX₁,X₂(x₁,x₂) = fX₁(x₁) · fX₂(x₂)
Joint = Marginal₁ × Marginal₂
假设 X₁ 和 X₂ 独立，联合概率可分解为两个边缘概率的乘积
图15：独立假设下的联合概率 f_{X₁,X₂}(x₁,x₂)
🔵 独立假设
• f(x₁,x₂) = f(x₁) × f(x₂)
• 边缘概率的乘积
• 不考虑类别信息
• 对鸢尾花数据贴合度差
• 图15呈现规则形状
• 边缘概率的乘积
• 不考虑类别信息
• 对鸢尾花数据贴合度差
• 图15呈现规则形状
🟣 条件独立假设
• f(x₁,x₂|Ck) = f(x₁|Ck) × f(x₂|Ck)
• 条件边缘概率的乘积
• 一个类别一个类别分析
• 对数据贴合度更好
• 朴素贝叶斯的基础
• 条件边缘概率的乘积
• 一个类别一个类别分析
• 对数据贴合度更好
• 朴素贝叶斯的基础
🔵 19.5 独立：不代表条件独立
如果假设鸢尾花花萼长度 X₁ 和花萼宽度 X₂ 两个随机变量独立， 联合概率 fX₁,X₂(x₁,x₂) 可以通过下式计算得到：
fX₁,X₂(x₁,x₂) = fX₁(x₁) · fX₂(x₂)
公式7：独立假设 - Joint = Marginal₁ × Marginal₂
图15：独立假设结果
• 联合概率 fX₁,X₂(x₁,x₂)
• 两个边缘PDF的乘积
• 3D曲面和等高线
• 呈现规则的椭圆形状
• 两个边缘PDF的乘积
• 3D曲面和等高线
• 呈现规则的椭圆形状
图16：投影分析
• 在不同平面的投影
• 相当于边缘分布缩放
• 对数据贴合度较差
• 没有捕捉真实相关性
• 相当于边缘分布缩放
• 对数据贴合度较差
• 没有捕捉真实相关性
⚠️ 重要观察：
观察图15等高线，容易发现假设 X₁ 和 X₂ 独立估算得到的联合概率 fX₁,X₂(x₁,x₂)并没有很好地描述鸢尾花数据分布。 等高线过于规则，无法反映数据的真实聚类结构。
观察图15等高线，容易发现假设 X₁ 和 X₂ 独立估算得到的联合概率 fX₁,X₂(x₁,x₂)并没有很好地描述鸢尾花数据分布。 等高线过于规则，无法反映数据的真实聚类结构。
🟣 19.6 条件独立：不代表独立
回顾本书第3章讲过的条件独立。 如果 Pr(A,B|C) = Pr(A|C) · Pr(B|C)，则称事件 A、B 对于给定事件 C 是条件独立的。 也就是说，当 C 发生条件下，A 发生与否与 B 发生与否无关。
对于鸢尾花样本数据，给定 Y=Ck 的条件下， 如果假设花萼长度 X₁、花萼宽度 X₂ 条件独立，则下式成立：
fX₁,X₂|Y(x₁,x₂|Ck) = fX₁|Y(x₁|Ck) · fX₂|Y(x₂|Ck)
公式8：条件独立假设 - 一个类别一个类别地分析数据
三个条件独立公式：
Y=C₁ 条件（公式9）
• 图17展示
• fX₁,X₂|Y(x₁,x₂|C₁)
• = fX₁|Y(x₁|C₁) · fX₂|Y(x₂|C₁)
• Setosa条件下独立
• fX₁,X₂|Y(x₁,x₂|C₁)
• = fX₁|Y(x₁|C₁) · fX₂|Y(x₂|C₁)
• Setosa条件下独立
Y=C₂ 条件（公式10）
• 图18展示
• fX₁,X₂|Y(x₁,x₂|C₂)
• = fX₁|Y(x₁|C₂) · fX₂|Y(x₂|C₂)
• Versicolor条件下独立
• fX₁,X₂|Y(x₁,x₂|C₂)
• = fX₁|Y(x₁|C₂) · fX₂|Y(x₂|C₂)
• Versicolor条件下独立
Y=C₃ 条件（公式11）
• 图19展示
• fX₁,X₂|Y(x₁,x₂|C₃)
• = fX₁|Y(x₁|C₃) · fX₂|Y(x₂|C₃)
• Virginica条件下独立
• fX₁,X₂|Y(x₁,x₂|C₃)
• = fX₁|Y(x₁|C₃) · fX₂|Y(x₂|C₃)
• Virginica条件下独立
📚 回顾第6章：
本书第6章给出过假设条件独立情况下 fX₁,X₂|Y(x₁,x₂|C₁)、 边缘似然概率 fX₁|Y(x₁|C₁)、fX₂|Y(x₂|C₁) 三者关系。 如果把 fX₁|Y(x₁|C₁)、fX₂|Y(x₂|C₁) 看做两个向量， fX₁,X₂|Y(x₁,x₂|C₁) 就是两者的张量积。
本书第6章给出过假设条件独立情况下 fX₁,X₂|Y(x₁,x₂|C₁)、 边缘似然概率 fX₁|Y(x₁|C₁)、fX₂|Y(x₂|C₁) 三者关系。 如果把 fX₁|Y(x₁|C₁)、fX₂|Y(x₂|C₁) 看做两个向量， fX₁,X₂|Y(x₁,x₂|C₁) 就是两者的张量积。
🔄 估算证据因子（条件独立假设）
假设条件独立，证据因子 fX₁,X₂(x₁,x₂) 可以通过下式计算得到：
fX₁,X₂(x₁,x₂) =
fX₁,X₂|Y(x₁,x₂|C₁) · pY(C₁) +
fX₁,X₂|Y(x₁,x₂|C₂) · pY(C₂) +
fX₁,X₂|Y(x₁,x₂|C₃) · pY(C₃)
公式12：条件独立假设下的证据因子
图20：叠加过程
• 三个条件独立似然曲面
• 加权叠加（权重=先验）
• 合成证据因子
• 多元概率密度估算方法
• 加权叠加（权重=先验）
• 合成证据因子
• 多元概率密度估算方法
图21：最终结果
• fX₁,X₂(x₁,x₂) 曲面
• 平面等高线
• 对数据贴合度更好
• 捕捉了真实分布
• 平面等高线
• 对数据贴合度更好
• 捕捉了真实分布
✅ 优势明显：
如图22所示，显然采用条件独立假设估算得到的证据因子概率密度函数 fX₁,X₂(x₁,x₂) 对样本数据分布的贴合度更高。 条件独立这一假设对于朴素贝叶斯方法至关重要。
如图22所示，显然采用条件独立假设估算得到的证据因子概率密度函数 fX₁,X₂(x₁,x₂) 对样本数据分布的贴合度更高。 条件独立这一假设对于朴素贝叶斯方法至关重要。
📊 独立 vs 条件独立对比
| 项目 | 独立假设 | 条件独立假设 |
|---|---|---|
| 公式 | f(x₁,x₂) = f(x₁) · f(x₂) | f(x₁,x₂|Cₖ) = f(x₁|Cₖ) · f(x₂|Cₖ) |
| 含义 | X₁ 和 X₂ 无关 | 给定类别，X₁ 和 X₂ 无关 |
| 分析单位 | 整体数据 | 一个类别一个类别 |
| 对数据贴合 | 较差（图15） | 较好（图21） |
| 等高线形状 | 规则椭圆 | 符合聚类结构 |
| 应用 | 简单模型 | 朴素贝叶斯分类 |
核心区别：独立假设忽略了类别信息，而条件独立假设充分利用了类别标签， 能够更好地刻画每个类别内部特征之间的关系。
🎓 朴素贝叶斯分类器
条件独立这一假设对于朴素贝叶斯方法至关重要。
朴素假设
• "朴素"指条件独立假设
• 简化多维概率计算
• 降低计算复杂度
• 只需估计一维分布
• 实践中效果良好
• 简化多维概率计算
• 降低计算复杂度
• 只需估计一维分布
• 实践中效果良好
机器学习应用
• 朴素贝叶斯分类器
• 高斯朴素贝叶斯
• 多项式朴素贝叶斯
• 文本分类常用
• 《机器学习》详细介绍
• 高斯朴素贝叶斯
• 多项式朴素贝叶斯
• 文本分类常用
• 《机器学习》详细介绍
📚 知识延伸：
《机器学习》一册将分别介绍朴素贝叶斯分类和高斯朴素贝叶斯分类。 这些方法都基于条件独立假设，在实际应用中非常高效且效果出色。
《机器学习》一册将分别介绍朴素贝叶斯分类和高斯朴素贝叶斯分类。 这些方法都基于条件独立假设，在实际应用中非常高效且效果出色。
🎯 19.5-19.6 关键要点
独立假设
• 公式7：f(x₁,x₂)=f(x₁)·f(x₂)
• 图15-16展示
• 对数据贴合差
• 不代表条件独立
• 图15-16展示
• 对数据贴合差
• 不代表条件独立
条件独立假设
• 公式8-11：分类别分析
• 图17-21展示
• 对数据贴合好
• 朴素贝叶斯基础
• 图17-21展示
• 对数据贴合好
• 朴素贝叶斯基础
💡 核心洞察
• 独立≠条件独立：两个完全不同的概念
• 图15：独立假设，等高线规则但贴合差
• 图17-19：三个条件独立似然曲面，分类别建模
• 图20-21：条件独立下的证据因子，贴合度高
• 公式12：多元概率密度估算的实用方法
• 朴素贝叶斯：条件独立假设的经典应用
• 张量积：条件边缘概率的几何理解
• 图15：独立假设，等高线规则但贴合差
• 图17-19：三个条件独立似然曲面，分类别建模
• 图20-21：条件独立下的证据因子，贴合度高
• 公式12：多元概率密度估算的实用方法
• 朴素贝叶斯：条件独立假设的经典应用
• 张量积：条件边缘概率的几何理解
🎓 第19章总结
二维贝叶斯分类体系
19.1 似然概率 - 图1-4，二维KDE
19.2 联合概率 - 图5-7，先验缩放
19.3 证据因子 - 图8-9，全概率定理
19.4 后验概率 - 图10-14，分类依据
19.5-19.6 - 图15-21，独立vs条件独立
核心公式汇总
公式1：Joint = Likelihood × Prior
公式2-3：Evidence = Σ Joint
公式4：Posterior = Joint / Evidence
公式5：Σ Posterior = 1
公式7：独立假设
公式8-11：条件独立假设
公式12：条件独立下证据因子
从第18章到第19章：升维之旅
从一维特征到二维特征， 从曲线到曲面， 从2D图到3D图， 完整实现了贝叶斯分类器的二维版本。 所有概念、公式、图表完全活起来！