📖 本章概要
高斯判别分析（GDA）假设似然概率服从多元高斯分布，是一种监督学习分类算法。
10.1 又见高斯
原理、优化目标
10.2 六类协方差矩阵
根据Σk分类
10.3-10.6 LDA与QDA
线性与二次判别
10.1
又见高斯
原理与优化目标
高斯判别分析（GDA）假设似然概率服从多元高斯分布。 与朴素贝叶斯不同，GDA的优化目标是最小化错误分类。
💡 优化目标
• 预测分类：ŷ = arg minCm Σk c(Cm|Ck) · f(Ck|x)
• 惩罚因子：c(Cm|Ck) = 1 当m≠k（错误分类），= 0 当m=k（正确分类）
• 核心思路：最小化错误分类，而非最大化后验概率
💡 10.1节小结
• 多元高斯分布：f(x|Ck) = N(μk, Σk)
• 贝叶斯定理：后验 = 似然 × 先验 / 证据
• 优化方向：最小化分类错误
• 与朴素贝叶斯区别：不假设特征条件独立
✦
10.2
六类协方差矩阵
根据Σk特点分类
根据协方差矩阵Σk的特点，高斯判别分析可分为六类。 前三类Σ1 = Σ2，决策边界为直线（LDA）； 后三类Σ1 ≠ Σ2，决策边界为二次曲线（QDA）。
六类GDA对比
| 类别 | Σk特点 | 等高线形状 | 决策边界 |
|---|---|---|---|
| I（第一类） | Σ₁ = Σ₂ = σ²I，对角阵，特征方差相同 | 正圆，形状相同 | 直线 |
| II（第二类） | Σ₁ = Σ₂，对角阵，特征方差不同 | 正椭圆，形状相同 | 直线 |
| III（第三类） | Σ₁ = Σ₂，非对角阵 | 任意椭圆，形状相同 | 直线 |
| IV（第四类） | Σ₁ ≠ Σ₂，对角阵，类内特征方差相同 | 正圆，大小不同 | 二次曲线 |
| V（第五类） | Σ₁ ≠ Σ₂，对角阵（高斯朴素贝叶斯） | 正椭圆，大小不同 | 二次曲线 |
| VI（第六类） | Σ₁ ≠ Σ₂，无限制 | 任意椭圆，大小不同 | 圆锥曲线 |
六类GDA椭圆形状与决策边界对比
协方差矩阵热图与椭圆形状对应关系
参数交互探索器
决策边界形态展示（图4）
💡 10.2节小结
• LDA（I-III）：Σ₁ = Σ₂，决策边界为直线
• QDA（IV-VI）：Σ₁ ≠ Σ₂，决策边界为二次曲线
• 高斯朴素贝叶斯：对应第五类GDA
• 关键区别：协方差矩阵决定椭圆形状和决策边界
✦
10.3
决策边界解析解
判别函数推导与决策边界形式
本节推导判别函数gk(x)和决策边界解析解的一般形式。 通过取对数简化多元高斯分布，得到决策边界方程。
判别函数推导（6步动画）
💡 10.3节小结
• 判别函数：gk(x) = ln[p(Ck) · f(x|Ck)]
• 取对数作用：乘法→加法，去除exp()，简化计算
• 决策边界：g₁(x) = g₂(x)的点集
• LDA特例：Σ₁ = Σ₂时，二次项消去，边界为直线
• QDA一般：Σ₁ ≠ Σ₂时，保留二次项，边界为圆锥曲线
✦
10.4+
LDA与QDA实例
线性与二次判别分析详解
通过具体实例深入理解线性判别分析（LDA）和二次判别分析（QDA）的原理、决策边界推导和几何意义。
第一类LDA：公式推导与实时交互可视化
补充：3D曲面对比（图5-6）
💡 10.4节小结
• 第一类LDA：Σ = σ²I，正圆等高线，直线边界
• 关键：协方差矩阵为单位阵的倍数
• 决策边界：法向量w = μ₂ - μ₁
• 几何意义：p(C₁)=p(C₂)时为中垂线
✦
10.5
第二类LDA
正椭圆等高线，直线决策边界
第二类高斯判别分析，Σk相等且为对角阵（协方差矩阵除主对角线外，其他元素为0，即特征条件独立）； 但是，主对角线元素不相等（σ₁ ≠ σ₂）。
第二类LDA：公式推导与实时交互可视化（图7-8）
第二类LDA核心特点
📐 协方差矩阵
• Σ₁ = Σ₂ = [σ₁² 0; 0 σ₂²]
• 对角阵：特征条件独立
• σ₁ ≠ σ₂：特征方差不同
• 等高线：正椭圆（轴对齐）
📏 决策边界
• 形态：直线（Σ₁ = Σ₂）
• 法向量：w = [(μ₂₁-μ₁₁)/σ₁²; (μ₂₂-μ₁₂)/σ₂²]
• 权重：被方差加权
• 方向：不同于质心连线
🔍 与第一类对比
• 第一类：σ₁ = σ₂ → 圆形
• 第二类：σ₁ ≠ σ₂ → 椭圆
• 共同点：都是直线边界
• 差异：法向量计算不同
💡 应用场景
• 特征独立但重要性不同
• 例如：身高方差 > 体重方差
• 简单线性分类
• 计算效率高
💡 10.5节小结
• 协方差矩阵：Σ₁ = Σ₂，对角阵，σ₁ ≠ σ₂
• 等高线形状：正椭圆，长短轴对齐坐标轴
• 决策边界：直线，法向量被方差加权
• 关键区别：虽然椭圆长短不一，边界仍为直线（因Σ₁=Σ₂）
✦
10.6
第三类LDA
旋转椭圆等高线，直线决策边界
第三类高斯判别分析特点是，假设类别协方差矩阵Σk完全一致； 方差和条件独立不做任何限制。 即非对角阵（σ₁₂ ≠ 0），特征之间存在相关性。
第三类LDA：公式推导与实时交互可视化（图9-10）
第三类LDA核心特点
📐 协方差矩阵
• Σ₁ = Σ₂ = [σ₁₁ σ₁₂; σ₁₂ σ₂₂]
• 非对角阵：σ₁₂ ≠ 0
• 特征相关：条件不独立
• 等高线：旋转椭圆
🔄 旋转角度
• 公式：θ = ½ arctan(2σ₁₂/(σ₁₁-σ₂₂))
• σ₁₂ > 0：正相关，斜率为正
• σ₁₂ < 0：负相关，斜率为负
• σ₁₂ = 0：退化为第二类
📏 决策边界
• 形态：直线（Σ₁ = Σ₂）
• 法向量：w = Σ⁻¹(μ₂ - μ₁)
• 完整矩阵变换（非对角）
• 旋转不影响边界形态
🔍 与前两类对比
• 第一类：σ₁₂=0, σ₁=σ₂ → 圆
• 第二类：σ₁₂=0, σ₁≠σ₂ → 椭圆
• 第三类：σ₁₂≠ 0 → 旋转椭圆
• 共同点：都是直线边界
💡 10.6节小结
• 协方差矩阵：Σ₁ = Σ₂，非对角阵，σ₁₂ ≠ 0
• 等高线形状：旋转椭圆，旋转角θ = ½ arctan(2σ₁₂/(σ₁₁-σ₂₂))
• 决策边界：直线，法向量w = Σ⁻¹(μ₂-μ₁)，完整矩阵变换
• 关键洞察：虽然椭圆旋转了，边界仍为直线（因Σ₁=Σ₂）
✦
10.7
第四类 GDA（QDA）
圆形等高线，圆形决策边界
第四类高斯判别分析，Σk为对角阵（除主对角线之外元素为0）， 即类别内特征条件独立；并且，Σk各自对角线元素相同。 不同于第一类，第四类不同类别Σk不同。
第四类QDA：公式推导与实时交互可视化（图11-12）
第四类GDA（QDA）核心特点
📐 协方差矩阵
• Σ₁ = σ₁²I, Σ₂ = σ₂²I
• 对角阵：特征条件独立
• σ₁ ≠ σ₂：不同类方差不同
• 等高线：圆形（大小不同）
🔴 决策边界
• 形态：圆形（Σ₁ ≠ Σ₂）
• 方程：A(x₁²+x₂²) + Bx₁ + Cx₂ + D = 0
• A = 1/σ₁² - 1/σ₂²（二次项系数）
• σ₁ < σ₂时，围绕C₁
🔍 与LDA对比
• LDA：Σ₁ = Σ₂ → 直线边界
• QDA：Σ₁ ≠ Σ₂ → 二次边界
• 第四类：圆形等高线+圆形边界
• 二次项不消去是关键
💡 几何意义
• 圆心：由所有参数决定
• 半径：受σ₁, σ₂, p(Ck)影响
• 先验概率影响圆大小
• 小σ类被大σ类围绕
💡 10.7节小结
• 协方差矩阵：Σ₁ = σ₁²I, Σ₂ = σ₂²I，σ₁ ≠ σ₂
• 等高线形状：圆形，但两类大小不同
• 决策边界：圆形，A(x₁²+x₂²) + Bx₁ + Cx₂ + D = 0
• 关键转折：Σ₁ ≠ Σ₂ → 从直线LDA到曲线QDA
✦
10.9
第六类 GDA（QDA）
任意椭圆等高线，一般二次曲线边界
第六类高斯判别分析对Σk不做任何限制。 后验概率 PDF 等高线为任意椭圆。第六类高斯判别分析的决策边界可以是二次的：平行直线、椭圆、双曲线、抛物线等。
第六类QDA：公式推导与实时交互可视化（图15-16）
第六类GDA（QDA）核心特点
📐 协方差矩阵
• Σk完全自由，不做限制
• 可以是任意正定矩阵
• 形状、大小、旋转角均不同
• 等高线：任意椭圆
📊 决策边界
• 形态：一般二次曲线
• Ax₁² + Bx₁x₂ + Cx₂² + Dx₁ + Ex₂ + F = 0
• 判别式Δ = B² - 4AC
• Δ>0→双曲线, Δ=0→抛物线, Δ<0→椭圆
🎯 两种典型示例
• 椭圆边界：一类小椭圆+一类大椭圆
• 双曲线边界：两类相反旋转椭圆
• 通过参数可切换边界类型
• 最灵活的GDA模型
💡 与其他类对比
• 第1-3类：Σ₁=Σ₂ → 直线
• 第4类：圆形差异 → 圆
• 第6类：完全自由 → 二次曲线
• 涵盖所有GDA情形
💡 10.9节小结
• 协方差矩阵：Σk完全自由，不做任何限制
• 等高线形状：任意椭圆，形状、大小、旋转角均可不同
• 决策边界：一般二次曲线（椭圆、双曲线、抛物线）
• 核心价值：最灵活的GDA模型，可拟合复杂决策边界
✦
10.10
线性和二次判别分析
LDA vs QDA：投影原理、公式推导、对比分析
线性判别分析（Linear Discriminant Analysis, LDA）是一种监督学习方法， 用于分类和降维。它基于假设：各类别的数据都满足高斯分布， 并且不同类别的协方差矩阵相同。 LDA的目标是找到一个投影方向， 使得投影后的数据类间距离最大、类内方差最小。
核心概念与公式
🎯 投影变换（公式27-28）
wᵀx + b = 0
• w：直线法向量，单位矩阵
• 投影后均值：μ₁_w = wᵀμ₁
• 投影后方差：σ²₁_w = wᵀΣ₁w
📊 Fisher准则（公式30-31）
arg max_w (μ₁_w - μ₂_w)² / (σ²₁_w + σ²₂_w)
• 分子：类间距离平方（最大化）
• 分母：类内方差之和（最小化）
• 比率越大，分类效果越好
🛠️ sklearn实现
from sklearn.discriminant_analysis import
LinearDiscriminantAnalysis
QuadraticDiscriminantAnalysis
LinearDiscriminantAnalysis
QuadraticDiscriminantAnalysis
• LDA：适用于共享协方差矩阵
• QDA：适用于各类独立协方差矩阵
📚 参考资源
• 代码：Bk7_Ch10_02.ipynb
• 图17：投影角度影响对比
• 图18：LDA分类鸢尾花
• 图19：QDA分类鸢尾花
💡 10.10节小结
• LDA原理：通过投影降维，找到最优方向w使类间距离最大、类内方差最小
• Fisher准则：arg max_w (μ₁_w-μ₂_w)²/(σ²₁_w+σ²₂_w)，是一个广义特征值问题
• LDA vs QDA：LDA假设Σ₁=Σ₂（直线边界），QDA允许Σ₁≠Σ₂（二次边界）
• 选择建议：样本少选LDA（避免过拟合），协方差差异大选QDA（更灵活）
📋高斯判别分析核心要点
🎯 理论基础
• 多元高斯分布
• 贝叶斯定理
• 最小化错误分类
• 判别函数
⚡ LDA vs QDA
• LDA：Σ₁ = Σ₂，直线边界
• QDA：Σ₁ ≠ Σ₂，二次曲线
• 六类协方差矩阵
• 解析解存在
📊 关键参数
• μk：类别质心
• Σk：协方差矩阵
• p(Ck)：先验概率
• f(x|Ck)：似然
⚠️ sklearn实现
• LinearDiscriminantAnalysis
• QuadraticDiscriminantAnalysis
• 自动参数估计
• 决策边界可视化