Chapter 07: 高斯过程

多元高斯分布的条件概率，协方差矩阵为核函数

Gaussian Process

📖 本章概要

本章介绍高斯过程 (Gaussian Process, GP)，它是一种强大的概率模型，可用于回归和分类。高斯过程将函数视为无限维高斯分布，通过核函数定义协方差矩阵。

核心思想：先验 + 样本数据 → 后验分布 → 预测 + 不确定性量化

7.1

高斯过程原理

先验 + 数据 → 后验

高斯过程是一种概率模型，用于建模连续函数。核心思想是：任意一组数据点都可以被视为多元高斯分布的样本，该分布的均值和协方差矩阵由先验信息和核函数计算而得。

💡 7.1节小结

• 先验分布：y₂ ~ N(μ₂, K₂₂)，核函数定义协方差矩阵

• 高斯核：k(xᵢ, xⱼ) = exp(-||xᵢ - xⱼ||²/2l²)，l控制相似度衰减

• 联合分布：[y₁, y₂]ᵀ ~ N([μ₁, μ₂]ᵀ, [K₁₁, K₁₂; K₂₁, K₂₂])

• 后验分布：给定样本y₁后，y₂|y₁的条件分布

• 样本效应：样本点处方差为0，远离样本处方差增大

✦

7.2

GaussianProcessRegressor

高斯过程回归通过后验均值进行预测，通过后验方差量化不确定性。在样本点附近置信区间窄（确信度高），远离样本处置信区间宽（不确定性高）。

💡 7.2节小结

• 预测值：后验均值 μ₂|₁ = μ₂ + K₂₁K₁₁⁻¹(y₁ - μ₁)

• 不确定性：后验方差 Σ₂|₁ = K₂₂ - K₂₁K₁₁⁻¹K₁₂

• 95%置信区间：μ ± 2σ，量化预测不确定性

• 无噪声：回归曲线完全通过所有样本点

• 有噪声：回归曲线平滑拟合，考虑观测误差

✦

7.3

GaussianProcessClassifier

高斯过程分类器通过后验概率进行分类，可以同时给出每个类别的概率预测。决策边界处后验概率接近，远离边界处某一类的概率接近1。

💡 7.3节小结

• 多分类：对每个类别计算后验概率

• 决策边界：不同类别后验概率相等的点

• 概率预测：量化分类的确信度

• 鸢尾花示例：根据花萼长度和宽度分类三个品种

🔄 核心原理

先验：核函数定义协方差矩阵
数据：观测样本点
后验：条件高斯分布
预测：均值 + 不确定性

🎯 应用场景

回归：预测连续值 + 置信区间
分类：概率预测 + 决策边界
优点：量化不确定性、小样本有效
缺点：计算复杂度O(n³)