Chapter 12: 核技巧

映射函数φ()将输入数据x映射到高维特征空间ϕ(x)。通过升维(dimension elevation)， 原本在低维空间线性不可分的数据，在高维空间中变得线性可分。 本节展示4个经典映射例子，帮助理解核技巧的基本原理。

类似硬间隔SVM，核技巧SVM的优化问题也通过拉格朗日乘子法求解。 关键洞察：对偶问题中只涉及数据点之间的内积⟨ϕ(x^(i)), ϕ(x^(j))⟩， 可以用核函数K(x^(i), x^(j))代替，无需显式计算高维映射ϕ(x)。 通过格拉姆矩阵(Gram Matrix)存储所有数据点对之间的核函数值。

线性核(Linear Kernel)是最简单的核函数，其核函数定义为向量内积 K(x, q) = x · q。 线性核SVM的决策边界是超平面，适用于线性可分数据。 关键洞察：决策函数可表示为多个超平面的叠加（图9）， 每个支持向量对应一个超平面，最终形成分类决策边界。

多项式核(Polynomial Kernel)形式为 K(x,q) = (γx·q + r)^d， 其中d为多项式次数，是主导核形态的关键参数。线性核是d=1的特例。 通过推导可以发现，多项式核隐式地将数据映射到高维空间： 二次核(d=2)对应6维特征空间，三次核对应更高维度。 决策边界由n个超曲面叠加构成，形成复杂的d次曲线/曲面。

二次核(d=2)是多项式核最常用的形式，决策边界为二次曲面。 图15展示线性可分数据的山谷面，图16展示月牙形数据的双曲抛物面， 图17展示环形数据的椭圆抛物面。二次核比线性核灵活，但比三次核更稳定，是非线性问题的首选核函数之一。

三次核(d=3)形成三次曲面决策边界，比二次核更灵活。 图18展示线性可分数据，图19展示月牙形数据，图20展示环形数据的分类结果。 但书中明确警告：多项式核次数不是越高越好，三次核过拟合风险较高。 实际应用中，若二次核效果一般，应优先考虑换用RBF核而非盲目提高次数。

高斯核(Gaussian kernel)，也叫径向基函数核(RBF kernel)， 形式为 K_RBF(x,q) = exp(-γ||x-q||²)。对于刚接触SVM的读者，高斯核是迷样的存在。 通过泰勒展开可以发现，RBF核对应无限维特征空间映射。 图21展示γ参数如何影响核函数曲线，图22展示高斯钟形曲面的叠加原理， 图23-25展示三种数据的分类结果。RBF核是非线性问题的首选核函数。

Sigmoid核形式为 K_Sigmoid(x,q) = tanh(γx·q + r)，也叫S形核。 其中tanh()为双曲正切函数(hyperbolic tangent)， 是神经网络中常用的激励函数。图27展示γ参数对sigmoid曲线形状的影响， 图28展示sigmoid曲面的叠加构造原理，图29-31展示三种数据的分类结果。 类似高斯核，sigmoid核能够构造比较复杂的曲面形状。