距离，机器学习的基石
距离在机器学习中扮演着核心角色，用于衡量数据点之间的相似性或差异性。从KNN分类到K-Means聚类，从SVM支持向量到层次聚类树状图，距离无处不在。
本章将系统介绍欧氏距离、标准化欧氏距离、马氏距离、城市街区距离、切比雪夫距离、闵氏距离等常用距离度量，探讨距离与亲近度的转换，深入理解协方差矩阵的几何意义。
🎯本章学习目标
距离度量大家族
从欧氏距离到闵氏距离
不同的距离度量有不同的几何形状和应用场景。欧氏距离（L₂范数）最常用，等距线为同心圆；标准化欧氏距离考虑特征标准差，等距线为正椭圆；马氏距离同时考虑标准差和相关性，等距线为旋转椭圆；城市街区距离（L₁范数）等距线为旋转正方形；切比雪夫距离（L∞范数）等距线为正方形；闵氏距离（Lₚ范数）统一了以上距离形式。
⭕欧氏距离
🟣马氏距离
📐其他距离
成对距离矩阵
Pairwise Distance Matrix
当我们有n个样本点时，任意两点之间都存在距离。这些距离构成一个n×n的成对距离矩阵。该矩阵具有对称性（d(i,j) = d(j,i)）和主对角线为0（d(i,i) = 0）的特点。成对距离矩阵是层次聚类、谱聚类、MDS降维等算法的基础。
距离与亲近度
从距离到相似性的转换
距离越远，样本越不相似；距离越近，样本越相似。核函数（Kernel Function）完成从距离到亲近度的转换。常用核函数包括高斯核（RBF）、拉普拉斯核、线性核、多项式核、Sigmoid核等。核技巧允许我们在高维特征空间中隐式计算内积，避免显式构造高维特征向量。
🔴高斯核 (RBF)
✨核技巧的魔力
协方差矩阵，为什么无处不在？
几何视角的深刻理解
协方差矩阵Σ浓缩了数据的二阶统计特性。从几何角度看，2×2协方差矩阵对应一个椭圆，3×3协方差矩阵对应一个椭球。通过特征值分解Σ = VΛVᵀ，我们得到椭圆/椭球的主轴方向（特征向量V）和各轴长度（特征值Λ开方）。协方差矩阵是PCA、马氏距离、多元高斯分布、GMM等众多算法的核心。
🌟 协方差矩阵的多重身份
算法视角
- • PCA：特征值分解Σ找主成分
- • 马氏距离：d = √[(x-μ)ᵀΣ⁻¹(x-μ)]
- • 多元高斯：PDF中的Σ决定形状
- • GMM：每个高斯分量有独立的Σ
- • 高斯过程：核函数构造Σ
几何视角
🎯本章核心要点
📏距离度量
- •欧氏距离：L₂范数，同心圆，最常用
- •马氏距离：考虑协方差，旋转椭圆
- •Lₚ范数家族：p=1曼哈顿，p=2欧氏，p→∞切比雪夫
- •余弦距离：基于方向，与模无关
🔄核函数与亲近度
- •RBF核：exp(-γd²)，高斯函数
- •核技巧：隐式高维映射，计算高效
- •Mercer定理：有效核↔正定核矩阵
- •应用广泛：SVM, 核PCA, 谱聚类