💡 本章学习目标
本章全面介绍机器学习的四大类算法：回归、分类、降维、聚类。 我们将从多个视角理解每类算法的本质、应用场景和数学基础。
✅ 有监督学习
回归 + 分类：有标签数据训练
🔍 无监督学习
降维 + 聚类：发现数据结构
✦
1.1
什么是机器学习？
从数据中学习规律，无需显式编程
机器学习（Machine Learning, ML）是人工智能的核心分支， 其本质是让计算机从数据中自动学习规律和模式，并用于预测或决策。
🎯 核心定义
Tom Mitchell (1997)
"A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E."
中文解读
E（经验）：训练数据
T（任务）：预测、分类、聚类等
P（性能）：准确率、损失函数等
通过数据E改进任务T的性能P
🔗 与相关领域的关系
🧠
人工智能 (AI)
机器学习是AI的子领域
🤖
机器学习 (ML)
从数据中学习规律
🔮
深度学习 (DL)
ML的子领域，神经网络
✦
1.2
有监督 vs 无监督学习
标签决定学习方式
根据数据是否有标签，机器学习分为有监督学习和无监督学习。 标签是指每个训练样本的"正确答案"。
✦
1.3
四大类算法全景图
回归、分类、降维、聚类
机器学习算法根据任务类型和是否有标签可分为四大类。 每类算法有不同的目标、方法和应用场景。
📈回归 (Regression)
目标：预测连续数值
典型算法
线性回归、岭回归、Lasso、贝叶斯回归
应用：房价预测、股价预测、需求预测
🎯分类 (Classification)
目标：预测离散类别
典型算法
KNN、朴素贝叶斯、SVM、决策树
应用：垃圾邮件识别、图像分类、疾病诊断
🔄降维 (Dimension Reduction)
目标：提取主要特征、压缩数据
典型算法
PCA、核PCA、CCA、流形学习
应用：数据可视化、特征提取、去噪
🎨聚类 (Clustering)
目标：发现数据分组结构
典型算法
K-Means、GMM、层次聚类、谱聚类
应用：客户分群、图像分割、异常检测
✦
1.4
本书章节组织
从算法到应用的学习路径
📈
第一部分：回归算法 (Ch02-07)
• Ch02: 回归分析基础
• Ch03: 多元线性回归
• Ch04: 非线性回归
• Ch05: 正则化（岭/Lasso/弹性网络）
• Ch06: 贝叶斯回归
• Ch07: 高斯过程
🎯
第二部分：分类算法 (Ch08-13)
• Ch08: 最近邻分类 (KNN)
• Ch09: 朴素贝叶斯分类
• Ch10: 高斯判别分析
• Ch11: 支持向量机 (SVM)
• Ch12: 核技巧
• Ch13: 决策树
🔄
第三部分：降维与聚类 (Ch14-23)
• Ch14: 主成分分析 (PCA)
• Ch15: 截断型SVD
• Ch16-17: PCA进阶与回归
• Ch18: 核主成分分析
• Ch19: 典型相关分析 (CCA)
• Ch20-23: K-Means、GMM、层次聚类、谱聚类
🧭学习建议：多视角理解机器学习
1.
从数据视角：有标签 → 监督学习；无标签 → 无监督学习
2.
从任务视角：预测连续 → 回归；预测类别 → 分类；简化数据 → 降维；分组数据 → 聚类
3.
从数学视角：优化、概率、线性代数、统计推断
4.
从应用视角：每类算法的典型应用场景和案例