Visualize-ML

← 目录Ch25 数据应用

Ch24 数据分解

全部书籍 Book4目录

Ch25 数据应用

ML Applications · 线性代数在机器学习中的应用

🎮 机器学习的线性代数基础

回归与分类：矩阵运算无处不在

📈 最小二乘回归

目标：找 w 使 ‖Xw - y‖² 最小

解：w = (XᵀX)⁻¹Xᵀy

红色虚线 = 残差（预测误差）

回归

w = (XᵀX)⁻¹Xᵀy

分类

ŷ = sign(wᵀx)

💡 线性代数无处不在

回归：矩阵求逆、最小二乘
分类：超平面、内积判别
降维：SVD、特征分解
神经网络：矩阵乘法层

📈

回归

预测连续值

✂️

分类

预测类别

📉

降维

PCA/SVD

🧠

神经网络

矩阵乘法

开篇

线性代数是机器学习的数学语言

📈

回归

最小二乘

✂️

分类

超平面

📉

降维

PCA/SVD

🧠

神经网络

矩阵乘法

25.1 线性回归

🎯 目标：理解 w = (XᵀX)⁻¹Xᵀy 的推导和几何意义

🎮 简单线性回归

y = ax + b — 最小二乘拟合

显示选项

显示残差显示投影视角

回归方程

ŷ = 0.971x + 1.279

斜率 a

0.971

= Cov(x,y)/Var(x)

截距 b

1.279

= ȳ - a·x̄

拟合统计

R² 决定系数

0.9889

SSE 残差平方和

0.1114

计算过程

x̄ = 2.75, ȳ = 3.95

Cov(x,y) = 1.2750

Var(x) = 1.3125

a = 1.2750 / 1.3125 = 0.971

红色虚线 = 残差 (实际-预测)

几何本质：回归线必过均值点 (x̄, ȳ)，斜率由协方差和方差的比值决定。

25.2 多元回归

🎯 目标：理解多特征回归中的矩阵形式和正规方程

🎮 多元线性回归

y = Xβ — 矩阵形式的最小二乘

显示正规方程推导

回归模型

y = Xβ + ε

设计矩阵 X

1

x₁

x₂

1

2

3

1

3

4

1

4

5

1

5

6

n×(p+1) 矩阵，第一列为1（截距）

响应向量 y

[5, 7, 9, 11]ᵀ

系数 β

[1, 0.5, 1.5]ᵀ

正规方程

目标: min ‖y - Xβ‖²

∇ᵦ = -2Xᵀ(y - Xβ) = 0

XᵀXβ = Xᵀy

β = (XᵀX)⁻¹Xᵀy

拟合结果

预测值 ŷ

[6.5, 8.5, 10.5, 12.5]

残差 e

[-1.5, -1.5, -1.5, -1.5]

SSE = 9.00

几何解释

核心洞察：多元回归 = 将 y 投影到 X 列空间。正规方程来自投影的正交条件 Xᵀe = 0。

本章小结

线性代数贯穿机器学习全流程

核心应用

• 回归：w = (XᵀX)⁻¹Xᵀy

• 分类：wᵀx + b = 0 超平面

• 降维：SVD 低秩近似

• 聚类：距离和内积

关键矩阵

• XᵀX：Gram 矩阵（特征相关）

• XXᵀ：样本相似度矩阵

• Σ：协方差矩阵

• H：Hessian（优化曲率）

🎉

恭喜完成全部 25 章！

从向量到矩阵，从分解到应用，线性代数是理解数据和机器学习的基石。