Visualize-ML

← 目录Ch19 奇异值分解

Ch19 超平面

Hyperplane · 线性分类的决策边界

🎮 超平面：分类的决策边界

一刀切开两类数据

🎛️ 调整分类边界

法向量角度 θ45°

偏移量 b0.0

⚠️ 还有混淆

调整角度和偏移，让直线把两类点完全分开。

💡 核心公式

超平面: wᵀx + b = 0

距离: d = |wᵀx + b| / ‖w‖

分类: sign(wᵀx + b)

✂️

决策边界

wᵀx + b = 0

📏

点到面距离

|wᵀx + b| / ‖w‖

🎯

SVM 间隔

最大化 2/‖w‖

开篇

超平面是线性模型的几何基础

✂️

决策边界

wᵀx + b = 0

📏

点到面距离

|wᵀx + b| / ‖w‖

🎯

SVM 间隔

最大化 2/‖w‖

19.1 超平面方程

🎯 目标：理解 wᵀx + b = 0 定义 n-1 维超平面，w 是法向量

🎮 超平面探索器

w·x + b = 0，法向量决定方向

超平面参数

w₁ = 1

w₂ = 1

b = 0

方程

1.0x + 1.0y + 0.0 = 0

法向量 w

(1.0, 1.0)

||w||

1.41

分类规则

w·x + b > 0 → 正侧

w·x + b < 0 → 负侧

提示：调节 b 平移超平面，调节 w 旋转超平面

几何意义：超平面将空间分成两半，法向量 w 指向正侧，b 控制超平面到原点的距离。

19.2 超平面的形式

🎯 目标：理解一般式、点法式、截距式的相互转换

🎮 平面方程的三种形式

隐式、参数、法线 — 同一平面的不同表示

方程形式

隐式方程

ax + by + cz = d

例：x + y + z = 3

优点

• 简洁
• 易判断点在哪侧
• 易计算距离

缺点

• 不直接给出点的参数化

转换关系

隐式 → 法线：n = (a,b,c), d/||n|| = 到原点距离

参数 → 隐式：n = v₁ × v₂, 代入 p₀

法线 → 隐式：展开 n·p = n·p₀

2D 类比：直线 x + y = 2

隐式方程直接给出到原点的距离

选择建议：判断位置用隐式，生成点用参数式，几何分析用法线式。

19.3 半空间

🎯 目标：理解 wᵀx + b > 0 和 < 0 定义两个半空间

🎮 半空间与超平面

超平面将空间分成两个半空间

超平面参数

w₁=1

w₂=0

b=-1

正半空间 H⁺

w·x + b > 0

负半空间 H⁻

w·x + b < 0

原点位置

到超平面距离：1.00

所在侧：负侧

几何性质

• 法向量 w = (1, 0) 指向正半空间

• b > 0：原点在正侧；b < 0：原点在负侧

• 超平面到原点距离 = |b|/||w||

绿色区域=正半空间，橙色箭头=法向量

应用：半空间是线性规划、SVM、感知机等算法的基本几何结构。

19.4 点到超平面距离

🎯 目标：掌握 d = |wᵀx + b| / ‖w‖，这是 SVM 间隔的基础

🎮 点到超平面距离

d = |w·x + b| / ||w||

点的位置

x = 2.0

y = 2.0

符号距离

2.121

正侧

绝对距离

2.121

= |w·x+b|/||w||

投影点

x̂ = (0.50, 0.50)

x̂ = x - [(w·x+b)/||w||²]·w

距离公式推导

w·x + b = 1×2.0 + 1×2.0 + -1

= 3.00

||w|| = 1.41

d = 3.00 / 1.41 = 2.121

橙色虚线 = 最短距离（垂直于超平面）

几何意义：点到超平面的最短距离沿法向量方向，投影点是超平面上离原点最近的点。

19.5 线性可分性

🎯 目标：判断数据是否存在超平面能完全分开两类

🎮 线性可分性

能否用一条直线分开两类点？

数据集

调节分类器

w₁1

w₂-1

准确率

50%

4/8 正确

最小间隔

0.00

到最近点

✗ 存在分类错误

调节参数尝试分离

SVM 目标：找到最大间隔的分类超平面，间隔越大泛化能力越强。

本章小结

超平面是线性分类和 SVM 的几何核心

核心公式

超平面: wᵀx + b = 0

距离: d = |wᵀx + b| / ‖w‖

分类: ŷ = sign(wᵀx + b)

SVM 连接

• 间隔 = 2 / ‖w‖

• 最大间隔 = min ‖w‖²/2

• 支持向量 = 边界上的点

📚 下一章：Ch20 二次曲线