Visualize-ML

2.1

统计两大工具

描述统计 vs 推断统计

统计学作为一门研究数据收集、整理、分析和解释的科学，主要有两大分支：

📊

描述统计

Descriptive Statistics

用于总结和描述数据的基本特征，关注的是已有数据本身

🔮

推断统计

Statistical Inference

用于从样本推断总体特征，包括参数估计和假设检验

📈描述统计的核心任务

描述统计通过各种统计量和可视化手段来揭示数据的特征：

🎯集中趋势

均值、中位数、众数

数据的"中心"位置

📏离散程度

方差、标准差、极差

数据的"分散"程度

📐分布形状

偏度、峰度

对称性和尾部特征

🔗关联关系

协方差、相关系数

变量间的线性关系

📚

推断统计将在第16章（频率派）和第20-21章（贝叶斯派）详细介绍。

✦

2.2

直方图

单特征数据分布可视化

直方图 (Histogram) 是最基本也是最重要的数据可视化工具之一。它通过将数据划分为若干个区间（bin），统计每个区间内的数据个数，来展示数据的分布情况。

三种表示方式

直方图的纵轴可以有三种不同的表示方式：

频数

Frequency

n_i = 区间内数据个数

✓ 满足：Σnᵢ = n

概率

Probability

p_i = n_i / n

✓ 满足：Σpᵢ = 1

概率密度

Density

f_i = p_i / Δ

✓ 满足：Σfᵢ·Δ = 1

∑公式推导

设数据总数为 n，区间宽度为 Δ，共有 M 个区间，第 i 个区间的频数为 nᵢ

频数之和等于总数

Σnᵢ = n

概率定义及归一化

pᵢ = nᵢ / n

满足 Σpᵢ = Σ(nᵢ/n) = (1/n)·Σnᵢ = 1

概率密度定义及归一化

fᵢ = pᵢ / Δ = nᵢ / (n · Δ)

满足 Σfᵢ · Δ = Σpᵢ = 1

💡

为什么需要概率密度？

概率密度使得直方图的柱形面积之和等于 1，这样可以与连续概率分布的概率密度函数 (PDF) 直接比较，也便于不同 bin 宽度的直方图之间进行比较。

区间宽度的影响

区间宽度 Δ 的选择会显著影响直方图的外观：

Δ 太小 ✗

柱形太多太窄，难以看出分布趋势，噪声大

Δ 合适 ✓

能够清晰展示数据的分布模式

Δ 太大 ✗

柱形太少，信息损失大，无法反映细节

常用的区间数选择公式：

Sturges

M = 1 + log₂(n)

Scott

Δ = 3.5σ / n^(1/3)

Freedman-Diaconis

Δ = 2·IQR / n^(1/3)

累积直方图

累积直方图显示的是累积频数或累积概率：

累积频数 = Σnⱼ (j=1→i) ，累积概率 = Σpⱼ (j=1→i)

累积概率的最终值恒为 1，累积直方图对应于累积分布函数 (CDF) 的离散近似。

✦

2.3

散点图

两特征数据分布可视化

散点图 (Scatter Plot) 用于展示两个变量之间的关系。每个数据点在二维平面上的位置由其在两个特征上的取值决定，可以直观地观察变量间的相关性、聚类结构等模式。

散点图的构成

横轴

第一个特征的取值

例如：花萼长度 X₁

纵轴

第二个特征的取值

例如：花萼宽度 X₂

📊边缘分布 vs 联合分布

边缘分布 (Marginal)

单独看一个变量的分布，忽略另一个变量

散点图边缘的直方图/KDE

P(X) 或 P(Y)

联合分布 (Joint)

同时考虑两个变量的分布

散点的密集程度表示概率

P(X, Y)

💡 边缘分布可以从联合分布通过"积分"（求和）得到：P(X) = ∫P(X,Y)dY

散点图的常见变体

📈

联合图 (Joint Plot)

散点图 + 边缘直方图/KDE，同时展示联合分布和边缘分布

🔢

成对图 (Pair Plot)

多变量的 n×n 散点图矩阵，对角线为单变量直方图

🌡️

热力图 (Heatmap)

将二维空间划分为网格，用颜色深浅表示每个格子中的点数

🎯

等高线图 (Contour)

用 KDE 估计二维概率密度，绘制等概率密度曲线

从散点图看相关性

↗️

正相关

点从左下到右上分布
X 增大，Y 也增大

↘️

负相关

点从左上到右下分布
X 增大，Y 减小

⚫

无相关

点随机分布，无明显趋势
X 和 Y 相互独立

✦

2.4

有标签数据

分类数据的统计可视化

在机器学习中，数据通常分为有标签数据 (Labeled Data) 和无标签数据 (Unlabeled Data)。标签是数据的类别信息，通过按类别分组可视化，我们能够发现不同类别在特征空间中的分布规律。

鸢尾花数据集的三个类别

🌸

Setosa

山鸢尾

花瓣小，与其他两类差异明显，最容易区分

🌼

Versicolor

变色鸢尾

中等大小，与 Virginica 有部分重叠

🌺

Virginica

维吉尼亚鸢尾

花瓣较大，特征值整体偏高

🏷️有标签 vs 无标签

有标签数据 (Labeled)

每个样本都有对应的类别标签

应用场景

监督学习：分类、回归

无标签数据 (Unlabeled)

只有特征数据，没有类别信息

应用场景

无监督学习：聚类、降维

💡 有标签数据是分类任务的基础，标签质量直接影响模型性能

分类数据的可视化方法

📊

分组直方图

按类别分组绘制直方图，对比各类在单一特征上的分布差异

适合：单变量类别对比

🔵

分类散点图

用不同颜色表示不同类别，观察类别在二维特征空间的分布

适合：类别边界可视化

📈

平行坐标图

每条线代表一个样本，穿过所有特征轴，展示多维特征模式

适合：高维数据对比

🎻

小提琴图 / 箱线图

展示各类别数据的分布形状、中位数、四分位数等统计量

适合：分布形状对比

🔍

从可视化中发现规律

• Setosa 易于区分：花瓣长度(X₃)和花瓣宽度(X₄)明显小于其他两类
• Versicolor 与 Virginica 有重叠：这两类在特征空间中存在交叉区域
• 花瓣特征区分度高：相比花萼，花瓣的长度和宽度更能区分不同品种

✦

2.5

集中度量

均值、质心与其他集中趋势指标

集中趋势 (Central Tendency) 描述数据的"中心"在哪里。最常用的指标是算术平均值（均值），它是所有数据值的总和除以数据个数。

μ算术平均值 (Arithmetic Mean)

μ = mean(X) = (1/n) Σxᵢ

= (x₁ + x₂ + x₃ + ... + xₙ) / n

总体均值 (Population Mean)

μ：整个总体的真实均值

样本均值 (Sample Mean)

x̄：从样本估计的均值

鸢尾花数据集的四个特征均值

μ₁

5.843

花萼长度 (cm)

μ₂

3.057

花萼宽度 (cm)

μ₃

3.758

花瓣长度 (cm)

μ₄

1.199

花瓣宽度 (cm)

🎯质心 (Centroid)

在多维空间中，将各维度的均值组合起来，就得到了质心——数据的"重心"。

μ = [μ₁, μ₂, μ₃, μ₄]ᵀ = [5.843, 3.057, 3.758, 1.199]ᵀ

质心在聚类分析中非常重要，如 K-Means 算法就是基于质心进行迭代优化。

其他集中趋势度量

中位数 (Median)

将数据排序后位于中间位置的值。50% 的数据小于中位数，50% 大于。

对异常值不敏感

众数 (Mode)

出现频率最高的值。对于连续数据，通常使用区间众数。

适合分类数据

几何平均 (Geometric Mean)

n 个正数乘积的 n 次方根。适合计算增长率的平均。

适合比率数据

调和平均 (Harmonic Mean)

倒数的算术平均的倒数。适合计算速率的平均。

适合速度/频率

💡

均值 vs 中位数

均值受异常值影响大，中位数更稳健。对于偏态分布，中位数通常比均值更能代表"典型值"。例如收入分布中，少数高收入者会拉高均值，此时中位数更能反映普通人的收入水平。

✦

2.6

分散度量

极差、方差、标准差

分散度 (Dispersion) 描述数据的"离散程度"——数据点围绕中心的分散情况。常用指标包括极差、方差和标准差。

R极差 (Range)

最简单的分散度量，即最大值与最小值之差。

Range(X) = max(X) − min(X)

⚠️ 极差只考虑两个极端值，对异常值敏感，信息量有限。

σ²方差 (Variance)

σ² = Var(X) = (1/n) Σ(xᵢ − μ)²

= 各数据点与均值之差的平方的平均值

总体方差

σ²：除以 n

样本方差

s²：除以 n-1（无偏估计）

💡 方差的单位是原数据单位的平方（如 cm²），不便于直接解释。

σ标准差 (Standard Deviation)

方差的平方根，与原数据单位相同，更易解释。

σ = √Var(X) = √[(1/n) Σ(xᵢ − μ)²]

鸢尾花数据集的四个特征标准差

σ₁

0.825

花萼长度 (cm)

σ₂

0.434

花萼宽度 (cm)

σ₃

1.759

花瓣长度 (cm)

σ₄

0.759

花瓣宽度 (cm)

花瓣长度(X₃)的标准差最大，说明该特征的数据分散程度最高。

📊68-95-99.7 法则（经验法则）

对于正态分布的数据：

68%

的数据落在

μ ± σ

95%

的数据落在

μ ± 2σ

99.7%

的数据落在

μ ± 3σ

💡

标准差的实际应用

• 质量控制：监控产品尺寸波动
• 金融风险：衡量投资收益的波动性
• 异常检测：超出 μ±3σ 的数据可能是异常值
• 标准化：z-score = (x−μ)/σ

✦

2.7

分位数

四分位、百分位与数据划分

分位数 (Quantile) 将有序数据按比例划分成若干等份。不同的划分方式产生不同类型的分位数。

二分位数

即中位数 (Median)，将数据分成两半。

四分位数

Quartiles：Q₁(25%)、Q₂(50%)、Q₃(75%)

十分位数

Deciles：将数据分成10等份。

100

百分位数

Percentile：将数据分成100等份，最常用。

📊

其他分位数

五分位数 (Quintiles)、八分位数 (Octiles)、二十分位数 (Vigintiles) 等

Q四分位数 (Quartiles)

Q₁

25% 分位

下四分位数

Q₂

50% 分位

中位数

Q₃

75% 分位

上四分位数

IQR = Q₃ − Q₁

四分位距 (Interquartile Range)：中间50%数据的范围

鸢尾花数据集分位数统计

特征	min	Q₁ (25%)	Q₂ (50%)	Q₃ (75%)	max
X₁ 花萼长度	4.3	5.1	5.8	6.4	7.9
X₂ 花萼宽度	2	2.8	3	3.3	4.4
X₃ 花瓣长度	1	1.6	4.35	5.1	6.9
X₄ 花瓣宽度	0.1	0.3	1.3	1.8	2.5

⚠️基于 IQR 的异常值检测

使用四分位距识别异常值是一种稳健的方法：

异常值范围：x < Q₁ − 1.5×IQR 或 x > Q₃ + 1.5×IQR

下界

Q₁ − 1.5×IQR

上界

Q₃ + 1.5×IQR

💡

百分位数的实际应用

• 成绩排名：学生成绩处于第90百分位表示超过90%的人
• 性能监控：P95、P99延迟是系统性能的关键指标
• 金融分析：VaR(风险价值)使用特定百分位数
• 健康标准：儿童生长曲线使用百分位数衡量

✦

2.8

箱型图

小提琴图、分布散点图

箱型图 (Box Plot) 是一种基于五数概括的可视化工具，能够同时展示数据的集中趋势、分散程度和异常值。

📦箱型图结构解析

上须 (Upper Whisker)

min(max, Q₃ + 1.5×IQR)

箱体 (Box)

从 Q₁ 到 Q₃，包含50%的数据

中位数线 (Median)

Q₂，箱内的红线

下须 (Lower Whisker)

max(min, Q₁ − 1.5×IQR)

异常值 (Outliers)

超出须范围的点

五数概括 (Five-Number Summary)

最小值min

下四分位Q₁ (25%)

中位数Q₂ (50%)

上四分位Q₃ (75%)

最大值max

📦

箱型图

展示五数概括，快速了解数据分布的中心和离散程度。

适合多组数据对比

🎻

小提琴图

箱型图 + 核密度估计，展示完整的分布形状。

可见多峰分布

🐝

蜂群图

展示每个数据点的位置，不丢失任何信息。

适合小数据集

✅ 箱型图优点

• 紧凑地展示分布特征
• 便于多组数据对比
• 自动识别异常值
• 对极端值不敏感

⚠️ 箱型图局限

• 无法显示分布形状（如双峰）
• 隐藏了具体数据点
• 对小样本可能误导
• 需配合其他图表使用

💡

何时使用哪种图？

• 快速对比：使用箱型图
• 查看分布形状：使用小提琴图
• 展示所有数据：使用蜂群图或分布散点图
• 综合分析：组合使用（如箱型图+散点图叠加）

✦

2.9

中心距

均值、方差、偏度、峰度

矩 (Moment) 是描述分布形状的数学工具。中心距以均值为中心计算，不同阶数的中心距揭示分布的不同特征。

📐四阶中心距概览

1阶：均值 μ

数据的中心位置

μ = (1/n)Σxᵢ

2阶：方差 σ²

数据的分散程度

σ² = (1/n)Σ(xᵢ−μ)²

3阶：偏度 S

分布的对称性

S = (1/n)Σ[(xᵢ−μ)/σ]³

4阶：峰度 K

尾部的厚度

K = (1/n)Σ[(xᵢ−μ)/σ]⁴

偏度 (Skewness)

⚖️

S ≈ 0

对称分布

均值 = 中位数 = 众数

→

S > 0

正偏（右偏）

右尾较长，众数 < 中位数 < 均值

←

S < 0

负偏（左偏）

左尾较长，均值 < 中位数 < 众数

峰度 (Kurtosis)

🔺

K > 3

尖峰 (Leptokurtic)

厚尾，极端值较多

🔔

K = 3

正态 (Mesokurtic)

正态分布的峰度

⬛

K < 3

平峰 (Platykurtic)

薄尾，数据更集中

💡 超额峰度 (Excess Kurtosis) = K − 3，使正态分布的超额峰度为0，便于解释。

🌸鸢尾花数据集的偏度与峰度

特征	偏度 S	解释	峰度 K	解释
X₁ 花萼长度	0.315	轻微右偏	-0.552	平峰
X₂ 花萼宽度	0.319	轻微右偏	0.228	≈正态
X₃ 花瓣长度	-0.275	轻微左偏	-1.402	平峰
X₄ 花瓣宽度	-0.103	≈对称	-1.341	平峰

* 峰度值为超额峰度 (Excess Kurtosis)，即 K−3

💡

偏度与峰度的应用

• 正态性检验：偏度≈0且峰度≈3表示接近正态分布
• 金融风险：高峰度意味着更多极端收益/损失（黑天鹅事件）
• 数据预处理：高偏度数据可能需要对数变换
• 模型选择：某些模型假设数据正态，需检查偏度峰度

✦

2.10

多元变量关系

协方差矩阵、相关性系数矩阵

当数据有多个特征时，我们需要分析变量之间的协变关系。协方差和相关系数是度量两变量线性关系的重要工具。

📊协方差 (Covariance)

Cov(X, Y) = E[(X − μₓ)(Y − μᵧ)]

= (1/n) Σ(xᵢ − μₓ)(yᵢ − μᵧ)

Cov > 0

正相关：同增同减

Cov ≈ 0

无线性关系

Cov < 0

负相关：一增一减

ρ皮尔逊相关系数 (Pearson Correlation)

标准化的协方差，范围 [-1, 1]，消除了量纲影响。

ρ = Cov(X, Y) / (σₓ × σᵧ)

ρ = +1

完全正相关

ρ = 0

无线性相关

ρ = -1

完全负相关

协方差矩阵

对角线是各变量的方差，非对角线是变量间的协方差。

大小：D × D（D 为特征数）

🌸鸢尾花数据集的相关性发现

高度正相关

• X₃-X₄ (花瓣长宽): ρ = 0.96
• X₁-X₃ (花萼长-花瓣长): ρ = 0.87
• X₁-X₄ (花萼长-花瓣宽): ρ = 0.82

弱/负相关

• X₁-X₂ (花萼长宽): ρ = -0.12
• X₂-X₃ (花萼宽-花瓣长): ρ = -0.43
• X₂-X₄ (花萼宽-花瓣宽): ρ = -0.37

💡

协方差与相关性的应用

• 特征选择：去除高度相关的冗余特征
• PCA 降维：基于协方差矩阵进行主成分分析
• 多重共线性：检测回归模型中的共线问题
• 投资组合：分析资产间的相关性以分散风险

📝 本节小结

2.1 统计工具

描述统计
推断统计

2.2 直方图

频数/概率/密度
单变量分布

2.3 散点图

联合/边缘分布
变量相关性

2.4 有标签

分类可视化

2.5 集中度

均值/质心

2.6 分散度

方差/标准差

2.7 分位数

四分位/IQR

2.8 箱型图

小提琴图

2.9 中心距

偏度/峰度

2.10 多元关系

协方差/相关性