← 返回Book 3目录
第02章

乘除

Multiplication & Division · 从标量到矩阵

深入乘除运算：幂、阶乘、内积、矩阵乘法与逆矩阵

📚 章节概述

乘除运算是数学的核心。本章从基本的乘法除法开始，逐步深入到幂运算、阶乘、向量内积， 最终到达矩阵乘法和逆矩阵。理解这些运算是掌握线性代数和机器学习的关键。

✖️ 基础运算
乘法、除法、求余
📐 向量运算
内积、外积、逐项积
🔢 矩阵乘法
两种视角理解
🔄 逆矩阵
求解线性方程

2.1 算术乘除：先乘除，后加减，括号内先算

本节回顾基本乘除法。

乘法

乘法（multiplication）叫数学中名词各不相同。被乘数（multiplicand）和乘数（multiplier），右侧是乘积（product），乘法运算本身叫作乘（times 或 multiplied by），乘法表（multiplication table 或 times table）是学数学的基石。

Multiplicand
2
被乘数
Multiplier
×3
乘数
Product
=6
乘积
📊 示例：数轴上的乘法可视化
2 × 3 = 6
在数轴上，所示两次数字上可看跳3位，比如2×3在数轴上表示2的3个连续拼接。

💡 注意：介绍几个常用术语。有时叉乘可称为向量叉乘（cross product 或 vector product），完全另外一回事。在代数中，两个全号合并为乘积，可以写成implied multiplication，ab也可以写成a·b。

阶乘

某个正整数的阶乘（factorial）是所有小于它之2等于对那个正整数数的连乘积。比如，5的阶乘记成5!，对应的正整数就是从5乘到2×3×2×1。

5! = 5×4×3×2×1
(1)

特别地，定义0的阶乘0! = 1。本节有两个正整数累乘序列和阶乘都用到，一般列表合并两张表阶乘列表。

1, 2, 6, 24, 120, 720, 5040, 40320, 362880, 3628800
(2) 对应的累计乘积如提示下：

累计乘积

对于一组数字，累计乘积（cumulative product）也叫累积积，每每的运算状况应从这一类累积 积。比如，自始至终从1到10采用数都要不断累积积。

1, 2, 3, 4, 5, 6, 7, 8, ...
(3)

除法

除法（division）是乘法的逆运算（reverse operation of multiplication），被除数（dividend 或 numerator）除以（over 或 divided by）除数（divisor 或 denominator）得到商（quotient）。

Dividend
6
被除数
÷
÷
除以
Divisor
3
除数
Quotient
=2
商

除法运算有可以以出有余（divisible），比如，6/3可以除以3除尽3（six is divisible by three），除完有（remainder），比如，除 7 ÷ 2 = 1，此​时除法结果一般叫分数（fraction）或小数（decimal）来表示。

分数

常见见分数（fraction）是有通用分数（common fraction 或 simple fraction），由分母（denominator）和分子（numerator）组成，分数线横线或斜线（fraction bar 或 forward slash）/ 。

1/2, 1/3, 1/4
常见分数示例

2.2 向量乘法：标量乘法、向量内积、逐项积

这一节介绍三种重要的向量乘法：(1) 标量乘法（scalar multiplication）、(2) 向量内积（inner product）、(3) 逐项积（piecewise product）。

标量乘法

标量乘法运算中，向量是数的一维数组，同等对每一个 e 的每个元素均与相同，相当于缩放。

2×[1 2 3] = [2×1 2×2 2×3] = [2 4 6]
(4)

重点，标量乘法列向量示例：

[1] [2×1] [2]
2 × [2] = [2×2] = [4]
[3] [2×3] [6]
(5)

所以示例标量乘法法可示意。

向量内积

向量内积（inner product）结果为标量。向量内积又叫点积（scalar product）或点积（dot product）。

向量内积的运算较为测量，两个向量同维度，对应位置上是元素相乘求两两元素和，比如两例行则向量内积：

[1 2 3]·[4 3 2] = 1×4 + 2×3 + 3×2 = 4+6+6 = 16
(7)

计算两个列向量内积，比如：

[1] [-1]
[2] · [ 0] = 1×(-1) + 2×0 + 3×1 = -1+0+3 = 2
[3] [ 1]
(8)

所以示例为向量内积所习惯性表达。

向量内积的性质

交换律（commutative）：
a · b = b · a
(9)
向量内积满足加法的分配律（distributive over vector addition）：
a · (b + c) = a · b + a · c
(10)
虽然，向量内积不满足结合律（associative）：
(a · b) · c ≠ a · (b · c)
(11)

逐项积

逐项积（piecewise product）也叫阿达马积（Hadamard product）、两个同维度向量同维度索对应位置的逐项积形成对应后新两量。结果是阵同对形图同类似于向量，送入和出逐元素相同。

[1 2 3] ⊙ [4 5 6] = [1×4 2×5 3×6] = [4 10 18]
(16)

所以示例向量逐项积运算示意图。

⚠️ 注意：两个矩阵逐项积的运算规律是一是完形这些对应元素，矩阵形状不需相同，矩阵逐项积运算器别离对应逐元素相乘求。结果形状不变。

2.3 矩阵乘法：重量级的线性代数运算规则

矩阵乘法是数据科学各种代数运算中的基石。没有之一，一切句号就不存在。

矩阵乘法规则

A 占 B 两矩阵相乘的前提是A 的列数等于 B 的行数。A 占 B 的乘积都是 AB，又 AB 是 matrix boldface capital A times matrix boldface capital B 的"the matrix product boldface capital A and boldface capital B"。

Cm×n = Am×p @ Bp×n
(18)

如果：所示，矩阵 A 的形状为 m×p， p 列，矩阵 B 的形状为 p×n， n 列，相当于产生 p 的 j 列的等效。

矩阵乘法分类

本节后面介绍下面五类矩阵乘法：

Vector and vector
向量与向量
Matrix and vector
矩阵与向量
Square matrix
方阵
Diagonal matrix
对角矩阵
Rectangular matrix
长方矩阵

向量乘法：内积 vs 外积

内积：aᵀ·b = 标量（对应元素相乘后求和）

a
1
2
3
·
b
4
3
2
= 1×4 + 2×3 + 3×2
= 4 + 6 + 6
= 16
结果： 标量（一个数字）。内积用于计算相似度、投影等。
内积特点
  • • 结果：标量
  • • 公式：Σ(aᵢ × bᵢ)
  • • 应用：相似度计算
  • • 满足交换律
外积特点
  • • 结果：矩阵
  • • 公式：aᵢ × bⱼ
  • • 应用：矩阵分解
  • • 不满足交换律

2.4 矩阵乘法第一视角

这一节介绍矩阵乘法的第一视角。

矩阵乘法第一视角：行列内积

Ci,j = A的第i行 · B的第j列

速度:
步骤: 1 / 12
A (3×2)
1
2
3
4
5
6
@
B (2×4)
1
2
3
4
5
6
7
8
=
C (3×4)
11
?
?
?
?
?
?
?
?
?
?
?
💡 第一视角：结果矩阵C的每个元素C[i,j]，是由A的第i行向量与B的第j列向量的内积得到。 动画展示了逐个计算每个元素的过程。

2.5 矩阵乘法第二视角

下面，我们介绍矩阵乘法的第二视角。

矩阵乘法第二视角：列向量×行向量的和

C = A[:,1]⊗B[1,:] + A[:,2]⊗B[2,:] + ... + A[:,p]⊗B[p,:]

速度:
步骤: 0 / 3
💡 第二视角：矩阵乘法可以分解为p个"列向量×行向量"的外积之和。每个外积产生一个m×n的矩阵C_k， 最终结果C是所有C_k的和。这个视角揭示了矩阵乘法的线性组合本质。

章节总结

关键要点

✖️
基础运算
乘除幂阶乘
📐
向量运算
内积与逐项积
🔢
矩阵乘法
两种理解视角
🔄
逆矩阵
求解方程组

乘除运算是数学运算的核心。 从基本的标量乘法到复杂的矩阵运算，理解不同层次的乘法对掌握线性代数至关重要。内积揭示了向量间的相似性和投影关系，矩阵乘法是线性变换的基础， 而逆矩阵则为求解线性方程组提供了工具。 这些概念在机器学习中无处不在：从线性回归的最小二乘解，到神经网络的前向传播， 再到主成分分析的协方差矩阵分解，都离不开这些基本运算。