← 返回Book 3目录
第12章

指数函数和对数函数

Exponential and Logarithmic Functions

指数增长、对数变换与对数刻度

📚 本章内容

本章介绍函数的高级主题,包括对数坐标系在数据可视化中的应用、 函数的平移缩放变换、高斯函数及其在统计学中的应用、 逻辑函数在分类和增长模型中的重要作用、三角函数的周期性特征, 以及函数的几何变换原理。

12.1
对数坐标系
12.2
函数变换
12.3
高斯函数:高斯分布之基础
12.4
逻辑函数:在0和1之间取值
12.5
三角函数:周期函数的代表
12.6
函数变换:平移、缩放、对称

12.1 对数坐标系

对数坐标系通过将坐标轴设置为对数刻度,可以更好地展示指数增长或幂次关系。 特别适用于观察数据的相对变化和倍数关系。

线性坐标:
观察绝对值
x轴对数:
适合幂函数
y轴对数:
适合指数函数
双对数:
幂次关系

对数坐标系

对比不同坐标刻度下的函数表现

246810246810xy

当前模式

线性坐标
两轴均为线性刻度

坐标刻度

函数图例

f(x) = 10^x
f(x) = x
f(x) = log(x)

📊 对数坐标的意义

• 线性坐标:适合观察绝对值变化

• 对数坐标:适合观察相对变化和倍数关系

• 指数函数:在y轴对数坐标下呈直线

• 幂函数:在双对数坐标下呈直线

• 应用:科学计数、数据分析、信号处理

12.2 函数变换

函数变换包括平移、缩放和对称等操作,是理解函数行为的基础工具。 这些变换在信号处理、图像处理和数据分析中有广泛应用。

基本变换类型:
平移: f(x) + c, f(x + c)
缩放: c·f(x), f(c·x)
对称: -f(x), f(-x)

函数变换

探索函数的平移、缩放和对称变换

xy-4-4-2-22244

当前变换

垂直平移
f(x) + 2
曲线沿y轴上移2个单位

变换类型

参数调节

图例

原始函数
变换后函数

🔄 变换规则

平移

• f(x) + c:垂直平移c

• f(x + c):水平平移-c

缩放

• c·f(x):y方向缩放c倍

• f(c·x):x方向缩放1/c倍

对称

• -f(x):关于x轴对称

• f(-x):关于y轴对称

12.3 高斯函数:高斯分布之基础

复合函数

复合函数(function composition)通俗地说就是函数套函数。 是把一个函数的输出数当做另一个函数的输入量为自变量。

高斯函数

自然指数函数套函数等和其他函数构造复合函数。比如,自然指数函数复合一次函数,得到高斯函数(Gaussian function):

f(x) = exp(−γx2)(10)

其中,γ为参数,γ > 0。高斯函数的定义域是(−∞, ∞),而值域是 (0, 1]。(10) 变出的高斯函数关于 x = 0 对称。

⚠ 注意,各种资源无穷远处是 0,却不到 0。

图 6 (a) 所示为 γ 决定高斯函数的形状。

(a)
xf(x)-2-1012012γ = 1γ = 2
(b)
xf(x)-2-1012012

图 6. 各种函数和拉普拉斯核函数

最基本的高斯函数为:

f(x) = exp(−x2)(11)

如下也是常用的高斯函数的一般形式:

拉普拉斯核函数

此外,绝对值函数 |x| 和指数函数的复合,得到的是另一个拉普拉斯核函数(Laplacian kernel function):

f(x) = exp(−γ|x|)(13)

图 6 (b) 所示为 γ 决定拉普拉斯核函数的形状。

⚠ 注意,图 6 (b) 中拉普拉斯核函数在 x = 0 处有"尖点", 它破坏了函数的平滑。拉普拉斯核函数也经常出现在机器学习一些法宝当中。

被称作数学王子的高斯,出身贫寒,母亲做过女佣近乎文盲,父亲多半生靠体力讨生活。据说, 高斯自幼喜欢读书,特别是和数学相关的书籍,渴望学习,热爱知识是他的驱动力,而不是颜如玉、黄金屋。

👤
卡尔·弗里德里希·高斯(Carl Friedrich Gauss)
德国数学家、物理学家、天文学家 | 1777 - 1855
● 常被称作"数学王子"
● 在数学的每个领域都上,从关键词
● 等差数列
● 高斯分布
● 最小二乘法
● 高斯消去法
● 高斯过程
● 高斯混合模型
● 高斯判别分析
● 高斯核函数
1770s
1780s
1785年,法国大革命
1790s
1800s
1804年,拿破仑称帝
1810s
1820s
1830s
1840s
1856年,第二次鸦片战争
1776年,《美国独立宣言》签署
1776年,瓦特改良蒸汽机
1799年,拿破仑夺权
1842年,中英签订《南京条约》,英占香港岛
1840年,中英第一次鸦片战争爆发
高斯

图 7. 高斯所处时代大事记

12.4 逻辑函数:在0和1之间取值

逻辑函数(logistic function)也可以说作是自然指数函数的复合函数。 下式为最简单的一元逻辑函数:

f(x) = 11 + exp(−x) = exp(x)1 + exp(x)(14)

更一般的一元逻辑函数形式为:

f(x) = 11 + exp(−(b1 + b2x))(15)

可以明显发现逻辑函数的取值范围在 0 和 1 之间。函数无限接近 0 和 1,却不能达到。如图 8 所示,b1 影响函数的陡峭程度。注意图中 b0 = 0。

b₁ = 1b₁ = 2b₁ = 3b₁ = 4b₁ = 5xf(x)001.0
b₁ = -5b₁ = -4b₁ = -3b₁ = -2b₁ = -1xf(x)001.0

图 8. b1 影响逻辑函数的陡峭程度

中心点位置

下面确定 f(x) = 1/2 位置。令,

f(x) = 11 + exp(−(b1 + b2x)) = 12(16)

整理得到:

x = −b0b1(17)

这个点被称作逻辑函数中心所在位置。图 9 中 b1 = 1,b0 决定逻辑函数中心所在位置。

b₀ = 2b₀ = 1b₀ = 0b₀ = -1b₀ = -2xy00.00.51.0

图 9. b1 = 1时,b0 决定逻辑函数中心所在位置

逻辑回归

逻辑回归(logistic regression)建模基于逻辑函数, 逻辑回归虽然被称作回归模型,但很奇怪。将来第二分类。

上一章我们看到线性回归中输出 y 是连续性,如表10所示,逻辑回归中 y 可以为离散值, 比如 0、1。因此,我们也可以把逻辑函数模型看成一个分类。 此外,逻辑回归可以看成是线性回归基础上增加了一个非线性连接点。

xy010

图 10. 逻辑回归可以看作二分类

逻辑斯蒂增长

自然界和人类社会中,指数增长 J 型增长(J-shaped growth) 一般只在一段时间内存在。各种条件会限制增长幅度,比如人口增长不可能一直指数增长保持下去, 伴随地球的承载能力(carrying capability)有限。

而逻辑曲线可以用来模拟人口增长的 S 型增长曲线(S-shaped growth curve), 如图 11 所示。S 型增长曲线中,开始阶段类似指数增长。

然后,随着种群密度不断增多,受限于有限资源,个体之间对食物、生存空间等资源竞争等越激烈, 守越越缓。增长逐渐停止,趋向于瓶颈。最后,增长逐渐停止,趋向于瓶颈。

Carrying capacityTime, tPopulation

图 11. 逻辑函数模拟人口增长

S型函数

逻辑函数虽是 S 型函数(sigmoid function 或 S-shaped function)的一种。 S 型函数因其函数图像形状类似字母 S 而得名。机器学习和深度学习中,S 型函数经常出现。

常见的 S 型函数还有双曲正切函数 f(x) = tanh(x)、 反正切函数 f(x) = arctan(x)、误差函数 f(x) = erf(x) 等。

💡 本书会在第 18 章专门讲多个 S 型函数。

一些代数函数也可以归类为 S 型函数,比如:

f(x) = x1 + |x|,   f(x) = x√(1 + x2)(18)
f(x) = 1/(1+exp(−x)) = exp(x)/(1+exp(x))f(x) = tanh(x) = (exp(x)−exp(−x))/(exp(x)+exp(−x))f(x) = x/(1+|x|)f(x) = x/√(1+x²)f(x) = (2/π)arctan((π/2)x)xf(x)010-1

图 12. 比较几种常用的 S 型函数曲线形状

tanh() 函数

在很多机器学习算法中,sigmoid 函数特指 tanh() 函数。 给定如下 tanh() 函数一般式:

f(x) = tanh(γx)(20)

图 13 所示为 γ 如何影响曲线形状。

γ = 2γ = 1.75γ = 1.5γ = 1.25γ = 1γ = 0.75γ = 0.5γ = 0.25x01.00.0-1.0

图 13. γ 影响双曲正切函数形状

12.5 三角函数:周期函数的代表

本节介绍常用的三角函数。三角函数(trigonometric function 或 circular function)是一类周期函数(periodic function)。

正弦函数

正弦函数(sine wave 或 sinusoid)是一种常见的波形。图 14 (a) 所示为如下正弦函数:

y = f(x) = sin(x)(21)

图 14 (a) 所示正弦函数是关义域为全体实数域。f(x) = sin(x) 函数是奇函数(odd function),关于原点对称。这个函数的周期(period)是 T = 2π,函数值域是 [−1, 1]。准确来说,这个周期 T 是最小正周期。

图 14 (a) 所示正弦函数取得最大值 1,对应的 x 为:

x = π/2 + 2πn(22)

其中,n 为整数。

正弦函数的极小值为 −1 对应 x 为:

x = −π/2 + 2πn(23)

numpy.sin() 函数可以用来完成正弦计算。

T = 2π−π0π2π10−1xy

图 14 (a). 正弦函数 y = sin(x)

余弦函数

图 14 (b) 所示为如下余弦函数(cosine function):

y = f(x) = cos(x)(24)

图 14 (b) 所示余弦函数是偶函数,关于纵轴对称。y = cos(x) 相当于图 14 (a) 正弦函数水平向左平移 π/2。余弦函数也是周期为 2π 的周期函数。numpy.cos() 函数可以用来完成余弦计算。

T = 2π−π0π2π10−1xy

图 14 (b). 余弦函数 y = cos(x)

六个三角函数总结

表 3 总结了六个常用三角函数图像及性质。

函数性质图像特征
正弦 (sine)
y = sin(x)
numpy.sin()
定义域:整个实数集
值域:[−1, 1]
最小正周期:2π
奇函数,图像关于原点对称
极大值为 1,极小值为 −1
周期波动,过原点
余弦 (cosine)
y = cos(x)
numpy.cos()
定义域:整个实数集
值域:[−1, 1]
最小正周期:2π
偶函数,图像关于 y 轴对称
极大值为 1,极小值为 −1
周期波动,从最大值开始
正切 (tangent)
y = tan(x)
numpy.tan()
定义域:{x | x ≠ kπ + π/2, k ∈ ℤ}
值域:整个实数集
最小正周期:π
奇函数,图像关于原点对称
不存在极值
有垂直渐近线
余切 (cotangent)
y = cot(x)
1/numpy.tan()
定义域:{x | x ≠ kπ, k ∈ ℤ}
值域:整个实数集
最小正周期:π
奇函数,图像关于原点对称
不存在极值
有垂直渐近线
正割 (secant)
y = sec(x)
1/numpy.cos()
定义域:{x | x ≠ kπ + π/2, k ∈ ℤ}
值域:| sec(x) | ≥ 1
最小正周期:2π
偶函数,图像关于 y 轴对称
不存在极值
U型曲线,有渐近线
余割 (cosecant)
y = csc(x)
1/numpy.sin()
定义域:{x | x ≠ kπ, k ∈ ℤ}
值域:| csc(x) | ≥ 1
最小正周期:2π
奇函数,图像关于原点对称
不存在极值
U型曲线,有渐近线

用英文读三角函数

表 4 给出了用英文读三角函数的方法。

数学表达英文表达
sin θ + xSine of theta, that quantity plus x.
sin (θ + ω)
Sine of sum theta plus omega.
Sine of the quantity theta plus omega.
sin (θ) · xSine theta times x.
sin (θω)Sine of the product theta time omega.
(sin θ²) · xSine of theta squared, that quantity times x.
(sin² θ) · xSine squared of theta, that quantity times x.

12.6 函数变换:平移、缩放、对称

本章最后利用高斯函数和大家探讨函数变换。常见的函数变换有三种:平移、缩放和对称。

给定某个函数 y = f(x) 解析式为:

f(x) = 2 exp(−(x − 1)²)(25)

平移

如图 15 所示,相对 y = f(x),f(x) + c 竖直向上平移 c 单位(vertical shift up by c units);f(x) − c 将原函数竖直向下平移 c 单位(vertical shift down by c units)。

+2f(x)f(x) + 2xy−204−224
−2f(x)f(x) − 2xy

图 15. 原函数 y = f(x) 上下平移

如图 16 所示,相对 y = f(x),f(x + c) 相当于函数向左平移 c 单位(horizontal shift left by c units),c > 0;f(x − c) 相对原函数向右平移 c 单位(horizontal shift right by c units)。

⚠注意,水平平移不影响函数图像和横轴色调的面积。

←f(x)f(x + 3)xy
→f(x)f(x − 1)xy

图 16. 原函数 y = f(x) 左右平移

缩放

如图 17 所示,相对 y = f(x),c·f(x) 相当于函数竖直方向缩放(vertical scaling)。c > 1 时,c·f(x) 竖直方向拉伸(vertical stretch);0 < c < 1 时,c·f(x) 竖直方向压缩(vertical compression)。

⚠注意,这种几何变换会比例缩放面积。

×2f(x)2f(x)xy
×0.5f(x)0.5f(x)xy

图 17. 原函数 y = f(x) 竖直方向伸缩

如图 18 所示,相对 y = f(x),f(cx) 相当于函数水平方向伸缩(horizontal scaling)。c > 1 时,水平方向压缩(horizontal compression);0 < c < 1 时,水平方向拉伸(horizontal stretch)。面积比例缩放比例为 1/c。

如图 19 所示,相对于 f(x),c·f(cx) 面积不变。

f(x)f(2x)xy
f(x)f(0.5x)xy

图 18. 原函数 y = f(x) 水平方向伸缩

f(x)2f(2x)xy
f(x)0.5f(0.5x)xy

图 19. 原函数 y = f(x) 水平方向、竖直方向同时伸缩

对称

如图 20 所示,相对 y = f(x),−f(x) 相当于函数关于 y 轴对称(reflection about y axis)。−f(x) 相当于函数关于 x 轴对称(reflection about x axis)。而 f(x) 和−f(−x) 关于原点对称。

f(x)−f(x)f(−x)−f(−x)xy0
f(x)−f(x)xy0

图 20. 原函数 y = f(x) 关于横轴、纵轴对称

从高斯函数到高斯分布

一元高斯分布的概率密度函数表达式如下:

p(x) = (1 / (σ√(2π))) exp(−(1/2)(((x − μ) / σ)²))(26)

其中,μ 为均值,σ 为标准差。

高斯分布的概率密度函数数学形式可以通过这些几何变换理解。

观察式 (26) 中括号部分存在两个函数变换——横轴缩放 (σ)、横轴平移 (μ)。令:

z = (x − μ) / σ(27)

将 (27) 代入 (26),变型得到:

f(x) = (1 / (σ√(2π))) exp(−z² / 2)(28)

(28) 中分母 σ√(2π),还到竖直方向缩放作用,保证曲线下方面积为 1。理解这步需要换变量积分知识,图 21 所示为以上三步几何变换。

Gaussian functionHorizontal scalingHorizontal shiftVertical scalingGaussian PDFArea = 1

图 21. 高斯函数三步几何变换

章节总结

关键要点

📉
对数坐标
相对变化与倍数关系
🔄
函数变换
平移、缩放、对称
📊
高斯函数
钟形曲线与正态分布
📈
逻辑函数
S型曲线与分类模型
〰️
三角函数
周期函数与波动
🔀
几何变换
平移缩放与对称

核心概念

  • ▸对数坐标系中,指数函数在y轴对数下呈直线,幂函数在双对数下呈直线
  • ▸垂直平移 f(x) + c 使函数沿 y 轴移动 c 个单位
  • ▸水平平移 f(x + c) 使函数沿 x 轴移动 -c 个单位(注意方向相反)
  • ▸垂直缩放 c·f(x) 在 y 方向拉伸或压缩 c 倍
  • ▸水平缩放 f(c·x) 在 x 方向拉伸或压缩 1/c 倍(注意是倒数)
  • ▸对称变换:-f(x) 关于 x 轴对称,f(-x) 关于 y 轴对称
  • ▸高斯函数 f(x) = exp(−γx²) 是关于原点对称的钟形曲线,是正态分布的基础
  • ▸拉普拉斯核函数 f(x) = exp(−γ|x|) 在 x = 0 处有尖点,但仍是对称函数
  • ▸逻辑函数取值范围在 (0, 1) 之间,形成 S 型曲线,广泛用于分类和增长建模
  • ▸S 型函数(sigmoid)包括逻辑函数、tanh、arctan等,在机器学习中作为激活函数
  • ▸正弦函数 sin(x) 和余弦函数 cos(x) 是周期为 2π 的周期函数,值域为 [−1, 1]
  • ▸六个三角函数包括 sin、cos、tan、cot、sec、csc,分为奇函数和偶函数
  • ▸函数的几何变换:垂直平移 f(x) ± c、水平平移 f(x ± c)、垂直缩放 c·f(x)、水平缩放 f(c·x)
  • ▸对称变换:−f(x) 关于 x 轴对称,f(−x) 关于 y 轴对称,−f(−x) 关于原点对称
  • ▸高斯分布可通过水平缩放、水平平移、垂直缩放三步几何变换从高斯函数得到

🎯 实际应用

科学计数

对数坐标适合展示跨多个数量级的数据,如地震强度、星球亮度等。

信号处理

函数变换用于信号的时移、缩放和调制,是数字信号处理的基础。

数据分析

通过对数变换将指数增长的数据线性化,便于回归分析和模式识别。

图像处理

函数变换应用于图像的平移、缩放、翻转等几何变换操作。