Visualize-ML

"没有事实，只有解释。"

"There are no facts, only interpretations."

—— 弗里德里希·尼采 (Friedrich Nietzsche) | 德国哲学家 | 1844 ~ 1900

🐍Python工具箱

matplotlib.pyplot.axvline()

绘制竖直线

matplotlib.pyplot.fill_between()

区域填充颜色

numpy.cumsum()

累加

scipy.stats.bernoulli.rvs()

伯努利分布随机数

scipy.stats.beta()

Beta分布

本章概览

🎯 核心内容

• 贝叶斯推断基本思想
• 先验、似然、后验、证据
• 走地鸡兔问题实例
• 迭代式贝叶斯学习
• MAP vs MLE 对比

📐 关键公式

• 后验 = 联合 / 证据
• 后验 ∝ 似然 × 先验
• 联合 = 似然 × 先验
• 证据 = ∫ 联合 dθ
• MAP = argmax 后验

✦

20.1

贝叶斯推断：更贴合人脑思维

Bayesian Inference: More Aligned with Human Brain

本章和下一章的关键就是如何理解、应用贝叶斯推断公式。在正式介绍这个公式之前，本节先用白话聊聊什么是贝叶斯推断 (Bayesian inference)。

⚠️ 一个让人"头大"的公式

贝叶斯推断核心公式：

f_Θ|X(θ|x) = f_X,Θ(x,θ) / f_X(x)

后验分布 = 联合分布 / 证据因子

f_Θ|X(θ|x) = [f_X|Θ(x|θ) · f_Θ(θ)] / ∫ f_X|Θ(x|θ) · f_Θ(θ) dθ

后验 = (似然 × 先验) / 证据

∝

f_Θ|X(θ|x) ∝ f_X|Θ(x|θ) · f_Θ(θ)

后验 ∝ 似然 × 先验

📌 重要说明：这个公式还有很多其他常见写法，有些书用 y 代替 x，也有用 π() 代表概率密度/质量分布函数。本章试图用最简单的例子帮大家敲碎这块"巨石"。

🧠 什么是贝叶斯推断？

本书第16章介绍过，在贝叶斯学派眼里，模型参数本身也是随机变量，也服从某种分布。

核心思想

在以往的经验（先验概率）基础上，结合新的数据，得到新的概率（后验概率）。而模型参数分布随着外部样本数据不断输入而迭代更新。

🎯 贝叶斯学派

• 考虑先验概率
• 参数是随机变量
• 结合经验和数据
• 得到后验分布
• 可以迭代更新

📊 频率学派

• 不考虑先验概率
• 参数是固定值
• 只考虑样本数据
• 得到点估计
• 需要大量样本

💡 关键观点：依我看来，人脑的运作方式更贴近贝叶斯推断。

贝叶斯推断：人脑的思维方式

人脑：一台贝叶斯推断机器

在以往的经验（先验概率）基础上，结合新的数据，得到新的概率（后验概率）

🧠

先验概率

Prior

• 日常经验积累

• 主观信念

• 历史数据

• 领域知识

📊

新数据

Data

• 当前观察

• 实时输入

• 环境反馈

• 似然信息

🎯

后验概率

Posterior

• 更新后的信念

• 融合经验与数据

• 新的认知

• 下一次先验

后验∝似然×先验

Posterior ∝ Likelihood × Prior

🧠 贝叶斯学派

• 参数是随机变量，有分布

• 考虑先验知识和经验

• 结果是概率分布

• 小样本时更可靠

• 可以迭代更新

📊 频率学派

• 参数是固定未知值

• 只依赖样本数据

• 结果是点估计

• 需要大样本

• 地毯式搜索

🎯 贝叶斯推断核心思想

🧠

更贴合人脑

人脑运作方式就是贝叶斯推断

🔄

迭代更新

后验变先验，持续学习进化

📊

整合信息

经验 + 数据 = 智慧决策

📱 找手机：贝叶斯推断的日常应用

试想你一早刚出门的时候发现忘带手机，大脑第一反应是——手机最可能在哪？

🧠 贝叶斯推断因素

1. 先验经验：
日复一日"找手机"的经验

2. 最新数据：
"今早、昨晚在哪用过手机"

🔄 迭代更新过程

• 昨晚睡前刷手机 → 床上可能性最高
• 床上没找到 → 马桶附近可能性上升
• 马桶也没有 → 沙发茶几可能性增加
• 持续更新，直到找到！

⚠️ 对比思考：如果大脑没有"经验 + 最新数据"，我们会怎么找手机？很可能会像扫地机器人一样，"逐点扫描"，把整个屋子从里到外歇斯底里地翻一遍。这种地毯式"采样"就类似频率派的做法。

🔄 迭代学习：贝叶斯推断的核心机制

这个找手机的过程告诉我们，贝叶斯推断常常迭代使用。在引入新的样本数据后，先验概率产生后验概率。而这个后验概率也可以作为新的先验概率，再根据最新出现的数据，更新后验概率，如此往复。

先验

数据

→

后验

→

新先验

...

👶 个人学习

人生来就是一个"学习机器"， "前事不忘后事之师"。通过不断学习（数据输入），我们不断更新自己对世界的认知（更新模型参数）。

🌍 人类认知

人类认识世界的机制也是贝叶斯推断。在新的数据影响下，人类一次次创造、推翻、重构知识体系。这个过程循环往复，不断推动人类认知进步。

🔬 科学发展

地心说被推翻后，日心说成为主流。牛顿力学体系横空出世。当人们以为物理学大功告成，蓝天之上又飘来了两朵乌云...

💡 深层含义：这个过程从出生一直持续到离开这个世界为止。往大了说，人类认识世界的机制又何尝不是贝叶斯推断。

🎯 20.1 关键要点

贝叶斯推断定义

• 后验 = (似然 × 先验) / 证据
• 后验 ∝ 似然 × 先验
• 参数是随机变量
• 融合经验和数据

更贴合人脑

• 人脑运作方式
• 找手机的例子
• 迭代式学习
• 持续更新认知

💡 核心洞察

• 图1：人脑是贝叶斯推断机器
• 图2：找手机示例图
• 图3：通过贝叶斯定理迭代学习
• 关键公式：后验 ∝ 似然 × 先验
• 核心思想：经验 + 数据 → 智慧决策
• 实际应用：从个人学习到人类文明进步

✦

20.2

从一元贝叶斯公式说起

Univariate Bayesian Formula

本节将详细讲解贝叶斯推断的五个核心要素：先验、似然、联合、证据、后验。

一元贝叶斯公式详解

贝叶斯推断五要素

先验分布

Prior Distribution

f_Θ(θ)

引入任何观测数据之前，参数Θ的概率分布

似然分布

Likelihood Distribution

f_{X|Θ}(x|θ)

给定参数θ条件下，观察到数据X的分布

联合分布

Joint Distribution

f_{X,Θ}(x,θ) = f_{X|Θ}(x|θ) · f_Θ(θ)

X和Θ的联合分布 = 似然 × 先验

证据因子

Evidence

f_X(x) = ∫ f_{X,Θ}(x,θ) dθ

X的边缘分布，对θ积分消去θ，与θ无关

后验分布

Posterior Distribution

f_{Θ|X}(θ|x) = f_{X,Θ}(x,θ) / f_X(x)

给定X=x条件下，Θ的条件概率分布

贝叶斯定理推导流程

联合分布

f_X,Θ(x,θ) = f_X|Θ(x|θ) · f_Θ(θ)

↓

证据因子（对θ积分）

f_X(x) = ∫ f_X,Θ(x,θ) dθ

↓

后验分布（条件概率）

f_Θ|X(θ|x) = f_X,Θ(x,θ) / f_X(x)

f_Θ|X(θ|x) = [f_X|Θ(x|θ) · f_Θ(θ)] / f_X(x)

后验 = (似然 × 先验) / 证据

∝

f_Θ|X(θ|x) ∝ f_X|Θ(x|θ) · f_Θ(θ)

后验 ∝ 似然 × 先验

📌 关键要点

• 先验、后验是关于参数的分布

• 似然是给定参数下数据的分布

• 联合 = 似然 × 先验

• 证据通过积分消去参数θ

• 后验 = 联合 / 证据

⚠️ 重要说明

• 统一使用f()表示所有分布

• 不区分PDF和PMF

• 积分可能没有解析解

• 需要数值积分或蒙特卡洛

• 正比关系在实际中常用

🔑 正比关系

通过前两章的学习，我们知道后验与先验和似然乘积成正比：

f_Θ|X(θ|x) ∝ f_X|Θ(x|θ) · f_Θ(θ)

公式(6)：后验 ∝ 似然 × 先验

✓ 实用价值

• 避免计算复杂积分
• 证据因子仅作归一化
• 比较不同θ的相对大小
• 找到最大后验MAP

⚠️ 局限性

• 无法得到真正概率密度
• 蒙特卡洛模拟需完整公式
• 积分可能无解析解
• 需要数值方法（第22章）

💡 注意：本章例子中为了方便蒙特卡洛模拟，我们还是要完成 ∫ f_X|Θ(x|θ) · f_Θ(θ) dθ 积分。此外，这个积分很可能没有解析解（闭式解），可能需要用到数值积分或蒙特卡洛模拟。

🎯 20.2节核心总结

五个要素

先验、似然、联合、证据、后验

核心公式

后验 = (似然 × 先验) / 证据

正比关系

后验 ∝ 似然 × 先验

🔵 先验分布 (Prior Distribution)

在引入任何观测数据之前，未知参数 Θ 本身是随机变量，自身对应概率分布为 f_Θ(θ)，这个分布叫做先验分布。

f_Θ(θ)

先验分布函数

符号说明

• Θ：随机变量（大写希腊字母）
• θ：变量（小写希腊字母）
• Θ = θ：随机变量取值为θ
• f_Θ(θ)：参数的概率分布

关键特征

• 独立于观测数据
• 代表主观经验或信念
• 可以是历史数据
• 可以是领域知识

🟢 似然分布 (Likelihood Distribution)

在 Θ = θ 条件下，观察到的数据 X 的分布为似然分布 f_X|Θ(x|θ)。似然分布是一个条件概率。当 Θ = θ 取不同值时，似然分布 f_X|Θ(x|θ) 也有相应变化。

f_X|Θ(x|θ)

给定参数θ，数据X的条件概率分布

与MLE的联系

• 第17章介绍的最大似然估计
• 目标函数是似然函数的连乘
• 第17章用 f_X(x;θ)
• 本章用 f_X|Θ(x|θ)
• 对数似然：连乘变连加

关键理解

• 条件概率分布
• θ 不同，分布不同
• 描述数据生成过程
• 给定参数看数据

🟣 联合分布 (Joint Distribution)

根据贝叶斯定理，X 和 Θ 的联合分布为：

f_X,Θ(x,θ) = f_X|Θ(x|θ) · f_Θ(θ)

公式(3)：联合 = 似然 × 先验

联合分布

f_X,Θ(x,θ)
包含X和Θ的完整信息

似然

f_X|Θ(x|θ)
给定θ看数据

先验

f_Θ(θ)
参数的初始分布

📌 重要说明：为了方便，在贝叶斯推断中，我们不再区分概率密度函数PDF、概率质量函数PMF，所有概率分布均用 f() 记号。

🟠 证据因子 (Evidence)

如果 X 为连续随机变量，X 的边缘概率分布为：

f_X(x) = ∫ f_X,Θ(x,θ) dθ

= ∫ f_X|Θ(x|θ) · f_Θ(θ) dθ

公式(4)：证据 = ∫ 联合 dθ = ∫ 似然 × 先验 dθ

偏积分

• 联合分布对 θ "偏积分"
• 消去了参数 θ
• 积分结果与 θ 无关
• 只和观测数据 x 有关

关键性质

• 也叫边缘分布
• 与 θ 无关
• 归一化常数
• 观测数据不影响先验
• 与前两章叫法一致

💡 关键理解：f_X(x) 和 θ 无关，这意味着观测到的数据对先验的选择没有影响。

🔴 后验分布 (Posterior Distribution)

给定 X = x 条件下，Θ 的条件概率为：

f_Θ|X(θ|x) = f_X,Θ(x,θ) / f_X(x)

后验 = 联合 / 证据

f_Θ|X(θ|x) = [f_X|Θ(x|θ) · f_Θ(θ)] / ∫ f_X|Θ(x|θ̃) · f_Θ(θ̃) dθ̃

公式(5)：后验 = (似然 × 先验) / 证据

定义与含义

• 给定数据X=x的条件概率
• 整合"先验 + 样本数据"
• 对参数Θ的新"认识"
• 贝叶斯推断的最终结果

迭代学习

• 可作为下次迭代的先验
• 持续更新认知
• 循环往复学习
• 知识不断积累

📌 注意：为了避免混淆，分母中的积分变量用了花写 θ̃ 。后验分布是下一个迭代的先验概率分布。

⚖️ 正比关系

通过前两章的学习，我们知道后验与先验和似然乘积成正比：

f_Θ|X(θ|x) ∝ f_X|Θ(x|θ) · f_Θ(θ)

公式(6)：后验 ∝ 似然 × 先验

✓ 优势

• 避免复杂积分计算
• 证据因子仅归一化
• 比较相对大小即可
• 找MAP不需要证据

⚠️ 限制

• 无法得到真正概率密度
• 蒙特卡洛需完整公式
• 积分可能无解析解
• 第22章讲数值方法

💡 重要说明：但是为了得出真正的后验概率密度，本章的例子中我们还是要完成 ∫ f_X|Θ(x|θ) · f_Θ(θ) dθ 积分。此外，这个积分很可能没有解析解（闭式解），可能需要用到数值积分或蒙特卡洛模拟。这是本书第22章要讲解的内容之一。

📝 重要说明

注意：先验分布、后验分布是关于模型参数的分布。此外，通过一定的转化，我们可以把似然函数也变成有关模型参数的"分布"。

下面，我们便结合实例讲解贝叶斯推断。

→ 第20.3节将通过"走地鸡兔"问题具体演示贝叶斯推断的完整过程

🎯 20.2 关键要点

五个要素

• 先验 f_Θ(θ)
• 似然 f_X|Θ(x|θ)
• 联合 = 似然 × 先验
• 证据 = ∫ 联合 dθ
• 后验 = 联合 / 证据

核心公式

• 公式(3)：联合分布
• 公式(4)：证据因子
• 公式(5)：后验分布
• 公式(6)：正比关系
• 后验 ∝ 似然 × 先验

关键理解

• 参数是随机变量
• 统一用f()表示
• 积分可能无解析解
• 正比关系很实用
• 为实例做准备

💡 核心洞察

• 先验：独立于数据，代表经验
• 似然：给定参数看数据，条件概率
• 联合：似然 × 先验，包含完整信息
• 证据：对θ积分，归一化常数
• 后验：给定数据看参数，整合结果
• 正比：后验 ∝ 似然 × 先验，实用简化

✦

20.3

走地鸡兔：比例完全不确定

Free-range Chickens and Rabbits: Completely Uncertain Ratio

回到本书第16章"鸡兔同笼"的例子。一个巨大无比农场散养大量"走地"鸡、兔。但是，农夫自己也说不清楚鸡兔的比例。

🐰 问题设定

参数定义

• Θ：兔子比例随机变量
• 取值范围：[0, 1]
• Θ = 0.5：50%兔、50%鸡
• Θ = 0.3：30%兔、70%鸡

抽样过程

• 随机抓取n只动物
• X₁, X₂, ..., X_n：抽样结果
• X_i = 0：鸡
• X_i = 1：兔
• 忽略对总体影响

走地鸡兔：比例完全不确定

贝叶斯推断蒙特卡洛模拟

真实兔子比例 θ

45%

抽样速度

50/s

总样本数 n

兔子数 s

鸡数 n-s

观测比例

抽样结果（红点=鸡，蓝点=兔）

🎯 20.3节核心总结

先验

Uniform(0,1) = Beta(1,1)

似然

Bernoulli(θ) IID

后验

Beta(s+1, n-s+1)

特点

无信息先验

🔵 先验：完全不确定

由于农夫完全不确定鸡兔的比例，我们选择连续均匀分布 Uniform(0, 1) 为先验分布。

f_Θ(θ) = 1, θ ∈ [0,1]

公式(7)：均匀先验分布

图4：均匀分布

• [0, 1] 区间上的均匀分布
• 兔子比例可以是任意值
• 所有可能性相同
• 平坦的直线

无信息先验

• 没有先验信息也不要紧
• 可以用常数或均匀分布
• Uninformative prior
• 完全依赖样本数据

📌 关键强调：先验分布代表我们对模型参数的"主观经验"，先验分布的选择独立于"客观"样本数据。

🟢 似然：伯努利分布

给定 Θ = θ 条件下，X₁, X₂, ..., X_n 服从 IID 的伯努利分布 Bernoulli(θ)。

f_{X_i|Θ}(x_i|θ) = θ^x_i(1-θ)^1-x_i

公式(8)：伯努利分布

符号含义

• θ：兔子比例 [0,1]
• 1-θ：鸡的比例
• x_i = 0：鸡
• x_i = 1：兔

IID假设

• Independent
• Identically
• Distribution
• 独立同分布

图5：似然

• θ是未知量
• 概率质量函数
• 离散分布
• 两个可能值

💡 IID含义：在随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。

🟣 联合分布

因此，X₁, X₂, ..., X_n, Θ 的联合分布为：

f(x₁,x₂,...,x_n,θ) = f(x₁|θ)·f(x₂|θ)·...·f(x_n|θ)·f(θ)

= ∏_i=1ⁿ θ^x_i(1-θ)^1-x_i

= θ^s(1-θ)^n-s

公式(9-11)：联合分布，其中 s = Σx_i

简化过程

• 连乘变成指数相加
• 令 s = Σx_i
• s：n次中兔子总数
• n-s：n次中鸡的总数

公式(11)

• 简洁的形式
• θ^s(1-θ)^n-s
• 只依赖s和n
• 充分统计量

🟠 证据：Beta函数

证据因子可以通过联合分布对 θ "偏积分"得到：

f(x₁,...,x_n) = ∫₀¹ θ^s(1-θ)^n-s dθ

= B(s+1, n-s+1)

= s!·(n-s)! / (n+1)!

公式(12-13)：证据因子 = Beta函数

Beta函数

• 第7章介绍过
• B(s+1, n-s+1)
• 利用Beta函数性质
• "逃过"积分运算

图6：等高线

• B(s+1, n-s+1) 函数
• 随s、n变化
• 平面等高线图
• 积分结果与θ无关

⚠️ 再次强调：在贝叶斯推断中，上述积分很可能没有解析解。本例中幸运地用Beta函数性质得到了解析解。

🔴 后验：Beta分布

在 X₁ = x₁, X₂ = x₂, ..., X_n = x_n 条件下，Θ 的后验分布为：

f_Θ|X(θ|x) = f(x,θ) / f(x)

= [θ^s(1-θ)^n-s] / B(s+1, n-s+1)

= θ^s+1-1(1-θ)^(n-s+1)-1 / B(s+1, n-s+1)

公式(14)：后验分布 = Beta(s+1, n-s+1)

惊奇发现

上式对应
Beta(s+1, n-s+1)
分布！

总结

先验 U(0,1)
+ 样本 (s, n-s)
→ 后验 Beta(s+1, n-s+1)

图7

不同(s, n-s)
对应不同
后验分布形状

💡 重要注意：实际上 Uniform(0, 1) 就是 Beta(1, 1)。马上，我们把蒙特卡洛模拟结果代入后验概率 Beta(s+1, n-s+1)，这样就可以看到后验分布的形状。

⚖️ 正比关系应用

公式(14)中分母 B(s+1, n-s+1) 的作用是条件概率归一化。实际上，根据公式(6)，我们只需要知道：

f_Θ|X(θ|x) ∝ f(x|θ)·f(θ) = θ^s(1-θ)^n-s

公式(15)：后验 ∝ 似然 × 先验

前两章应用

• 在贝叶斯分类中看到
• 正比关系很实用
• 避免复杂积分
• 比较相对大小即可

本节处理

• 为方便蒙特卡洛模拟
• 使用完整解析式
• Beta(s+1, n-s+1)
• 可以直接采样

🎲 蒙特卡洛模拟

下面，我们编写代码来进行上述贝叶斯推断的蒙特卡洛模拟。

图8(a)：样本数据

• 伯努利随机数生成器
• 真实比例假设 0.45
• 红点=鸡(0)
• 蓝点=兔(1)
• 频率派只看数据

图8(b)：比例变化

• 从下到上显示
• 鸡兔比例变化
• n不断增大
• 比例趋于稳定
• 逼近真实值0.45

图8(c)：后验演化

• 后验分布曲线渐变
• 随样本不断导入
• 观察有趣规律
• 分布变细高
• 峰值逼近真值

🔬 观察要点：通过图8(a)样本数据做推断便是频率学派的思路。频率学派依靠样本数据，而不引入先验概率（已有知识或主观经验）。当样本数量较大时，频率学派可以做出合理判断；但是，当样本数量很小时，频率学派做出的推断往往不可信。

🎯 20.3 关键要点

完整流程

• 先验：Uniform(0,1)
• 似然：Bernoulli(θ)
• 联合：θ^s(1-θ)^n-s
• 证据：Beta函数
• 后验：Beta(s+1, n-s+1)

核心公式

• 公式(7)：均匀先验
• 公式(8)：伯努利似然
• 公式(11)：联合分布
• 公式(13)：Beta函数
• 公式(14)：Beta后验

关键观察

• 图4：均匀先验
• 图5：似然分布
• 图6：Beta函数等高线
• 图7：不同后验形状
• 图8：蒙特卡洛模拟

💡 核心洞察

• 无信息先验：完全不确定，用均匀分布
• 伯努利过程：IID假设，抽样独立同分布
• Beta函数：利用性质避免复杂积分
• Beta后验：惊奇发现后验是Beta分布
• 共轭先验：先验和后验同族（都是Beta）
• 蒙特卡洛：动态观察后验演化过程
• 两个细节：分布变细高、峰值逼近真值

✦

20.4

走地鸡兔：很可能一半一半

Likely 50-50 Ratio with Different Confidence Levels

本节我们更换场景，假设农夫认为鸡兔的比例接近 1:1，也就是说，兔子的比例为 50%。但是，农夫对这个比例的确信程度不同。

走地鸡兔：很可能一半一半

Beta(α, α) 先验分布：不同确信程度

农夫认为鸡兔比例接近1:1，即兔子比例为50%。但是对这个比例的确信程度不同。

f_Θ(θ) = θ^α-1(1-θ)^α-1 / B(α,α)

公式(22)：Beta(α, α) 先验分布

参数 α:

4.0

Beta(4, 4)

均值: 0.5000

众数: 0.5000

标准差: 0.1667

方差: 0.0278

对称性: Beta(α,α)

峰值位置: θ = 0.5

α < 1

特别"清奇"观点
农场要么都是鸡
要么都是兔
两端概率高

α = 1

Uniform(0,1)
不持立场
无信息先验
完全平坦

α > 1

确信比例1:1
α越大越确信
分布越细高
方差越小

图16：Beta(α, α) 方差随参数α变化

α越大，方差越小，分布越细高，确信度越高

🎯 20.4节核心总结

先验

Beta(α,α) 对称分布

确信度

α↑ → 方差↓ → 确信↑

后验

Beta(s+α, n-s+α)

糅合

先验+似然→后验

🔵 先验：Beta(α, α)

由于农夫认为鸡兔的比例为 1:1，我们选用 Beta(α, α) 作为先验分布。

f_Θ(θ) = θ^α-1(1-θ)^α-1 / B(α,α)

公式(22)：Beta(α, α) 概率密度函数

B(α,α) = Γ(α)·Γ(α) / Γ(2α)

公式(23)：Beta函数

📌 再次强调：选取 Beta(α, α) 和样本无关，Beta(α, α) 代表事前主观经验。

📊 不同确信程度

图15 所示为 α 取不同值时 Beta(α, α) 分布 PDF 图像。

图15(a-b): α ≤ 1

• Beta(0.5, 0.5)：U形
• Beta(1, 1)：平坦
• 特殊分布形状
• 无信息或极端

图15(c-d): 1 < α ≤ 4

• Beta(2, 2)
• Beta(4, 4)
• 开始凸起
• 确信度较低

图15(e-f): α > 4

• Beta(8, 8)
• Beta(16, 16)
• 分布细高
• 确信度高

Beta(α, α) 的性质

对称性：图像对称

均值：1/2

众数：1/2

方差：1/(8α+4)

峰值：θ = 0.5

标准差：√[1/(8α+4)]

α < 1

特别"清奇"观点
农场要么都是鸡
要么都是兔
两端概率高

α = 1

Uniform(0,1)
不持立场
无信息先验
Beta(1,1)

α > 1

确信比例1:1
α越大越确信
分布越细高
方差越小

💡 图16观察：α 越大 Beta(α, α) 的方差越小，这意味着先验分布的图像越窄、越细高，这代表农夫对兔子比例为 50% 这个观点的确信度越高。本章后文会用 Beta 分布的标准差作为"确信程度"的度量，原因是标准差和众数、均值量纲一致。

📌 本节模拟：参数 α 的取值分为 2、16 两种情况。 α = 2 代表农夫认为兔子的比例大致 50%，但是确信度不高。 α = 16 则对应农夫认为兔子的比例很可能 50%，但是绝不排除其他比例的可能性，确信度相对高很多。

🟢 似然与归一化

和前文一致，给定 Θ = θ 条件下，X₁, X₂, ..., X_n 服从 IID 的伯努利分布 Bernoulli(θ)。

f_{X_i|Θ}(x_i|θ) = θ^x_i(1-θ)^1-x_i

公式(24)：伯努利分布

f(x₁,...,x_n|θ) = θ^s(1-θ)^n-s

公式(25)：似然函数

二项分布

• 公式(25)本质是二项分布
• 若干独立伯努利分布
• C_ns 与 θ 无关
• 提供缩放作用

两种视角

• 第5章：给定θ，计算n次中s次成功概率
• 本章：给定n次中s次成功，θ连续变化

归一化似然（公式27-29）

为了和先验分布、后验分布直接比较，需要归一化：

f_X|Θ(x|θ) = C_ns·θ^s(1-θ)^n-s / ∫ C_ns·θ^s(1-θ)^n-s dθ

= (n+1) · C_ns · θ^s(1-θ)^n-s

这样似然函数曲线和横轴围成的面积也是 1。

💡 图17观察：图17(a) 所示为一组似然分布，其中 n = 20，曲线 s 的取值为 1~19 整数。 θ 是在 (0,1) 区间上连续变化。图17(b) 所示为归一化后的似然分布。

🔄 似然函数的Beta视角

换个视角，看到公式(25)这种形式，大家是否立刻想到，这不正是一个Beta分布！缺的就是归一化系数！

补齐归一化系数

θ^s(1-θ)^n-s → θ^(s+1)-1(1-θ)^(n-s+1)-1

= Beta(s+1, n-s+1) 分布！（公式30）

图18：MLE位置

• 似然函数最大值位置：s/n
• 这就是MLE的解
• Beta(s+1, n-s+1) 的众数
• 众数 = (s+1-1)/(s+1+n-s+1-2) = s/n

似然 = 后验？

• 回看公式(14)
• 20.3节后验：Beta(s+1, n-s+1)
• 相当于"不持立场"
• 一切以客观样本为准

包含关系

• 贝叶斯推断"包含了"频率推断
• MLE 是 MAP 的特例
• 特例：无信息先验
• 统一框架

⚖️ 先验 vs 似然 vs 后验

图19/20 对比先验分布 Beta(α, α)、似然分布 Beta(s+1, n-s+1)、后验分布 Beta(s+α, n-s+α)。

先验 Beta(α,α)

• 粉色曲线
• 峰值：θ = 1/2
• α越大越细高
• 主观经验

似然 Beta(s+1,n-s+1)

• 灰色曲线
• 峰值：MLE = s/n
• 只看数据
• 频率派

后验 Beta(s+α,n-s+α)

• 蓝/紫色曲线
• 峰值：MAP
• 融合先验和数据
• 贝叶斯派

🎯 直觉启示：比较这三个分布，直觉告诉我们后验分布 Beta(s+α, n-s+α) 好像是先验分布 Beta(α, α)、似然分布 Beta(s+1, n-s+1) 的某种"糅合"！本章最后会继续这个思路探讨贝叶斯推断。

🔴 后验推导

完整推导后验分布 Beta(s+α, n-s+α)。

联合分布（公式32）

f(x₁,...,x_n,θ) = θ^s(1-θ)^n-s · θ^α-1(1-θ)^α-1 / B(α,α)

= θ^s+α-1(1-θ)^n-s+α-1 / B(α,α)

证据因子（公式33）

f(x₁,...,x_n) = ∫ θ^s+α-1(1-θ)^n-s+α-1 dθ / B(α,α)

这个积分非常复杂！幸运的是，我们实际上"避开"了这个复杂积分。

后验分布（公式34）

f_Θ|X(θ|x) = 联合 / 证据 = Beta(s+α, n-s+α)

⚠️ 重要说明：并不是所有情况都存在积分的闭式解 (closed form solution)，也叫解析解 (analytical solution)。本书第22章将介绍蒙特卡洛模拟方式近似获得后验分布。

🎯 20.4 关键要点

Beta先验

• Beta(α, α) 对称
• 均值、众数：0.5
• 方差：1/(8α+4)
• α↑ → 确信度↑
• 图15、图16

似然归一化

• 公式(24-29)
• 归一化为Beta分布
• Beta(s+1, n-s+1)
• MLE = s/n
• 图17、图18

后验糅合

• Beta(s+α, n-s+α)
• 先验+似然→后验
• 公式(32-34)
• 避开复杂积分
• 图19、图20

💡 核心洞察

• 确信程度：α 控制先验的确信度，α越大方差越小越确信
• Beta族：先验、似然、后验都是Beta分布，共轭先验
• 归一化：似然函数归一化后也是Beta分布
• MLE特例：似然=后验(无信息先验)，MLE是MAP特例
• 分布糅合：后验是先验和似然的"糅合"
• 权重平衡：α控制先验权重，n控制数据权重
• 解析解：利用Beta函数性质避开复杂积分

✦

20.5

走地鸡兔：更一般的情况

General Case with Beta(α, β) Prior

有了前文的两个例子，下面我们看一下更为一般的情况。

走地鸡兔：更一般的情况

Beta(α, β) 一般形式

选用 Beta(α, β) 作为先验分布，其中 α 和 β 不一定相等。

f_Θ(θ) = θ^α-1(1-θ)^β-1 / B(α,β)

公式(38)：Beta(α, β) 一般形式

参数 α:

4.0

参数 β:

6.0

Beta(4, 6)

众数: 0.375 | 均值: 0.400

α: 4.0

β: 6.0

众数: 0.375

均值: 0.400

标准差: 0.148

方差: 0.0218

α+β: 10.0

α/β: 0.667

众数公式（公式39）

众数 = (α-1) / (α+β-2), 当 α,β > 1

• α > β：众数偏右（兔子多）
• α < β：众数偏左（鸡多）
• α = β：众数=0.5（对称）

📊 不同比例对比

对称情况

• α = β
• 众数 = 0.5
• 关于θ=0.5对称
• 例：Beta(4,4)

众数=1/3

• β = 2α - 1
• 偏向左侧
• 鸡多兔少
• 例：Beta(4,7)

众数=1/4

• β = 3α - 2
• 更偏左侧
• 鸡更多
• 例：Beta(4,10)

🎯 核心洞察：通过调节α和β的关系，可以让先验分布的众数位于任意期望位置。同时，通过增大α和β的值（保持它们的比例关系），可以提高对该众数位置的确信度。

🎯 20.5节核心总结

一般形式

Beta(α,β) α≠β

众数公式

(α-1)/(α+β-2)

任意比例

调节α和β关系

确信度

α+β越大越确信

🔵 先验：Beta(α, β)

选用 Beta(α, β) 作为先验分布，其中 α 和 β 不一定相等。

f_Θ(θ) = θ^α-1(1-θ)^β-1 / B(α,β)

公式(38)：Beta(α, β) 概率密度函数

先验分布的众数（公式39）

众数 = (α-1) / (α+β-2), 当 α, β > 1

通过调节α和β的关系，可以让众数位于任意期望位置

📊 其他比例：兔子比例 = 1/3

举个例子，假设农夫认为兔子比例为 1/3。

(α-1) / (α+β-2) = 1/3

⇓

β = 2α - 1

公式(40-41)：α 和 β 的关系

图28：不同参数

• Beta(2, 3)
• Beta(3, 5)
• Beta(4, 7)
• Beta(8, 15)
• Beta(12, 23)
• Beta(16, 31)

共同特点

• 众数都是 1/3
• 满足 β = 2α - 1
• α越大，分布越细高
• 确信度逐渐提高
• 标准差越来越小

💡 图28观察：这些图像有一个共同特点，众数都是 1/3。通过调节α的大小（同时保持β = 2α - 1），可以控制对1/3这个比例的确信程度。

📊 其他比例：兔子比例 = 1/4

如果农夫认为兔子比例为 1/4。

(α-1) / (α+β-2) = 1/4

⇓

β = 3α - 2

公式(42-43)：α 和 β 的关系

图29：不同参数

• Beta(2, 4)
• Beta(3, 7)
• Beta(4, 10)
• Beta(8, 22)
• Beta(12, 34)
• Beta(16, 46)

共同特点

• 众数都是 1/4
• 满足 β = 3α - 2
• α越大，分布越细高
• 确信度逐渐提高
• "信念"增强

💡 图29观察：满足上式条件下，当 α 不断增大，兔子的比例虽然还是 1/4，但是如图29所示，先验分布变得越发细高，这代表着确信程度提高，"信念"增强。

🎯 一般规律

通过 Beta(α, β) 的灵活性，我们可以表达各种先验信念。

对称情况

• α = β
• 众数 = 0.5
• 关于 θ=0.5 对称
• 认为鸡兔各半

众数 = 1/3

• β = 2α - 1
• 认为兔子占1/3
• 偏左分布
• α控制确信度

众数 = 1/4

• β = 3α - 2
• 认为兔子占1/4
• 更偏左分布
• α控制确信度

任意比例 r

假设农夫认为兔子比例为 r（0 < r < 1）：

(α-1) / (α+β-2) = r

⇒ β = [(1-r)·(α-1) / r] + 1

通过这个关系，可以构造任意众数位置的先验分布！

众数位置

• 由 α 和 β 的比例决定
• α > β：众数偏右
• α < β：众数偏左
• α = β：众数居中

确信程度

• 由 α+β 的大小决定
• α+β 越大越确信
• 分布越细高
• 方差越小

🎯 核心洞察：Beta(α, β) 提供了极大的灵活性：通过调节α和β的比例控制众数位置（先验信念的中心），通过调节α+β的大小控制确信程度（先验信念的强度）。

🎯 20.5 关键要点

一般形式

• Beta(α, β) α≠β
• 公式(38)
• 众数公式(39)
• 灵活表达先验
• 两个自由度

特定比例

• 众数=1/3: β=2α-1
• 众数=1/4: β=3α-2
• 图28、图29
• 公式(40-43)
• α控制确信度

两个维度

• α/β：众数位置
• α+β：确信程度
• 位置+强度
• 完全可控
• 灵活先验

💡 核心洞察

• 一般形式：Beta(α,β)不要求α=β，提供更大灵活性
• 众数控制：通过α和β的关系控制先验信念的中心位置
• 确信控制：通过α+β的大小控制先验信念的强度
• 任意比例：可以构造任意众数位置的先验分布
• 图28-29：具体展示了众数=1/3和1/4的多组参数
• 两个维度：位置（α/β）+ 强度（α+β）完全可控
• 实用性：可以精确表达领域专家的先验知识