📖 本章概要
本章介绍贝叶斯回归，即用贝叶斯推断求解回归模型参数。 贝叶斯推断结合"经验（先验）"和"实践（样本）"，得出"结论（后验）"。
核心公式：后验 ∝ 似然 × 先验
6.1
回顾贝叶斯推断
Prior + Data → Posterior
贝叶斯推断 (Bayesian inference) 就是结合"经验（先验）"和"实践（样本）"， 得出"结论（后验）"。贝叶斯推断把模型参数看作随机变量。
f(θ|y) = [f(y|θ) × f(θ)] / f(y)
后验 = (似然 × 先验) / 证据因子
后验 = (似然 × 先验) / 证据因子
💡 6.1节小结
• 贝叶斯推断流程：先验 + 数据（似然）→ 后验分布
• 最大后验估计（MAP）：argmax f(θ|y) ≈ 找到后验分布的峰值
• 样本增加效应：随着样本增多，后验分布逐渐收敛到真实参数
✦
6.2
贝叶斯回归：无信息先验
f(θ) = 1 → MAP = MLE
没有先验信息，或者先验分布不清楚时，可以用常数或均匀分布作为先验分布， 比如 f(θ) = 1。此时最大后验优化（MAP）= 最大似然估计（MLE）。
💡 6.2节小结
• 无信息先验：f(θ) = 1，对参数没有偏好
• MAP = MLE：最大后验估计等于最大似然估计
• MAP = OLS：进一步等价于普通最小二乘法
• 意义：OLS是贝叶斯推断在无信息先验下的特例
✦
6.3
使用PyMC完成贝叶斯回归
MCMC采样 + 后验分布可视化
PyMC 是一个用于概率编程的Python库，主要用于进行贝叶斯统计建模和贝叶斯推断。 使用MCMC（马尔科夫链蒙特卡洛）算法来进行贝叶斯推断，估计参数的后验分布。
💡 6.3节小结
• PyMC建模：定义先验分布（Normal、HalfNormal）+ 似然函数
• MCMC采样：生成后验分布的随机样本，评估参数不确定性
• 后验分析：轨迹图、直方图、HDI可信区间
• 预测：后验样本对应的回归线，红线为平均预测
✦
6.4
贝叶斯视角理解正则化
先验分布 → 正则化项
正则化项可以视为参数的先验分布：
岭回归（Ridge）：
先验：f(θ) = Normal(0, τ²) → L2正则项 α||θ||²
先验：f(θ) = Normal(0, τ²) → L2正则项 α||θ||²
套索回归（Lasso）：
先验：f(θ) = Laplace(0, b) → L1正则项 α||θ||₁
先验：f(θ) = Laplace(0, b) → L1正则项 α||θ||₁
✦
6.5
贝叶斯视角理解套索正则化
拉普拉斯先验 → L1正则
如果先验分布为拉普拉斯分布，从贝叶斯推断角度可以推导出套索回归的优化问题。 拉普拉斯分布在零处有尖峰，这正是套索回归产生稀疏性的根源。
💡 6.5节小结
• 拉普拉斯先验：f(θⱼ) = (1/2b) exp(-|θⱼ|/b) → 零处尖峰
• 公式推导：后验对数展开 → OLS项 + L1正则项
• 正则化系数：λ = 2σ²/b（噪声和先验参数共同决定）
• 套索路径：两段式路径（OLS→轴→原点），系数分步归零
• 稀疏性来源：尖峰先验 → L1范数 → 参数归零
✦
💡 6.4-6.5节总结对比
• 正态先验（6.4）：τ越小 → λ越大 → 平滑收缩（贝叶斯收缩）
• 拉普拉斯先验（6.5）：b越小 → λ越大 → 稀疏归零
• 岭回归路径：从OLS解平滑收缩到原点（直线）
• 套索回归路径：沿坐标轴方向快速归零（折线）
• 统一框架：先验分布 = 正则化约束，MAP优化 = 正则化回归
📋贝叶斯回归核心要点
🔄 贝叶斯推断框架
公式：后验 ∝ 似然 × 先验
优化：MAP = argmax f(θ|y)
特点：参数是随机变量，量化不确定性
工具：PyMC + MCMC采样
优化：MAP = argmax f(θ|y)
特点：参数是随机变量，量化不确定性
工具：PyMC + MCMC采样
🎯 正则化贝叶斯解释
岭回归：正态先验 → L2正则
套索回归：拉普拉斯先验 → L1正则
贝叶斯收缩：向先验均值收缩
统一框架：先验 = 正则化约束
套索回归：拉普拉斯先验 → L1正则
贝叶斯收缩：向先验均值收缩
统一框架：先验 = 正则化约束