多元线性回归模型
用多个自变量预测因变量
多元线性回归是一种统计分析方法，用于研究两个或多个自变量与一个因变量之间的关系。 它通过拟合一个包含多个自变量的线性模型来预测因变量的值。
模型表达式 (1)
🎯 几何视角：从几何角度看，多元线性回归得到一个超平面 (hyperplane)。 在三维空间中（两个自变量），这个超平面是一个平面；更高维度时，它是一个n维超平面。
优化问题：OLS最小二乘法
通过最小化SSE求解最优参数
OLS线性最小二乘法通过最小化残差平方和SSE来计算得到最佳的拟合回归参数。 这是一个凸优化问题，存在唯一的全局最优解。
优化目标 (7)
目标函数 (9-10)
二次项+一次项+常数项
梯度 (11-12)
极值点条件
OLS解 (13)
最小二乘法解析解
黑塞矩阵 (14)
对于列满秩的X，H为正定矩阵，保证f(b)在极值点处取得最小值
帽子矩阵 (18)
幂等矩阵：H² = H，用于计算预测值 ŷ = Hy
几何解释：向量投影
理解回归的几何本质
从向量投影的角度理解多元线性回归：回归问题可以看作是将因变量向量y 在自变量向量所张成的子空间上的正交投影。
预测值 (20-21)
x₁,...,xᴅ的线性组合
残差 (22)
预测值与真实值之差
正交性 (23)
残差垂直于超平面H
💡 核心洞察：OLS寻找的是y在X张成的超平面H上的正交投影ŷ。 这个投影使得残差向量ε垂直于H，从而最小化||ε||²。这就是为什么OLS能给出"最佳"拟合的几何原因。
二元线性回归实例
用两个股票日收益率预测S&P 500日收益率
本节用实例讲解二元线性回归，利用两个股票日收益率（AAPL和MCD）预测S&P 500日收益率。 这是一个典型的多元线性回归应用场景。
二元线性回归表达式 (25)
图9. 二元线性回归数据
三维散点图展示了[y, x₁, x₂]的数据关系。可以看到数据点在三维空间中的分布，回归平面将穿过这些点云。
图10. 成对特征分析图
图11. 协方差矩阵、相关性和夹角热图
图12. 二元OLS线性回归分析结果
图13. 三维空间、回归平面
回归平面（红色网格）穿过蓝色散点数据，使得所有数据点到平面的垂直距离平方和最小。 这就是OLS在三维空间中的几何表现。
多元线性回归实例
交互式探索12只股票数据（图14-20）
本节介绍多元回归问题，构造多元OLS线性回归模型用12只股票日收益率预测S&P 500日收益率。 使用交互式数据探索器，你可以：选择不同视图、调整时间范围、点击股票查看详情、观察热图数值。
正交关系：四个直角三角形
理解回归中的勾股定理
多元回归中存在四个重要的直角三角形，它们揭示了向量之间的正交关系和方差分解的几何本质。 这些正交关系是理解回归分析的关键。
三个平方和的矩阵形式
通过动画理解SST、SSR、SSE的矩阵计算过程
对于多元OLS线性回归，SST、SSR和SSE这三个平方和可以通过矩阵运算求得。 通过矩阵形式，我们可以更清楚地看到这些统计量的几何意义和计算过程。
t检验：系数显著性
通过交互动画理解回归系数t检验的完整过程
简单来说，t检验用于检验每个自变量的回归系数是否显著不等于零。 对于多元OLS线性回归模型，模型参数b₀、b₁、b₂...bD的协方差矩阵C可以通过下式计算得到。 通过计算t统计量并与临界值比较，我们可以判断系数是否显著。
多重共线性诊断
VIF、条件数与共线性检测
当模型的解释变量存在多重共线性时，将导致最小二乘法得到的模型参数估计量非有效且方差变大， 参数估计量经济含义不合理。可以通过条件数、VIF等指标诊断共线性。
VIF公式 (52-53)
条件数 (51)
条件概率视角看多元线性回归
从多元正态分布推导回归系数
《统计至简》第12章介绍，多元线性回归可以从条件概率视角理解。 如果随机变量χ和y服从多元高斯分布，通过协方差矩阵分块和条件期望公式（54-58）， 可以直接推导出回归系数，这与OLS的结果完全等价。