多元回归分析
拟合带诊断功能的多元线性回归模型. 执行包含R²、调整R²、系数检验、多重共线性VIF和残差诊断的多元线性回归分析。最后一列作为因变量处理。. 多元线性回归建模响应变量(y)与两个或更多预测变量(x₁, x₂, …, xₚ)之间的关系。模型 y = β₀ + β₁x₁ + … + βₚxₚ + ε 用OLS拟合。
执行包含R²、调整R²、系数检验、多重共线性VIF和残差诊断的多元线性回归分析。最后一列作为因变量处理。
什么是多元线性回归？
多元线性回归建模响应变量(y)与两个或更多预测变量(x₁, x₂, …, xₚ)之间的关系。模型 y = β₀ + β₁x₁ + … + βₚxₚ + ε 用OLS拟合。
关键诊断：R²、调整R²（对预测变量数量的惩罚）、F检验p值、个别系数p值、VIF检测多重共线性。
VIF > 5-10表示有问题的多重共线性。解决方法：移除冗余变量、正则化（Ridge、Lasso）。残差图中的模式表明模型不当。
Formula: y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₚxₚ + ε β = (XᵀX)⁻¹Xᵀy R² = 1 − SS_res/SS_tot 调整 R² = 1 − (1−R²)(n−1)/(n−p−1) VIF_j = 1/(1 − R²_j)
计算示例
用面积x₁和房龄x₂预测房价。5套房屋：面积 1,300/1,800/1,900/2,000/2,400 平方英尺，房龄 10/5/12/25/15 年，价格 $150,000/$233,000/$216,000/$208,000/$249,000。最小二乘拟合得 β₀ = 50,000，β₁ = 100，β₂ = −2,000。R² = 0.92，调整R² = 0.84。VIF均为1.2——无多重共线性。
何时使用此计算器
- 研究人员对多个自变量与结果变量之间的关系建模，以识别显著的预测变量
- 业务分析师基于价格、广告投入和季节性等多个因素构建销售预测模型
- 质量工程师通过多因素分析确定哪些工艺变量共同影响产品质量
- 数据科学家在用回归系数做特征解释之前检查多重共线性（VIF）
常见错误
- 未检查 VIF 就纳入高度相关的预测变量——多重共线性会使单个系数不可靠且常出现符号翻转；应删除或合并冗余变量
- 相对样本量加入过多预测变量——经验法则是每个预测变量至少 10-20 个观测；该比例过低时会发生过拟合
- 未标准化就解读系数大小——以毫米计量的变量系数为 100 并不比以米计量的变量系数 0.5 '更重要'；应比较标准化系数
- 忽视残差图——R 平方良好但残差有模式表明模型设定有误；务必确认残差随机散布
如何解读结果
- 调整 R 平方低于 0.5 说明模型解释的变异不到一半——可考虑加入更多相关预测变量或对变量做变换
- F 检验 p 值低于 0.05 表示模型整体统计显著——至少有一个预测变量贡献显著
- 单个系数 p 值高于 0.05 表明在其他变量存在的情况下，该预测变量可能没有显著贡献——可考虑删除它以简化模型
相关标准与参考文献
- Draper & Smith, Applied Regression Analysis (Wiley) — 涵盖F检验与残差分析的OLS经典参考书
- Kutner, Nachtsheim & Neter, Applied Linear Statistical Models (McGraw-Hill) — 系统讲解多元回归、调整R²与VIF的教科书
- Belsley, Kuh & Welsch (1980), Regression Diagnostics (Wiley) — 多重共线性与强影响观测值检测的标准参考书
常见问题
什么是调整R²，为什么优于R²？
R²总是随变量增加而增加。调整R²对变量数量施加惩罚，改进不足时会下降。用于比较变量数不同的模型。
高VIF值意味着什么？
VIF衡量系数方差的膨胀。VIF = 1无共线性，> 5中度，> 10严重多重共线性。