重回帰分析

重回帰分析とは？

重回帰分析は応答変数(y)と2つ以上の予測変数(x₁, x₂, …, xₚ)の関係をモデル化します。モデル y = β₀ + β₁x₁ + … + βₚxₚ + ε はOLSで適合されます。

主要な診断：R²、修正R²（予測変数数へのペナルティ）、F検定p値、個別係数p値、VIF（分散拡大因子）による多重共線性の検出。

VIF > 5-10は問題のある多重共線性です。対策：冗長変数の除去、正則化（Ridge、Lasso）。残差プロットのパターンはモデルの不適合を示します。

Formula: y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₚxₚ + ε β = (XᵀX)⁻¹Xᵀy R² = 1 − SS_res/SS_tot 自由度調整済み R² = 1 − (1−R²)(n−1)/(n−p−1) VIF_j = 1/(1 − R²_j)

計算例

面積x₁と築年数x₂で住宅価格を予測。住宅5件:面積 1,300/1,800/1,900/2,000/2,400 平方フィート、築年数 10/5/12/25/15 年、価格 $150,000/$233,000/$216,000/$208,000/$249,000。最小二乗法で β₀ = 50,000、β₁ = 100、β₂ = −2,000。R² = 0.92、修正R² = 0.84。VIF(x₁) = 1.2、VIF(x₂) = 1.2。

この計算機を使うタイミング

• 有意な予測変数を特定するために、複数の独立変数と結果の関係をモデル化する研究者
• 価格、広告費、季節性など複数の要因に基づく売上予測モデルを構築するビジネスアナリスト
• 多因子分析によって、どの工程変数が複合的に製品品質へ影響するかを明らかにする品質エンジニア
• 回帰係数を特徴量の解釈に使う前に多重共線性(VIF)をチェックするデータサイエンティスト

よくある間違い

• VIFを確認せずに高相関の説明変数を含める — 多重共線性は個々の係数を信頼できなくし、符号の反転を頻発させます。冗長な変数は除去するか統合してください
• サンプルサイズに対して説明変数を増やしすぎる — 目安は説明変数1つあたり少なくとも10〜20の観測値です。この比率が低すぎると過学習が起こります
• 標準化せずに係数の大きさを解釈する — ミリメートル単位の変数の係数100が、メートル単位の変数の係数0.5より「重要」というわけではありません。標準化係数で比較してください
• 残差プロットを無視する — R二乗が良好でも残差にパターンがあればモデルの特定化に誤りがあります。残差がランダムに散らばっていることを必ず確認してください

結果の解釈方法

• 自由度調整済みR二乗が0.5未満の場合、モデルは変動の半分も説明できていません — より関連性の高い説明変数の追加や変数変換を検討してください
• Fのp値が0.05未満であれば、モデル全体として統計的に有意です — 少なくとも1つの説明変数が意味のある寄与をしています
• 個別の係数のp値が0.05を超える場合、その説明変数は他の変数を所与とすると有意に寄与していない可能性があります — モデルを簡素化するために除去を検討してください

関連規格・参考文献

• Draper & Smith, Applied Regression Analysis (Wiley) — F検定と残差分析を含むOLSの古典的参考書
• Kutner, Nachtsheim & Neter, Applied Linear Statistical Models (McGraw-Hill) — 重回帰、自由度調整済みR²、VIFを扱う教科書
• Belsley, Kuh & Welsch (1980), Regression Diagnostics (Wiley) — 多重共線性と影響力の大きい観測値の検出に関する標準的参考書

よくある質問

修正R²とは？なぜR²より優れていますか？

R²は変数追加で常に増加します。修正R²は予測変数数にペナルティを課し、改善不十分なら減少します。変数数の異なるモデル比較に使用します。

高いVIF値は何を意味しますか？

VIFは係数分散の膨張を測定します。VIF = 1は共線性なし、> 5は中程度、> 10は深刻な多重共線性です。