Multiple Regressionsanalyse

Was ist multiple lineare Regression?

Multiple Regression modelliert die Beziehung zwischen einer Zielvariable (y) und mehreren Prädiktorvariablen. Modell: y = β₀ + β₁x₁ + … + βₚxₚ + ε, geschätzt mit OLS.

Diagnostik: R², angepasstes R² (Penalty für Prädiktorzahl), F-Test p-Wert, einzelne Koeffizient-p-Werte, VIF für Multikollinearität.

VIF > 5-10 zeigt problematische Multikollinearität. Abhilfe: redundante Variablen entfernen, Regularisierung (Ridge, Lasso). Muster im Residuenplot zeigen Fehlspezifikation.

Formula: y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₚxₚ + ε β = (XᵀX)⁻¹Xᵀy R² = 1 − SS_res/SS_tot Korr. R² = 1 − (1−R²)(n−1)/(n−p−1) VIF_j = 1/(1 − R²_j)

Berechnungsbeispiel

Hauspreis aus Fläche x₁ und Alter x₂. Fünf Häuser: Fläche 1.300/1.800/1.900/2.000/2.400 sq ft, Alter 10/5/12/25/15 Jahre, Preis 150.000 $/233.000 $/216.000 $/208.000 $/249.000 $. Die Kleinste-Quadrate-Schätzung ergibt β₀ = 50.000, β₁ = 100, β₂ = −2.000. R² = 0,92, Adj. R² = 0,84. VIF = 1,2.

Wann diesen Rechner verwenden

• Ein Forscher, der die Beziehung zwischen mehreren unabhängigen Variablen und einem Ergebnis modelliert, um signifikante Prädiktoren zu identifizieren
• Ein Business-Analyst, der ein Vorhersagemodell für den Umsatz auf Basis mehrerer Faktoren wie Preis, Werbeausgaben und Saisonalität erstellt
• Ein Qualitätsingenieur, der mittels Mehrfaktoranalyse bestimmt, welche Prozessvariablen gemeinsam die Produktqualität beeinflussen
• Ein Data Scientist, der vor der Verwendung von Regressionskoeffizienten zur Merkmalsinterpretation auf Multikollinearität (VIF) prüft

Häufige Fehler vermeiden

• Hochkorrelierte Prädiktoren einbeziehen, ohne den VIF zu prüfen — Multikollinearität macht einzelne Koeffizienten unzuverlässig und Vorzeichenwechsel häufig; entfernen oder kombinieren Sie redundante Variablen
• Zu viele Prädiktoren im Verhältnis zur Stichprobengröße aufnehmen — als Faustregel gelten mindestens 10-20 Beobachtungen pro Prädiktor; ist dieses Verhältnis zu niedrig, kommt es zu Überanpassung
• Koeffizientengrößen ohne Standardisierung interpretieren — ein Koeffizient von 100 für eine in Millimetern gemessene Variable ist nicht 'wichtiger' als ein Koeffizient von 0.5 für eine Variable in Metern; vergleichen Sie standardisierte Koeffizienten
• Das Residuendiagramm ignorieren — ein gutes R-Quadrat mit gemusterten Residuen deutet auf Modellfehlspezifikation hin; prüfen Sie stets, ob die Residuen zufällig gestreut sind

Ergebnisse interpretieren

• Ein korrigiertes R-Quadrat unter 0.5 bedeutet, dass das Modell weniger als die Hälfte der Variation erklärt — erwägen Sie, weitere relevante Prädiktoren hinzuzufügen oder Variablen zu transformieren
• Ein F-p-Wert unter 0.05 bedeutet, dass das Modell als Ganzes statistisch signifikant ist — mindestens ein Prädiktor trägt bedeutsam bei
• p-Werte einzelner Koeffizienten über 0.05 deuten darauf hin, dass der jeweilige Prädiktor angesichts der anderen Variablen möglicherweise keinen signifikanten Beitrag leistet — erwägen Sie seine Entfernung, um das Modell zu vereinfachen

Verwandte Normen und Referenzen

• Draper & Smith, Applied Regression Analysis (Wiley) — klassische OLS-Referenz einschließlich F-Tests und Residuenanalyse
• Kutner, Nachtsheim & Neter, Applied Linear Statistical Models (McGraw-Hill) — Lehrbuchbehandlung von multipler Regression, angepasstem R² und VIF
• Belsley, Kuh & Welsch (1980), Regression Diagnostics (Wiley) — Standardreferenz zur Erkennung von Multikollinearität und einflussreichen Beobachtungen

Häufig gestellte Fragen

Was ist angepasstes R²?

R² steigt immer bei mehr Variablen. Angepasstes R² bestraft Prädiktorzahl, sinkt bei unzureichender Verbesserung. Für Modellvergleich bei unterschiedlicher Variablenzahl.

Was bedeutet hoher VIF?

VIF misst Varianzaufblähung des Koeffizienten. VIF = 1: keine Kollinearität. > 5: moderat. > 10: schwere Multikollinearität.