PCA Dimensionsreduktion

Was ist Hauptkomponentenanalyse (PCA)?

PCA transformiert korrelierte Variablen in unkorrelierte Hauptkomponenten. Jede Komponente erfasst maximale Restvarianz. Die ersten wenigen Komponenten erfassen oft 80-95 % der Gesamtvarianz.

PCA berechnet Eigenvektoren und Eigenwerte der Kovarianzmatrix. Eigenvektoren definieren Achsenrichtungen, Eigenwerte quantifizieren die Varianz. Vor PCA wird typischerweise standardisiert.

Scree-Plot zeigt Eigenwerte vs. Komponentennummer. Biplot visualisiert Scores und Ladungen zur Interpretation.

Formula: Kovarianzmatrix: C = (1/(n−1)) XᵀX (X zentriert) Eigenwertzerlegung: C·v = λ·v PC-Scores: Z = X·V Erklärte Varianz = λₖ / Σλᵢ Standardisiert (Standard): jede zentrierte Spalte zuerst durch ihre Standardabweichung teilen — C wird zur Korrelationsmatrix R, Σλᵢ = Anzahl der Variablen

Berechnungsbeispiel

Fünf Teile, je drei Maße in mm: Länge 24/26/25/28/27, Breite 35/35/37/38/40, Höhe 13/14/14/15/14. Die Kovarianzmatrix hat die Eigenwerte λ₁ = 6,21, λ₂ = 1,22, λ₃ = 0,07, Gesamtvarianz 7,50. PC1 erklärt 6,21/7,50 = 82,7 %, PC2 16,3 %, kumulativ 99,0 % — 2 Komponenten reduzieren drei Dimensionen auf zwei und erhalten 99 % der Varianz. Alle drei Variablen haben dieselbe Einheit, daher ist die Kovarianzmatrix die richtige; Variablen in verschiedenen Einheiten müssen zuerst standardisiert werden, sonst dominiert die mit den größten Zahlen PC1. Um diese Werte im Rechner nachzuvollziehen, deaktivieren Sie „Variablen standardisieren“ — standardmäßig ist es aktiv und zerlegt dann die Korrelationsmatrix.

Wann diesen Rechner verwenden

• Ein Data Scientist, der einen hochdimensionalen Merkmalssatz (50+ Variablen) auf eine handhabbare Anzahl von Komponenten reduziert, bevor er in ein Machine-Learning-Modell einfließt
• Ein Forscher, der hochdimensionale Daten in 2D oder 3D mit den ersten 2-3 Hauptkomponenten visualisiert, um Muster oder Cluster zu erkennen
• Ein Qualitätsingenieur, der mittels Faktoranalyse die Hauptquellen der Variation in einem mehrvariabligen Fertigungsprozess identifiziert
• Ein Analyst, der Multikollinearität aus Prädiktorvariablen entfernt, indem er korrelierte Merkmale durch unkorrelierte Hauptkomponenten ersetzt

Häufige Fehler vermeiden

• Daten vor der PCA nicht standardisieren — Variablen mit größeren Skalen dominieren die Varianz, und die erste Komponente spiegelt lediglich die Variable mit der höchsten Varianz wider; standardisieren Sie stets auf Mittelwert null und Einheitsvarianz
• Zu wenige Komponenten behalten und wichtige Informationen verlieren — liegt die kumulierte erklärte Varianz unter 70 %, wird wichtiges Signal verworfen; streben Sie 80-95 % an
• Hauptkomponenten als einzelne Variablen interpretieren — PCs sind Linearkombinationen aller ursprünglichen Variablen; sie stellen Richtungen maximaler Varianz dar, keine einzelnen Merkmale
• PCA auf Daten mit sehr wenigen Beobachtungen im Verhältnis zu den Variablen anwenden — PCA benötigt mindestens so viele Beobachtungen wie Variablen (idealerweise das 5-10-Fache), um stabile Ergebnisse zu liefern

Ergebnisse interpretieren

• Erklären die ersten 2-3 Komponenten 80 %+ der Varianz, sind Ihre Daten effektiv niedrigdimensional und der Biplot liefert eine aussagekräftige Zusammenfassung
• Ladungen mit hohen Absolutwerten zeigen, welche ursprünglichen Variablen am stärksten zu jeder Komponente beitragen — dies hilft zu interpretieren, was die Komponente repräsentiert
• Große Abstände zwischen aufeinanderfolgenden Eigenwerten im Screeplot zeigen natürliche Dimensionalitätsgrenzen an — Komponenten nach dem Abstand tragen überwiegend Rauschen bei

Verwandte Normen und Referenzen

• Pearson, K. (1901), 'On Lines and Planes of Closest Fit to Systems of Points in Space', Philosophical Magazine — geometrischer Ursprung der Hauptkomponentenanalyse
• Hotelling, H. (1933), 'Analysis of a Complex of Statistical Variables into Principal Components', Journal of Educational Psychology — varianzmaximierende Formulierung der PCA
• Jolliffe, I. T., Principal Component Analysis (Springer) — umfassende moderne Referenz einschließlich Regeln zur Komponentenauswahl

Häufig gestellte Fragen

Vor PCA standardisieren?

Ja, fast immer. Unterschiedliche Einheiten/Skalen führen dazu, dass PCA von der Variable mit größter Varianz dominiert wird. Auf Mittelwert 0 und Varianz 1 standardisieren.

Wie viele Hauptkomponenten behalten?

Bis kumulative Varianz 80-95 % erreicht, Scree-Plot-'Knick' nutzen oder Kaiser-Regel (Eigenwert > 1).