Merkmalswichtigkeit

Was ist Merkmalswichtigkeit?

Merkmalswichtigkeit quantifiziert den Beitrag jeder Prädiktorvariable zur Vorhersage der Zielvariable. Sie identifiziert die einflussreichsten Faktoren und vereinfacht Modelle.

Methoden: korrelationsbasiertes Ranking (absolute Pearson-Korrelation), Permutationswichtigkeit (Vorhersageverschlechterung bei Merkmalsmischung), modellbasiert (Koeffizientengröße, Unreinheitsreduktion).

Hohe Wichtigkeit impliziert nicht Kausalität. Korrelierte Merkmale können Wichtigkeit teilen. Ergebnisse mehrerer Methoden vergleichen.

Formula: Permutations-Wichtigkeit (dieses Tool): R²₀ = R² der Kleinste-Quadrate-Anpassung von y an alle Prädiktoren xⱼ mischen, neu anpassen, R²π(j) notieren — 100 Mischungen, fester Seed Wichtigkeit_j = R²₀ − Mittel R²π(j) Nicht normiert: Summe muss nicht 1 sein; ≈ 0 oder leicht negativ = kein Beitrag Andere Methoden: |r(xⱼ, y)| (Korrelation) · |βⱼ| × std(xⱼ) (Regression)

Berechnungsbeispiel

Zehn Studierende: Lernstunden 2/4/6/8/10/3/7/5/9/6, Schlafstunden 6/8/5/7/6/5/8/7/5/8, Bildschirmzeit 3/5/4/2/6/2/5/1/3/4, Testergebnis 51/58/58/79/75/50/75/70/73/71. Alle drei Prädiktoren zusammen: R² = 0,98. Lernstunden mischen und neu anpassen senkt R² im Mittel um 0,71, Schlafstunden um 0,19, Bildschirmzeit um 0,07 — Lernstunden zählen am meisten. Die Scores summieren sich zu 0,97 statt 1, weil jeder ein Rückgang von R² ist, kein Anteil daran. Jeder Score steht mit seiner Streuung über die 100 Mischungen da (0,16 bei den Lernstunden) — bei zehn Zeilen kann eine Mischung ihn stark verschieben.

Wann diesen Rechner verwenden

• Ein Data Scientist, der vor dem Training eines Machine-Learning-Modells eine Merkmalsauswahl durchführt, um die Dimensionalität zu reduzieren und die Leistung zu verbessern
• Ein Business-Analyst, der ermittelt, welche Faktoren ein Zielergebnis am stärksten beeinflussen (z. B. Kundenabwanderung, Fehlerrate, Umsatz)
• Ein Forscher, der priorisiert, welche Variablen anhand ihrer prädiktiven Bedeutung für das interessierende Ergebnis weiter untersucht werden sollen
• Ein Ingenieur, der Dutzende von Sensormesswerten oder Prozessparametern auf die wenigen eingrenzt, die die Produktqualität tatsächlich bestimmen

Häufige Fehler vermeiden

• Sich auf eine einzige Wichtigkeitsmethode verlassen — verschiedene Methoden können unterschiedliche Rangfolgen liefern, insbesondere bei korrelierten Merkmalen; vergleichen Sie korrelationsbasierte, regressionsbasierte und Permutationsansätze
• Wichtigkeit mit Kausalität verwechseln — ein Merkmal kann für die Vorhersage hochwichtig sein, ohne ein kausaler Faktor zu sein; Fachwissen ist nötig, um Korrelation von Kausalität zu unterscheiden
• Merkmale allein wegen geringer Einzelwichtigkeit entfernen, wenn Wechselwirkungen relevant sind — zwei einzeln schwache Merkmale können gemeinsam hochprädiktiv sein; testen Sie Merkmalskombinationen vor dem Entfernen
• Merkmalsskalen vor der regressionsbasierten Wichtigkeitsbestimmung nicht normieren — die Koeffizientengröße hängt von der Skala der Variable ab; standardisieren Sie die Merkmale zuerst oder verwenden Sie standardisierte Koeffizienten

Ergebnisse interpretieren

• Merkmale mit normierten Wichtigkeitswerten über 0.2 sind starke Beitragende — sie sollten in jedem Vorhersagemodell unbedingt enthalten sein
• Merkmale mit Wichtigkeitswerten nahe null tragen wenig zur Vorhersage bei und sind Kandidaten für die Entfernung — verifizieren Sie dies jedoch per Kreuzvalidierung, bevor Sie sie verwerfen
• Wenn die obersten 2-3 Merkmale 80 %+ der Gesamtwichtigkeit ausmachen, wird Ihre Zielvariable hauptsächlich von wenigen Schlüsselfaktoren bestimmt — konzentrieren Sie die Verbesserungsmaßnahmen dort

Verwandte Normen und Referenzen

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — Einführung der Permutationswichtigkeit, der von diesem Tool verwendeten Methode
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — modellagnostisches Framework der Permutationswichtigkeit (Model Reliance)
• Molnar, C., Interpretable Machine Learning — praktischer Leitfaden zur Permutationswichtigkeit von Merkmalen und ihren Fallstricken bei korrelierten Merkmalen

Häufig gestellte Fragen

Warum unterschiedliche Rankings bei verschiedenen Methoden?

Jede Methode misst einen anderen Aspekt von 'Wichtigkeit'. Korrelationsbasiert erfasst lineare Zusammenhänge, Permutation misst Vorhersagebeitrag. Korrelierte Merkmale verursachen besonders Abweichungen.

Merkmale mit geringer Wichtigkeit entfernen?

Grundsätzlich ja, aber mit Kreuzvalidierung prüfen. Manche Merkmale wirken über Interaktionen mit anderen.