Datenprofiler

Was ist Datenprofiling?

Datenprofiling untersucht Datensätze, um Zusammenfassungsstatistiken zu sammeln, Datenqualität zu bewerten und die Struktur zu verstehen. Kernkennzahlen: zentrale Tendenz, Streuung, Verteilungsform, Vollständigkeit.

Schiefe misst Asymmetrie: positive Schiefe = rechter Schwanz, negative = linker Schwanz. Kurtosis misst die Schwere der Ränder relativ zur Normalverteilung.

Datenprofiling ist der essenzielle erste Schritt jeder Analysepipeline. Es deckt Datenqualitätsprobleme vor der Modellierung auf.

Formula: Schiefe = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ Kurtosis = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = 25. Perzentil, Q3 = 75. Perzentil IQR = Q3 − Q1

Berechnungsbeispiel

Datensatz: [2, 4, 4, 4, 5, 5, 7, 9]. n=8, Mittelwert=5,0, Median=4,5, Std=2,14 (Stichprobe), Min=2, Q1=4, Q3=5,5 (lineare Interpolation), Max=9. Schiefe ≈ 0,82 (stichprobenkorrigiert; rechtsschief). Exzess-Kurtosis ≈ 0,94 (stichprobenkorrigiert; etwas schwerere Ränder als die Normalverteilung). Fehlend = 0.

Wann diesen Rechner verwenden

• Ein Datenanalyst, der den ersten Schritt jedes Datenanalyseprojekts durchführt — das Verständnis von Datenqualität, Verteilungen und Anomalien vor der Modellierung
• Ein Datenbankadministrator, der die Datenqualität prüft, indem er Spalten auf fehlende Werte, Ausreißer und unerwartete Verteilungen kontrolliert
• Ein Forscher, der Daten für eine Veröffentlichung vorbereitet, indem er zusammenfassende Statistiken einschließlich Schiefe und Kurtosis für jede Variable dokumentiert
• Ein Machine-Learning-Engineer, der Merkmalsverteilungen bewertet, um über Vorverarbeitungsschritte wie Normalisierung, Ausreißerentfernung oder Imputation zu entscheiden

Häufige Fehler vermeiden

• Das Daten-Profiling überspringen und direkt zur Modellierung übergehen — das führt zu Garbage-in-Garbage-out; profilieren Sie stets zuerst, um Datenqualitätsprobleme, unerwartete Verteilungen und Ausreißer zu erkennen
• Schiefe und Kurtosis ignorieren — diese Formkennzahlen zeigen, ob parametrische Methoden (die Normalität voraussetzen) geeignet sind; hohe Schiefe oder Kurtosis legt eine Datentransformation oder nichtparametrische Methoden nahe
• Alle fehlenden Werte gleich behandeln — MCAR (völlig zufällig fehlend) kann gefahrlos gelöscht werden, aber MAR und MNAR erfordern Imputation oder spezialisierte Methoden, um Verzerrungen zu vermeiden
• Nur einzelne Spaltenstatistiken betrachten, ohne Beziehungen zwischen Spalten zu berücksichtigen — zwei Spalten mit normalen Einzelprofilen können dennoch eine nichtlineare oder unerwartete gemeinsame Beziehung aufweisen

Ergebnisse interpretieren

• Schiefe nahe 0 und Kurtosis nahe 0 (Exzess) deuten auf eine annähernd normale Verteilung hin — parametrische statistische Methoden sind geeignet
• Große Unterschiede zwischen Mittelwert und Median deuten auf erhebliche Schiefe hin — der Median ist in diesem Fall repräsentativer für den typischen Wert
• Ein hoher Anteil fehlender Werte (über 20 %) in einer Spalte deutet darauf hin, dass die Variable unzuverlässig oder systematisch abwesend sein könnte — erwägen Sie, sie aus der Analyse auszuschließen oder die Ursache zu untersuchen

Verwandte Normen und Referenzen

• Tukey, J. W. (1977), Exploratory Data Analysis — grundlegendes Werk für quartilbasierte Datenzusammenfassungen und exploratives Profiling
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — Referenzvergleich von Schiefe- und Kurtosis-Schätzern für Stichproben
• NIST/SEMATECH e-Handbook of Statistical Methods (Abschnitt 1, Explorative Datenanalyse) — Referenzdefinitionen für Quantile und Verteilungsformmaße

Häufig gestellte Fragen

Was bedeutet negative Schiefe?

Linker Schwanz ist länger, Werte konzentrieren sich rechts. Beispiel: leichte Prüfungsergebnisse. Typischerweise Mittelwert < Median.

Wie mit fehlenden Werten umgehen?

Löschung (< 5 %, zufällig), Imputation (Mittelwert/Median/Modus) oder modellbasiert (KNN, MICE). Auswahl nach Fehlmechanismus (MCAR, MAR, MNAR).