Ausreißererkennung

Was ist Isolation-Forest-Ausreißererkennung?

Isolation Forest ist ein unüberwachter Algorithmus des maschinellen Lernens zur Anomalieerkennung. Er beruht auf dem Grundsatz, dass Ausreißer „selten und andersartig“ sind — sie lassen sich leichter isolieren als normale Punkte. Anders als abstandsbasierte Verfahren berechnet er weder Abstände noch Dichten und ist dadurch für große Datensätze äußerst effizient.

Der Algorithmus erstellt ein Ensemble aus zufälligen Isolationsbäumen. Jeder Baum unterteilt die Daten rekursiv, indem er zufällig ein Merkmal und einen Trennwert auswählt. Anomalien sind selten und deutlich abweichend und benötigen daher weniger Trennschritte zur Isolation (kürzere Pfadlänge von der Wurzel bis zum Blatt). Normale Punkte liegen geclustert und erfordern mehr Trennschritte.

Der Anomaliewert wird aus der mittleren Pfadlänge über alle Bäume abgeleitet und mit der erwarteten Pfadlänge für die jeweilige Datensatzgröße normiert. Werte nahe 1 weisen auf Anomalien hin, Werte nahe 0.5 auf normale Punkte. Der Kontaminationsparameter legt den erwarteten Anteil an Anomalien fest und bestimmt damit den Schwellenwert für die Klassifikation.

Formula: Anomaly Score s(x, n) = 2^(-E(h(x)) / c(n)) c(n) = 2H(n-1) - 2(n-1)/n where h(x) = path length, c(n) = average path length in BST, H(i) = harmonic number ≈ ln(i) + 0.5772

Berechnungsbeispiel

100 Datenpunkte mit Kontamination = 0.05 (ca. 5 Ausreißer erwartet). Es werden 100 Isolationsbäume erstellt. Punkt A hat eine mittlere Pfadlänge von 3.2 (schnell isoliert → Anomaliewert 0.82 → markiert). Punkt B hat eine mittlere Pfadlänge von 8.7 (schwer zu isolieren → Anomaliewert 0.45 → normal). 4 Punkte überschreiten den Schwellenwert und werden als Anomalien markiert.

Wann diesen Rechner verwenden

• Bei der Wareneingangsprüfung-Datenauswertung zum Kennzeichnen anomaler Messwerte die auf Lieferantenqualitätsprobleme oder Messfehler hinweisen könnten
• Beim Bereinigen von Datensätzen vor statistischer Analyse — unentdeckte Ausreißer können Mittelwerte, Standardabweichungen und Fähigkeitsindizes schwer verzerren
• In der SPC bei Großserienfertigung zur Erkennung ungewöhnlicher Produktionsmuster die Standard-Regelkarten in multivariaten Daten übersehen könnten
• Bei der Analyse von Sensor- oder IoT-Daten aus der Anlagenüberwachung zur Erkennung früher Anzeichen von Maschinenverschleiß oder Prozessdrift
• Bei Qualitätsaudits zum Auffinden von Datenanomalien die auf Erfassungsfehler, Prüfgeräteausfall oder Prozessstörungen hinweisen könnten

Häufige Fehler vermeiden

• Alle gekennzeichneten Anomalien automatisch ohne Untersuchung entfernen — Ausreißer können reale und wichtige Prozessereignisse darstellen, die Korrekturmaßnahmen erfordern, nicht nur Datenbereinigung
• Kontaminationsgrad zu hoch setzen und normale Variation als anomal kennzeichnen — konservativ starten (0,01-0,05) und nur erhöhen wenn Fachwissen eine höhere Anomalierate nahelegt
• Isolation Forest auf sehr kleinen Datensätzen (unter 50 Punkten) verwenden — der Algorithmus benötigt ausreichend Daten um aussagekräftige Isolationsbäume zu erstellen; für kleine Stichproben einfachere Methoden (Z-Score, IQR) verwenden
• Verteilung der Anomaliescores ignorieren — statt sich nur auf die binäre Klassifikation zu verlassen, die Score-Verteilung untersuchen um den Schweregrad-Gradienten der erkannten Anomalien zu verstehen

Ergebnisse interpretieren

• Anomaliescore nahe 1,0 — der Punkt ist stark isoliert und sehr wahrscheinlich eine echte Anomalie; sofort untersuchen
• Anomaliescore 0,6-0,8 — der Punkt ist mäßig anomal; im Fachkontext prüfen ob Maßnahmen erforderlich sind
• Anomaliescore um 0,5 — der Punkt ist normal; er ist in die Hauptdatenverteilung eingebettet
• Anomalieanteil deutlich höher als erwartet — entweder ist der Kontaminationsparameter zu hoch gesetzt, oder der Prozess hat mehr Probleme als angenommen
• Cluster von Anomalien bei ähnlichen Merkmalswerten — diese könnten eine eigenständige Teilpopulation statt zufälliger Ausreißer darstellen; systematische Ursache untersuchen

Zugehörige Normen & Referenzen

• Liu, Ting & Zhou (2008), "Isolation Forest", IEEE ICDM — Die Originalarbeit, die den hier implementierten Algorithmus und Anomalie-Score definiert
• ISO 16269-4 — Statistische Auswertung von Daten: Erkennung und Behandlung von Ausreißern; die internationale Norm, die Entscheidungen zum Umgang mit Ausreißern rahmt
• ASTM E178 — Standardpraxis für den Umgang mit ausreißenden Beobachtungen; behandelt, wann das Entfernen markierter Punkte gerechtfertigt ist
• NIST/SEMATECH e-Handbook §1.3.5.17 — Klassische univariate Ausreißertests (Grubbs) als Gegenprobe bei Daten mit nur einem Merkmal

Häufig gestellte Fragen

Wie lege ich den Kontaminationsparameter fest?

Die Kontamination ist der erwartete Anteil an Anomalien in Ihren Daten. Wenn Sie die historische Anomalierate kennen (z. B. 2 % Fehlerquote), verwenden Sie diesen Wert. Ist sie unbekannt, beginnen Sie mit 0.05-0.10 und passen Sie den Wert anhand Ihrer Fachkenntnis an. Zu niedrig → echte Anomalien werden übersehen; zu hoch → normale Punkte werden als Anomalien markiert. Eine visuelle Prüfung der markierten Punkte hilft bei der Kalibrierung.

Wann sollte ich Isolation Forest statt anderer Verfahren zur Ausreißererkennung einsetzen?

Isolation Forest ist besonders stark bei hochdimensionalen Daten, großen Datensätzen und global deutlich abweichenden Ausreißern. Verwenden Sie LOF, wenn die lokale Dichte entscheidend ist (Ausreißer relativ zu ihrer Nachbarschaft). Für einfache univariate Daten eignen sich statistische Verfahren (Z-Wert, IQR). DBSCAN bietet sich an, wenn Sie zusätzlich eine Clusterbildung benötigen. Durch die Komplexität von O(n log n) ist Isolation Forest die am besten skalierbare Option.