Phát hiện bất thường LOF

LOF (Hệ số ngoại lệ cục bộ) là gì?

Local Outlier Factor (LOF) là thuật toán phát hiện bất thường dựa trên mật độ, nhận diện điểm ngoại lai bằng cách so sánh mật độ cục bộ của một điểm với mật độ của các điểm lân cận. Khác với các phương pháp toàn cục, LOF có thể phát hiện ngoại lai trong tập dữ liệu gồm nhiều cụm có mật độ khác nhau — một điểm có thể là bình thường trong cụm thưa nhưng lại bất thường khi nằm cạnh cụm dày đặc.

Thuật toán tính khoảng cách khả đạt và mật độ khả đạt cục bộ (LRD) cho từng điểm dựa trên k điểm lân cận gần nhất. Điểm LOF là tỷ số giữa LRD của một điểm và LRD trung bình của các điểm lân cận. LOF ≈ 1 nghĩa là mật độ tương đương với lân cận (bình thường); LOF >> 1 nghĩa là mật độ thấp hơn nhiều (bất thường).

Số điểm lân cận (k) chi phối tính cục bộ: k nhỏ tập trung vào cấu trúc rất cục bộ, k lớn làm mượt kết quả trên vùng lân cận rộng hơn. Tỷ lệ contamination quyết định phần số điểm được phân loại là bất thường dựa trên thứ hạng của điểm LOF.

Formula: reach-dist(A,B) = max(k-dist(B), dist(A,B)) LRD(A) = 1 / (Σ reach-dist(A,Oᵢ) / k) LOF(A) = (Σ LRD(Oᵢ) / LRD(A)) / k LOF ≈ 1: normal, LOF >> 1: outlier

Ví dụ tính toán

Với k=5 điểm lân cận: Điểm P₁ nằm trong cụm dày đặc có LRD=10, còn 5 điểm lân cận của nó có LRD trung bình 9.5. LOF = 9.5/10 = 0.95 (bình thường). Điểm P₂ nằm gần rìa cụm có LRD=2, các điểm lân cận có LRD trung bình 8. LOF = 8/2 = 4.0 (ngoại lai rõ rệt). Với contamination=0.05, 5% số điểm có điểm LOF cao nhất sẽ bị đánh dấu.

Khi nào sử dụng máy tính này

• Khi dữ liệu có các cụm mật độ khác nhau — LOF phát hiện bất thường cục bộ mà phương pháp toàn cục như Z-score hoặc Isolation Forest sẽ bỏ sót
• Trong kiểm tra chất lượng đa biến khi phép đo từ các trạm kiểm tra khác nhau tạo thành các cụm tự nhiên với độ phân tán khác nhau
• Khi phân tích dữ liệu rung động thiết bị hoặc cảm biến nơi chế độ hoạt động bình thường có mẫu đặc trưng và mật độ khác nhau
• Khi kết quả phát hiện bất thường của Isolation Forest dường như bỏ sót bất thường gần cụm dày — phương pháp dựa trên mật độ của LOF xử lý trường hợp này
• Trong xử lý sự cố quy trình để xác định điểm dữ liệu bất thường so với vùng lân cận cục bộ, ngay cả khi nằm trong phạm vi toàn cục

Những sai lầm thường gặp

• Đặt k (số lân cận) quá nhỏ gây nhạy với nhiễu — giá trị k rất nhỏ làm thuật toán không ổn định; bắt đầu với k=20 và điều chỉnh theo kết quả
• Sử dụng LOF trên dữ liệu rất nhiều chiều — LOF dựa vào chỉ số khoảng cách trở nên ít ý nghĩa trong chiều cao (lời nguyền chiều); xem xét giảm chiều trước
• Coi tất cả điểm LOF > 1 là bất thường — LOF > 1 chỉ nghĩa là mật độ hơi thấp hơn lân cận; sử dụng ngưỡng ô nhiễm hoặc cutoff LOF có ý nghĩa (vd: LOF > 2)
• Không chia tỷ lệ đặc trưng trước khi áp dụng LOF — đặc trưng có phạm vi số lớn hơn chi phối tính khoảng cách; chuẩn hóa tất cả đặc trưng về trung bình 0 và phương sai đơn vị

Cách diễn giải kết quả

• LOF ≈ 1.0 — điểm có mật độ tương tự lân cận; là thành viên bình thường của cụm cục bộ
• LOF 1.5-3.0 — điểm ở vùng mật độ thấp hơn so với lân cận; có thể ở ranh giới cụm hoặc giá trị ngoại lai nhẹ
• LOF > 3.0 — điểm có mật độ thấp hơn nhiều so với lân cận; là giá trị ngoại lai cục bộ mạnh và nên được điều tra
• LOF < 1.0 — điểm ở vùng mật độ cao hơn lân cận; phổ biến cho điểm ở trung tâm cụm chặt
• Nếu nhiều điểm có điểm LOF cao, dữ liệu có thể không có cụm được định nghĩa rõ — xem xét LOF có phải phương pháp đúng cho bộ dữ liệu này

Tiêu chuẩn & Tài liệu tham khảo liên quan

• Breunig, Kriegel, Ng & Sander (2000), "LOF: Identifying Density-Based Local Outliers", ACM SIGMOD — Bài báo gốc định nghĩa điểm LOF được tính tại đây
• ISO 16269-4 — Diễn giải thống kê dữ liệu: phát hiện và xử lý ngoại lệ, tiêu chuẩn quy định cách xử lý các quan sát bị gắn cờ
• ASTM E178 — Thực hành chuẩn về xử lý các quan sát ngoại lai, phần bổ sung cổ điển cho các quyết định ngoại lệ đơn biến
• Aggarwal, Outlier Analysis (Springer) — Tài liệu tham khảo toàn diện so sánh các phương pháp dựa trên mật độ như LOF với các phương án dựa trên cô lập và khoảng cách

Câu hỏi thường gặp

Tôi nên chọn số điểm lân cận (k) như thế nào?

Hãy bắt đầu với k=20 như một giá trị mặc định hợp lý. k nhỏ (5-10) phát hiện được các bất thường rất cục bộ nhưng nhạy với nhiễu. k lớn (từ 50 trở lên) cho kết quả mượt hơn nhưng có thể bỏ sót các bất thường mang tính cục bộ. Cách làm thực tế: thử nhiều giá trị k và kiểm tra xem cùng những điểm đó có bị đánh dấu một cách nhất quán hay không — điểm ngoại lai bền vững qua nhiều giá trị k nhiều khả năng là bất thường thật.

Khi nào nên dùng LOF thay cho Isolation Forest?

Hãy dùng LOF khi dữ liệu của bạn có các cụm với mật độ khác nhau, vì LOF đánh giá từng điểm trong tương quan với vùng lân cận cục bộ của nó. Một điểm nằm xa cụm dày đặc nhưng lại gần một cụm thưa vẫn có thể là bình thường — LOF xử lý đúng tình huống này, trong khi các phương pháp toàn cục có thể đánh dấu nhầm. Hãy dùng Isolation Forest cho dữ liệu nhiều chiều hoặc tập dữ liệu rất lớn, nơi độ phức tạp O(n²) của LOF trở nên quá tốn kém.