LOF विसंगति पहचान

Local Outlier Factor का उपयोग करके विसंगतियों का पता लगाएं. Local Outlier Factor (LOF) का उपयोग करके डेटा बिंदुओं की स्थानीय घनत्व विचलन को उनके पड़ोसियों के…

Local Outlier Factor (LOF) का उपयोग करके डेटा बिंदुओं की स्थानीय घनत्व विचलन को उनके पड़ोसियों के सापेक्ष मापता है। काफी कम घनत्व वाले बिंदुओं को विसंगति के रूप में वर्गीकृत किया जाता है।

लोकल आउटलायर फैक्टर (LOF) क्या है?

लोकल आउटलायर फैक्टर (LOF) एक घनत्व-आधारित विसंगति पहचान एल्गोरिदम है, जो किसी बिंदु के स्थानीय घनत्व की तुलना उसके पड़ोसियों के घनत्व से करके आउटलायर (बाह्य मान) पहचानता है। वैश्विक विधियों के विपरीत, LOF ऐसे डेटासेट में भी आउटलायर पकड़ सकता है जिनमें भिन्न-भिन्न घनत्व वाले क्लस्टर हों — कोई बिंदु किसी विरल क्लस्टर में सामान्य हो सकता है, किंतु किसी सघन क्लस्टर के निकट विसंगत माना जाएगा।

एल्गोरिदम प्रत्येक बिंदु के लिए उसके k-निकटतम पड़ोसियों के आधार पर पहुँच दूरी (reachability distance) और स्थानीय पहुँच घनत्व (LRD) की गणना करता है। LOF स्कोर किसी बिंदु के LRD और उसके पड़ोसियों के औसत LRD का अनुपात है। LOF ≈ 1 का अर्थ है पड़ोसियों जैसा ही घनत्व (सामान्य); LOF >> 1 का अर्थ है कहीं कम घनत्व (विसंगति)।

पड़ोसियों की संख्या (k) स्थानीयता को नियंत्रित करती है: छोटा k अत्यंत स्थानीय संरचना पर केंद्रित रहता है, जबकि बड़ा k व्यापक पड़ोस पर औसत लेकर परिणाम को चिकना कर देता है। संदूषण अनुपात LOF स्कोर की क्रमवारी के आधार पर यह तय करता है कि बिंदुओं का कितना अंश विसंगति के रूप में वर्गीकृत होगा।

Formula: reach-dist(A,B) = max(k-dist(B), dist(A,B)) LRD(A) = 1 / (Σ reach-dist(A,Oᵢ) / k) LOF(A) = (Σ LRD(Oᵢ) / LRD(A)) / k LOF ≈ 1: normal, LOF >> 1: outlier

गणना उदाहरण

k=5 पड़ोसियों के साथ: सघन क्लस्टर में स्थित बिंदु P₁ का LRD=10 है और उसके 5 पड़ोसियों का औसत LRD=9.5 है। LOF = 9.5/10 = 0.95 (सामान्य)। क्लस्टर के किनारे के पास स्थित बिंदु P₂ का LRD=2 है, पड़ोसियों का औसत LRD=8। LOF = 8/2 = 4.0 (स्पष्ट आउटलायर)। contamination=0.05 के साथ सर्वोच्च LOF स्कोर वाले शीर्ष 5% बिंदु चिह्नित किए जाते हैं।

इस कैलकुलेटर का उपयोग कब करें

जब डेटा में विभिन्न density के clusters हों — LOF स्थानीय anomalies का पता लगाता है जो Z-score या Isolation Forest जैसी वैश्विक विधियाँ चूक जाएँगी
multivariate गुणवत्ता निरीक्षण के दौरान जब विभिन्न परीक्षण स्टेशनों से माप विभिन्न spreads के साथ प्राकृतिक clusters बनाते हैं
उपकरण vibration या sensor डेटा का विश्लेषण करते समय जहां सामान्य operating modes के विभिन्न characteristic patterns और density हैं
जब Isolation Forest से outlier detection परिणाम dense clusters के पास anomalies चूकते दिखें
प्रक्रिया समस्या निवारण के दौरान ऐसे डेटा बिंदुओं की पहचान करने के लिए जो अपने स्थानीय पड़ोस के सापेक्ष असामान्य हैं

बचने योग्य सामान्य गलतियाँ

k (neighbors) बहुत छोटा सेट करना — बहुत छोटे k values algorithm को अस्थिर बनाते हैं; k=20 से शुरू करें
बहुत उच्च-आयामी डेटा पर LOF का उपयोग — LOF distance metrics पर निर्भर करता है जो उच्च आयामों में कम अर्थपूर्ण हो जाते हैं; पहले dimensionality reduction पर विचार करें
LOF > 1 वाले सभी बिंदुओं को anomalies मानना — LOF > 1 केवल neighbors से थोड़ी कम density का अर्थ है; सार्थक LOF cutoff (जैसे LOF > 2) का उपयोग करें
LOF लागू करने से पहले features को scale न करना — बड़ी संख्यात्मक सीमाओं वाले features distance गणना पर हावी होते हैं

परिणामों की व्याख्या कैसे करें

LOF ≈ 1.0 — बिंदु की density उसके neighbors के समान है; यह अपने स्थानीय cluster का सामान्य सदस्य है
LOF 1.5-3.0 — बिंदु अपने neighbors के सापेक्ष कम density वाले क्षेत्र में है; cluster की सीमा पर या हल्का outlier हो सकता है
LOF > 3.0 — बिंदु की density उसके neighbors से बहुत कम है; मजबूत स्थानीय outlier है और जांच होनी चाहिए
LOF < 1.0 — बिंदु अपने neighbors से अधिक dense क्षेत्र में है; tight clusters के केंद्र में बिंदुओं के लिए सामान्य
यदि कई बिंदुओं में उच्च LOF scores हैं, डेटा में अच्छी तरह परिभाषित clusters नहीं हो सकते

अक्सर पूछे जाने वाले प्रश्न

पड़ोसियों की संख्या (k) कैसे चुनें?

एक उचित डिफ़ॉल्ट के रूप में k=20 से शुरू करें। छोटा k (5-10) अत्यंत स्थानीय विसंगतियाँ पकड़ता है, किंतु शोर के प्रति संवेदनशील होता है। बड़ा k (50+) अधिक स्थिर परिणाम देता है, परंतु स्थानीय स्तर की विसंगतियाँ छूट सकती हैं। व्यावहारिक तरीका यह है: k के कई मान आज़माएँ और देखें कि क्या वही बिंदु लगातार चिह्नित हो रहे हैं — जो आउटलायर k के भिन्न मानों पर भी टिके रहते हैं, उनके वास्तविक विसंगति होने की संभावना अधिक होती है।

आइसोलेशन फ़ॉरेस्ट के बजाय LOF का उपयोग कब करें?

जब आपके डेटा में भिन्न-भिन्न घनत्व वाले क्लस्टर हों तब LOF का उपयोग करें, क्योंकि LOF प्रत्येक बिंदु का मूल्यांकन उसके स्थानीय पड़ोस के सापेक्ष करता है। कोई बिंदु किसी सघन क्लस्टर से दूर होते हुए भी किसी विरल क्लस्टर के निकट हो, तो वह सामान्य हो सकता है — LOF इसे सही ढंग से संभालता है, जबकि वैश्विक विधियाँ उसे चिह्नित कर सकती हैं। उच्च-विमीय डेटा या बहुत बड़े डेटासेट के लिए आइसोलेशन फ़ॉरेस्ट चुनें, जहाँ LOF की O(n²) जटिलता अव्यावहारिक हो जाती है।