पदानुक्रमित क्लस्टरिंग

पदानुक्रमित क्लस्टरिंग क्या है?

पदानुक्रमित क्लस्टरिंग निकटतम दो क्लस्टर को पुनरावृत्त रूप से मिलाकर डेंड्रोग्राम बनाती है। K पूर्व-निर्दिष्ट करने की आवश्यकता नहीं।

लिंकेज विधियाँ: सिंगल (न्यूनतम दूरी, श्रृंखला), कम्पलीट (अधिकतम, सघन), एवरेज (औसत), वार्ड (प्रसरण न्यूनतमीकरण, सबसे संतुलित)।

मर्ज तालिका प्रत्येक चरण की दूरी रिकॉर्ड करती है। बड़ी छलांगें प्राकृतिक क्लस्टर सीमाएँ सुझाती हैं।

Formula: एकल लिंकेज: d(A,B) = min{d(a,b) : a∈A, b∈B} पूर्ण लिंकेज: d(A,B) = max{d(a,b) : a∈A, b∈B} औसत लिंकेज: d(A,B) = (1/|A||B|) ΣΣ d(a,b) Ward: ΔV = (nₐnᵦ)/(nₐ+nᵦ) ‖μₐ − μᵦ‖²

गणना उदाहरण

बिंदु: A(0,0), B(1,0), C(4,0), D(5,0)। सिंगल: चरण 1 A+B (दूरी=1), चरण 2 C+D (1), चरण 3 {A,B}+{C,D} (3)। दूरी 2 पर कट → 2 क्लस्टर।

इस कैलकुलेटर का उपयोग कब करें

• कोई शोधकर्ता जो क्लस्टरों की निश्चित संख्या तय किए बिना डेटा में प्राकृतिक समूहों का अन्वेषण कर रहा हो — डेंड्रोग्राम सभी ग्रैन्युलैरिटी स्तरों पर संरचना दर्शाता है
• कोई बायोइन्फ़ॉर्मेटिशियन जो समानता मापों के आधार पर जीन अभिव्यक्ति प्रोफ़ाइलों या प्रोटीन अनुक्रमों का क्लस्टरिंग कर रहा हो
• कोई बाज़ार शोधकर्ता जो उत्पादों या ग्राहकों को नेस्टेड उप-श्रेणियों वाली वर्गीकरण-प्रणाली में समूहित कर रहा हो
• कोई डेटा विश्लेषक जिसे यह तुलना करनी हो कि विभिन्न लिंकेज विधियाँ क्लस्टर संरचना और संघटन को कैसे प्रभावित करती हैं

बचने योग्य सामान्य गलतियाँ

• शोरयुक्त डेटा पर एकल लिंकेज उपयोग करना — एकल लिंकेज 'चेनिंग प्रभाव' के प्रति संवेदनशील है जिसमें शोर बिंदु भिन्न क्लस्टरों को जोड़कर समय से पहले विलीन कर देते हैं; अधिकांश अनुप्रयोगों के लिए Ward या Complete उपयोग करें
• फ़ीचर मानकीकृत न करना — पदानुक्रमित क्लस्टरिंग पैमाने के प्रति संवेदनशील दूरी माप उपयोग करती है; सभी फ़ीचर मानकीकृत न हों तो बड़े परास वाले चर हावी होते हैं
• विलय दूरी पैटर्न देखे बिना क्लस्टरों की संख्या चुनना — मनमाने कट अर्थहीन क्लस्टर देते हैं; प्राकृतिक विभाजन बिंदुओं के लिए हमेशा डेंड्रोग्राम या विलय दूरी इतिहास देखें
• सबसैंपलिंग के बिना बहुत बड़े डेटासेट पर पदानुक्रमित क्लस्टरिंग लगाना — O(n2) मेमोरी और O(n3) समय जटिलता इसे ~10,000 से अधिक बिंदुओं वाले डेटासेट के लिए अव्यावहारिक बनाती है; बड़े डेटा के लिए K-Means या मिनी-बैच दृष्टिकोण उपयोग करें

परिणामों की व्याख्या कैसे करें

• विलय इतिहास तालिका में विलय दूरियों की बड़ी छलाँगें प्राकृतिक क्लस्टर सीमाएँ दर्शाती हैं — बड़ी छलाँग से ठीक पहले के क्लस्टर सार्थक समूह हैं
• यदि Ward विधि और Complete लिंकेज समान क्लस्टर दें, तो समूहन मज़बूत है; यदि वे काफ़ी भिन्न हों, तो क्लस्टर संरचना अस्पष्ट हो सकती है
• बहुत भिन्न आकार के क्लस्टर (उदा., एक क्लस्टर में 90% बिंदु) संकेत दे सकते हैं कि उस कट स्तर पर डेटा में प्रबल प्राकृतिक समूह नहीं हैं — क्लस्टरों की भिन्न संख्या आज़माएँ

संबंधित मानक और संदर्भ

• Ward, J. H. (1963), 'Hierarchical Grouping to Optimize an Objective Function', Journal of the American Statistical Association — Ward की न्यूनतम-विचरण लिंकेज की उत्पत्ति
• Lance & Williams (1967), 'A General Theory of Classificatory Sorting Strategies', The Computer Journal — सिंगल, कम्प्लीट और एवरेज लिंकेज को समाहित करने वाला एकीकृत पुनरावृत्ति सूत्र
• Everitt, Landau, Leese & Stahl, Cluster Analysis (Wiley) — एग्लोमरेटिव विधियों और डेंड्रोग्राम व्याख्या पर मानक पाठ्यपुस्तक

अक्सर पूछे जाने वाले प्रश्न

कौन सी लिंकेज विधि उपयोग करें?

वार्ड सबसे लोकप्रिय है — सघन और संतुलित क्लस्टर। सिंगल लिंकेज से बचें क्योंकि श्रृंखला प्रभाव होता है।

डेंड्रोग्राम कहाँ काटें?

मर्ज दूरियों में सबसे बड़ा अंतर खोजें, डोमेन ज्ञान से क्लस्टर संख्या तय करें, या असंगति गुणांक उपयोग करें।