階層的クラスタリング

連結法を用いた凝集型クラスタリング. 最も近いペアを反復的に統合してクラスターの階層を構築します。単連結、完全連結、平均連結、Ward法をサポートします。. 階層的クラスタリングは最も近い2つのクラスタを繰り返し統合してデンドログラムを構築します。K-Meansと異なりKの事前指定が不要で、任意のレベルで切断して異なる…

最も近いペアを反復的に統合してクラスターの階層を構築します。単連結、完全連結、平均連結、Ward法をサポートします。

階層的クラスタリングとは？

階層的クラスタリングは最も近い2つのクラスタを繰り返し統合してデンドログラムを構築します。K-Meansと異なりKの事前指定が不要で、任意のレベルで切断して異なるクラスタ数を生成できます。

連結法：単連結（最小距離、チェーン形成傾向）、完全連結（最大距離、コンパクト）、平均連結（平均距離）、Ward法（分散最小化、通常最もバランスの取れた結果）。

統合履歴表は各ステップの統合距離を記録します。距離の大きなジャンプは自然なクラスタ境界を示唆します。

Formula: 単連結法: d(A,B) = min{d(a,b) : a∈A, b∈B} 完全連結法: d(A,B) = max{d(a,b) : a∈A, b∈B} 群平均法: d(A,B) = (1/|A||B|) ΣΣ d(a,b) ウォード法: ΔV = (nₐnᵦ)/(nₐ+nᵦ) ‖μₐ − μᵦ‖²

計算例

ポイント：A(0,0), B(1,0), C(4,0), D(5,0)。単連結：Step1 A+B(距離=1)、Step2 C+D(距離=1)、Step3 {A,B}+{C,D}(距離=3)。距離2で切断 → 2クラスタ：{A,B}と{C,D}。

この計算機を使うタイミング

クラスター数を固定せずにデータの自然なグループ構造を探索する研究者 — デンドログラムはあらゆる粒度の構造を明らかにします
類似度に基づいて遺伝子発現プロファイルやタンパク質配列をクラスタリングするバイオインフォマティクス研究者
製品や顧客を入れ子のサブカテゴリを持つ分類体系にグルーピングする市場調査担当者
連結法の違いがクラスターの構成と構造にどう影響するかを比較する必要のあるデータアナリスト

よくある間違い

ノイズの多いデータに単連結法を使う — 単連結法は、ノイズ点が別々のクラスターを橋渡しして早期に統合してしまう「連鎖効果」を起こしやすい手法です。ほとんどの用途ではウォード法か完全連結法を使用してください
特徴量を標準化しない — 階層的クラスタリングはスケールに敏感な距離尺度を使います。すべての特徴量を標準化しない限り、範囲の大きい変数が結果を支配します
結合距離のパターンを見ずにクラスター数を決める — 恣意的なカットは意味のないクラスターを生みます。自然な区切りを見つけるために、必ずデンドログラムや結合距離の履歴を調べてください
サブサンプリングせずに非常に大きなデータセットへ階層的クラスタリングを適用する — O(n2)のメモリとO(n3)の時間計算量のため、約10,000点を超えるデータセットでは実用的ではありません。大規模データにはK-Meansやミニバッチ手法を使用してください

結果の解釈方法

結合履歴テーブルで結合距離が大きく跳ね上がる箇所は、自然なクラスター境界を示します — 大きなジャンプの直前のクラスターが意味のあるグループです
ウォード法と完全連結法が似たクラスターを生成するなら、そのグルーピングは頑健です。大きく異なる場合、クラスター構造は曖昧かもしれません
クラスターのサイズが極端に偏っている(例: 1つのクラスターが全点の90%を含む)場合、そのカットレベルではデータに強い自然なグループ構造がない可能性があります — 別のクラスター数を試してください

よくある質問

どの連結法を使うべきですか？

Ward法が最も人気のデフォルトで、コンパクトで均等なクラスタを生成します。単連結はチェーニング効果に脆弱なので避けてください。

デンドログラムのどこで切断すべきですか？

統合距離の最大ギャップを探すか、ドメイン知識に基づきクラスタ数を設定するか、非一貫性係数を使用してください。

階層的クラスタリング