계층적 클러스터링

연결법을 사용한 병합 클러스터링. 가장 가까운 쌍을 반복적으로 병합하여 클러스터 계층을 구축합니다. 단일, 완전, 평균 및 Ward 연결법을 지원합니다. 계층적 클러스터링은 두 개의 가장 가까운 클러스터를 반복적으로 병합하여 덴드로그램을 구축합니다. K-Means와 달리 K를 미리…

가장 가까운 쌍을 반복적으로 병합하여 클러스터 계층을 구축합니다. 단일, 완전, 평균 및 Ward 연결법을 지원합니다.

계층적 클러스터링이란 무엇인가요?

계층적 클러스터링은 두 개의 가장 가까운 클러스터를 반복적으로 병합하여 덴드로그램을 구축합니다. K-Means와 달리 K를 미리 지정할 필요가 없으며, 어떤 수준에서든 절단하여 다른 수의 클러스터를 생성할 수 있습니다.

연결법: 단일(최소 거리, 체인 형성), 완전(최대 거리, 콤팩트), 평균(평균 거리), Ward(분산 최소화, 보통 가장 균형 잡힌 결과).

병합 이력 표는 각 단계의 병합 거리를 기록합니다. 큰 점프는 자연스러운 클러스터 경계를 제안합니다. 병합형(상향식)이 가장 일반적입니다.

Formula: 단일 연결: d(A,B) = min{d(a,b) : a∈A, b∈B} 완전 연결: d(A,B) = max{d(a,b) : a∈A, b∈B} 평균 연결: d(A,B) = (1/|A||B|) ΣΣ d(a,b) Ward: ΔV = (nₐnᵦ)/(nₐ+nᵦ) ‖μₐ − μᵦ‖²

계산 예시

포인트: A(0,0), B(1,0), C(4,0), D(5,0). 단일 연결: 1단계 A+B(거리=1), 2단계 C+D(거리=1), 3단계 {A,B}+{C,D}(거리=3). 거리 2에서 절단하면 2개 클러스터: {A,B}와 {C,D}.

이 계산기를 사용해야 할 때

고정된 클러스터 수에 얽매이지 않고 데이터의 자연스러운 그룹을 탐색하는 연구자 — 덴드로그램이 모든 세분화 수준에서 구조를 드러냅니다
유사도 측정값을 기반으로 유전자 발현 프로파일이나 단백질 서열을 클러스터링하는 생물정보학자
제품이나 고객을 중첩된 하위 범주가 있는 분류 체계로 그룹화하는 시장 조사원
연결(linkage) 방법에 따라 클러스터 구성과 구조가 어떻게 달라지는지 비교해야 하는 데이터 분석가

피해야 할 일반적인 실수

잡음 있는 데이터에 단일 연결 사용 — 단일 연결은 잡음 점이 서로 다른 클러스터를 잇는 '연쇄 효과(chaining effect)'에 취약하여 클러스터가 조기에 병합됩니다; 대부분의 용도에는 Ward나 완전 연결을 사용하세요
특성을 표준화하지 않음 — 계층적 클러스터링은 스케일에 민감한 거리 척도를 사용합니다; 모든 특성을 표준화하지 않으면 범위가 큰 변수가 지배합니다
병합 거리 패턴을 보지 않고 클러스터 수 선택 — 임의의 절단은 무의미한 클러스터를 만듭니다; 자연스러운 분기점을 찾기 위해 항상 덴드로그램이나 병합 거리 이력을 살펴보세요
서브샘플링 없이 매우 큰 데이터셋에 계층적 클러스터링 적용 — O(n2) 메모리와 O(n3) 시간 복잡도 때문에 약 10,000점 이상의 데이터셋에서는 비실용적입니다; 대규모 데이터에는 K-Means나 미니배치 방식을 사용하세요

결과 해석 방법

병합 이력 표에서 병합 거리가 크게 점프하는 지점은 자연스러운 클러스터 경계를 나타냅니다 — 큰 점프 직전의 클러스터들이 의미 있는 그룹입니다
Ward 방법과 완전 연결이 유사한 클러스터를 만든다면 그룹화가 견고한 것이고, 크게 다르다면 클러스터 구조가 모호할 수 있습니다
클러스터 크기가 매우 불균형하다면(예: 한 클러스터가 전체 점의 90%를 차지) 해당 절단 수준에서 데이터에 강한 자연적 그룹이 없을 수 있습니다 — 다른 클러스터 수를 시도해 보세요

자주 묻는 질문

어떤 연결법을 사용해야 하나요?

Ward 방법이 가장 인기 있는 기본값으로 콤팩트하고 균등한 클러스터를 생성합니다. 완전 연결도 좋은 대안입니다. 단일 연결은 체이닝 효과에 취약합니다.

덴드로그램을 어디에서 잘라야 하나요?

병합 거리의 가장 큰 간격을 찾거나, 도메인 지식으로 클러스터 수를 설정하거나, 비일관성 계수를 사용하세요.

계층적 클러스터링