K-Means 클러스터링
K-Means 알고리즘으로 데이터를 K개 클러스터로 분할. 군내 제곱합(WCSS)을 최소화하여 데이터 포인트를 K개 클러스터로 그룹화합니다. 색상 산점도와 중심점 마커로 클러스터를 시각화합니다.
군내 제곱합(WCSS)을 최소화하여 데이터 포인트를 K개 클러스터로 그룹화합니다. 색상 산점도와 중심점 마커로 클러스터를 시각화합니다.
K-Means 클러스터링이란 무엇인가요?
K-Means는 군내 제곱합(WCSS)을 최소화하여 n개의 데이터 포인트를 K개의 클러스터로 나누는 반복적 분할 알고리즘입니다. 각 클러스터는 중심점으로 표현됩니다.
알고리즘은 K개의 초기 중심점으로 시작한 다음 두 단계를 번갈아 수행합니다: (1) 각 포인트를 가장 가까운 중심점에 할당, (2) 중심점 재계산. 보통 10-50회 반복에서 수렴합니다.
K를 선택하는 것이 핵심입니다. 엘보우 방법은 WCSS 대 K를 플로팅하고 수확이 줄어드는 '굽힘'을 찾습니다. 실루엣 점수는 +1에 가까울수록 좋은 클러스터링입니다.
Formula: WCSS = Σₖ Σ(xᵢ ∈ Cₖ) ‖xᵢ − μₖ‖² 여기서 μₖ = 클러스터 Cₖ의 중심점 ‖·‖ = 유클리드 거리 할당이 더 이상 바뀌지 않으면 알고리즘 수렴
계산 예시
포인트: (1,1), (1.5,2), (3,4), (5,7), (3.5,5), (4.5,5), (3.5,4.5). K=2에서 중심점 μ₁≈(1.25, 1.5), μ₂≈(3.9, 5.1). WCSS = 8.525.
이 계산기를 사용해야 할 때
- 구매 행동, 인구통계, 참여 지표를 기반으로 고객을 그룹으로 세분화하는 마케팅 분석가
- 생산 데이터에서 서로 다른 모집단이나 고장 모드를 식별하기 위해 측정 데이터를 그룹화하는 품질 엔지니어
- 다차원 데이터셋에서 자연스러운 그룹을 발견하기 위해 비지도 분류를 수행하는 연구자
- 지도 학습을 적용하기 전에 데이터에 의미 있는 클러스터가 있는지 탐색적으로 분석하는 데이터 과학자
피해야 할 일반적인 실수
- 클러스터링 전 특성을 표준화하지 않음 — 한 변수는 0-1000, 다른 변수는 0-1 범위라면 K-Means는 스케일이 큰 변수에 지배됩니다; 항상 평균 0, 분산 1로 표준화하세요
- Elbow Method나 Silhouette Score 없이 직관으로 K 선택 — 임의의 K는 무의미한 클러스터를 만듭니다; 정량적 기준으로 선택을 정당화하세요
- K-Means를 한 번만 실행 — 무작위 초기화 때문에 실행마다 결과가 달라질 수 있습니다; 다른 시드로 여러 번(10-20회) 실행하여 WCSS가 가장 좋은 결과를 선택하세요
- 비구형이거나 겹치는 클러스터가 있는 데이터에 K-Means 적용 — K-Means는 볼록하고 크기가 비슷한 클러스터를 가정합니다; 불규칙한 클러스터 형태에는 DBSCAN이나 Gaussian Mixture Model을 사용하세요
결과 해석 방법
- WCSS가 낮을수록 클러스터가 조밀하지만 WCSS는 K가 증가하면 항상 감소합니다 — 클러스터를 더 추가해도 유의미한 개선이 없어지는 K를 Elbow Method로 찾으세요
- 클러스터 크기는 적용 목적에 비추어 의미가 있어야 합니다 — 점이 1-2개뿐인 클러스터는 실제 클러스터가 아니라 이상치 그룹일 수 있습니다
- 중심점(centroid) 좌표를 살펴보면 각 클러스터가 무엇을 나타내는지 이해할 수 있습니다 — 중심점은 평균적 구성원으로서 클러스터의 특성을 정의합니다
관련 표준 및 참고자료
- MacQueen, J. (1967), 'Some Methods for Classification and Analysis of Multivariate Observations', Proc. 5th Berkeley Symposium — 'k-means'라는 용어의 기원
- Lloyd, S. (1957, 1982년 출판), 'Least Squares Quantization in PCM', IEEE Transactions on Information Theory — 표준적인 할당-갱신 반복 절차
- Jain, A. K. (2010), 'Data Clustering: 50 Years Beyond K-Means', Pattern Recognition Letters — k-means 실무, 초기화, K 선택에 관한 개관 논문
자주 묻는 질문
올바른 클러스터 수(K)를 어떻게 선택하나요?
엘보우 방법: K = 1~10까지 WCSS를 플로팅하고 곡선이 급격히 꺾이는 K를 선택합니다. 실루엣 점수가 가장 높은 K를 선택할 수도 있습니다.
K-Means의 한계는 무엇인가요?
K-Means는 구형 클러스터를 가정하고 이상치에 민감합니다. 비볼록 클러스터를 감지할 수 없습니다. 이러한 경우 DBSCAN이나 가우시안 혼합 모델을 고려하세요.