PCA 차원축소

주성분 분석(PCA)이란 무엇인가요?

PCA는 상관된 변수를 주성분이라는 비상관 변수 집합으로 변환하는 차원 축소 기법입니다. 각 주성분은 남은 최대 분산을 포착하며, 처음 몇 개가 전체 분산의 80-95%를 포착합니다.

수학적으로 PCA는 공분산 행렬의 고유벡터와 고유값을 계산합니다. 고유벡터는 새 축의 방향을, 고유값은 각 축의 분산을 정량화합니다. PCA 전에 데이터를 표준화하는 것이 일반적입니다.

스크리 플롯은 고유값 대 주성분 번호를 보여주고, 바이플롯은 점수와 적재량을 시각화하여 각 주성분의 의미를 해석할 수 있게 합니다.

Formula: 공분산 행렬: C = (1/(n−1)) XᵀX (X는 중심화) 고유분해: C·v = λ·v PC 점수: Z = X·V 설명된 분산 = λₖ / Σλᵢ 표준화(기본값): 중심화한 각 열을 먼저 표준편차로 나눔 — C가 상관행렬 R이 되고 Σλᵢ = 변수 개수

계산 예시

부품 5개의 세 치수(mm): 길이 24/26/25/28/27, 폭 35/35/37/38/40, 높이 13/14/14/15/14. 공분산 행렬의 고유값은 λ₁ = 6.21, λ₂ = 1.22, λ₃ = 0.07, 총분산 7.50입니다. PC1이 6.21/7.50 = 82.7%, PC2가 16.3%를 설명해 누적 99.0% — 주성분 2개로 3차원을 2차원으로 줄이며 분산의 99%를 보존합니다. 세 변수의 단위가 같으므로 공분산 행렬을 분해하는 것이 맞습니다. 단위가 다른 변수라면 먼저 표준화해야 하며, 그렇지 않으면 숫자가 가장 큰 변수가 PC1을 독차지합니다. 계산기에서 이 값을 재현하려면 「변수 표준화」를 해제하세요 — 기본값은 켜짐이며, 그때는 상관행렬을 분해합니다.

이 계산기를 사용해야 할 때

• 머신러닝 모델에 투입하기 전에 고차원 특성 집합(변수 50개 이상)을 다루기 쉬운 수의 성분으로 축소하는 데이터 과학자
• 패턴이나 클러스터를 발견하기 위해 첫 2-3개 주성분으로 고차원 데이터를 2D 또는 3D로 시각화하는 연구자
• 요인 분석으로 다변수 제조 공정에서 변동의 주요 원인을 식별하는 품질 엔지니어
• 상관된 특성들을 비상관 주성분으로 대체하여 예측 변수의 다중공선성을 제거하는 분석가

피해야 할 일반적인 실수

• PCA 전에 데이터를 표준화하지 않음 — 스케일이 큰 변수가 분산을 지배하여 첫 번째 성분이 단지 분산이 가장 큰 변수를 반영하게 됩니다; 항상 평균 0, 분산 1로 표준화하세요
• 성분을 너무 적게 남겨 중요한 정보를 손실 — 누적 설명 분산이 70% 미만이면 중요한 신호가 버려지고 있는 것입니다; 80-95%를 목표로 하세요
• 주성분을 개별 변수처럼 해석 — PC는 모든 원본 변수의 선형 결합입니다; 개별 특성이 아니라 최대 분산 방향을 나타냅니다
• 변수 수에 비해 관측치가 매우 적은 데이터에 PCA 적용 — 안정적인 결과를 얻으려면 PCA는 최소한 변수 수만큼(이상적으로는 5-10배)의 관측치가 필요합니다

결과 해석 방법

• 첫 2-3개 성분이 분산의 80% 이상을 설명한다면 데이터는 사실상 저차원이며 biplot이 의미 있는 요약을 제공합니다
• 절댓값이 큰 적재량(loading)은 각 성분에 어떤 원본 변수가 가장 크게 기여하는지 보여줍니다 — 성분이 무엇을 나타내는지 해석하는 데 도움이 됩니다
• 스크리 플롯에서 연속된 고유값 사이의 큰 간격은 자연스러운 차원 경계를 나타냅니다 — 간격 이후의 성분들은 대부분 잡음에 기여합니다

관련 표준 및 참고자료

• Pearson, K. (1901), 'On Lines and Planes of Closest Fit to Systems of Points in Space', Philosophical Magazine — 주성분 분석의 기하학적 기원
• Hotelling, H. (1933), 'Analysis of a Complex of Statistical Variables into Principal Components', Journal of Educational Psychology — 분산 최대화 관점의 PCA 정식화
• Jolliffe, I. T., Principal Component Analysis (Springer) — 주성분 보존 개수 결정 규칙을 포함한 포괄적인 현대 참고서

자주 묻는 질문

PCA 전에 데이터를 표준화해야 하나요?

예, 거의 항상입니다. 변수가 다른 단위/스케일을 가지면 PCA는 가장 큰 분산의 변수에 의해 지배됩니다. 영 평균, 단위 분산으로 표준화하세요.

몇 개의 주성분을 유지해야 하나요?

누적 분산 80-95%까지 유지하거나, 스크리 플롯 '팔꿈치'를 사용하거나, 카이저 규칙(고유값 > 1)을 적용하세요.