피처 중요도

피처 중요도란 무엇인가요?

피처 중요도는 각 예측 변수가 목표 변수 예측에 얼마나 기여하는지를 정량화합니다. 가장 영향력 있는 요인을 식별하고 관련 없는 피처를 제거하여 모델을 단순화합니다.

일반적인 방법: 상관 기반 순위(절대 피어슨 상관), 순열 중요도(피처 셔플 시 예측 저하 측정), 모델 기반 중요도(계수 크기, 불순도 감소 등).

높은 피처 중요도가 인과관계를 의미하지 않습니다. 상관된 피처는 중요도를 공유할 수 있으며, 여러 방법의 결과를 비교하는 것이 좋습니다.

Formula: 순열 중요도(이 도구): R²₀ = 모든 예측변수로 y를 최소제곱 적합한 R² xⱼ를 섞고 다시 적합해 R²π(j) 기록 — 100회, 고정 시드 Importance_j = R²₀ − 평균 R²π(j) 정규화하지 않음: 점수 합이 1일 필요 없음. ≈ 0 또는 약간 음수 = 기여 없음 다른 방법: |r(xⱼ, y)|(상관) · |βⱼ| × std(xⱼ)(회귀)

계산 예시

학생 10명: 공부 시간 2/4/6/8/10/3/7/5/9/6, 수면 시간 6/8/5/7/6/5/8/7/5/8, 화면 시간 3/5/4/2/6/2/5/1/3/4, 시험 점수 51/58/58/79/75/50/75/70/73/71. 세 예측변수를 모두 쓰면 R² = 0.98. 공부 시간을 섞고 다시 적합하면 R²가 평균 0.71 떨어지고, 수면 시간은 0.19, 화면 시간은 0.07 — 공부 시간이 가장 중요합니다. 점수 합은 1이 아니라 0.97인데, 각 점수가 R²의 몫이 아니라 R² 감소량이기 때문입니다. 각 점수에는 100회 셔플 간 편차(공부 시간 0.16)가 함께 표시됩니다 — 10행에서는 셔플 한 번이 점수를 크게 움직일 수 있습니다.

이 계산기를 사용해야 할 때

• 차원을 줄이고 성능을 높이기 위해 머신러닝 모델 학습 전에 특성 선택을 수행하는 데이터 과학자
• 어떤 요인이 목표 결과(예: 고객 이탈, 불량률, 매출)에 가장 강하게 영향을 미치는지 식별하는 비즈니스 분석가
• 관심 결과에 대한 예측 중요도를 기준으로 추가 조사할 변수의 우선순위를 정하는 연구자
• 수십 개의 센서 측정값이나 공정 파라미터를 제품 품질을 실제로 좌우하는 소수로 좁히는 엔지니어

피해야 할 일반적인 실수

• 단일 중요도 방법에만 의존 — 특히 상관된 특성에서는 방법마다 다른 순위가 나올 수 있습니다; 상관 기반, 회귀 기반, 순열 방식을 비교하세요
• 중요도를 인과관계와 혼동 — 어떤 특성은 인과 요인이 아니어도 예측에 매우 중요할 수 있습니다; 상관과 인과를 구분하려면 도메인 전문 지식이 필요합니다
• 상호작용이 중요한 상황에서 개별 중요도가 낮다는 이유만으로 특성 제거 — 개별적으로 약한 두 특성이 함께라면 높은 예측력을 가질 수 있습니다; 제거 전에 특성 조합을 테스트하세요
• 회귀 기반 중요도 계산 전에 특성 스케일을 정규화하지 않음 — 계수 크기는 변수의 스케일에 좌우됩니다; 먼저 특성을 표준화하거나 표준화 계수를 사용하세요

결과 해석 방법

• 정규화 중요도 점수가 0.2를 넘는 특성은 강력한 기여 요인입니다 — 어떤 예측 모델에든 반드시 포함해야 합니다
• 중요도 점수가 0에 가까운 특성은 예측 가치가 거의 없어 제거 후보입니다 — 다만 제거 전에 교차 검증으로 확인하세요
• 상위 2-3개 특성이 전체 중요도의 80% 이상을 차지한다면 목표 변수는 소수의 핵심 요인에 의해 주로 좌우되는 것입니다 — 개선 노력을 그곳에 집중하세요

관련 표준 및 참고자료

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — 이 도구가 사용하는 순열 중요도 기법을 처음 제시한 논문
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — 모델 독립적 순열 중요도(model reliance) 프레임워크
• Molnar, C., Interpretable Machine Learning — 순열 특성 중요도와 상관된 특성에서의 함정에 대한 실무 지침

자주 묻는 질문

왜 다른 중요도 방법이 다른 순위를 줄 수 있나요?

각 방법은 '중요도'의 다른 측면을 측정합니다. 상관 기반은 선형 연관을, 순열 중요도는 예측 기여를 측정합니다. 상관된 피처가 특히 불일치를 유발합니다.

낮은 중요도의 피처를 제거해야 하나요?

일반적으로 예이지만 교차 검증으로 성능 저하를 확인하세요. 일부 피처는 다른 피처와의 상호작용을 통해 기여할 수 있습니다.