분포 피팅
확률 분포 피팅 및 정규성 평가. 히스토그램, QQ 플롯, 정규성 검정으로 데이터 분포를 분석하고, 여러 확률 분포(정규, 로그정규, 지수 등)를 AIC/BIC 기준으로 순위화합니다.
히스토그램, QQ 플롯, 정규성 검정으로 데이터 분포를 분석하고, 여러 확률 분포(정규, 로그정규, 지수 등)를 AIC/BIC 기준으로 순위화합니다.
분포 적합이란?
분포 적합은 데이터를 가장 잘 설명하는 확률분포가 무엇인지 찾아내는 작업입니다. 데이터가 정규분포를 따른다고 흔히 가정하지만, 실제 데이터는 로그정규분포(곱셈적 과정), 지수분포(사건 사이의 간격), 와이블분포(신뢰성·수명) 등 다른 분포를 따르는 경우가 많습니다. 잘못된 분포를 사용하면 예측값과 공정능력 추정값이 모두 틀어집니다.
적합 과정에서는 최대우도추정법으로 분포의 모수를 추정합니다(예: 정규분포는 평균과 σ, 와이블분포는 형상모수와 척도모수). 모형 선택에는 정보기준을 사용하는데, AIC(아카이케 정보기준)와 BIC(베이즈 정보기준)는 적합도와 모형 복잡도를 함께 저울질합니다. AIC/BIC 값이 낮을수록 더 좋은 모형입니다.
콜모고로프-스미르노프(KS) 검정은 경험적 누적분포를 적합된 이론적 누적분포함수와 비교합니다. KS 검정의 p 값이 높으면(> 0.05) 적합도가 좋다는 뜻입니다. QQ 플롯은 시각적 검증 수단으로, 점들이 대각선을 따라가면 선택한 분포가 적절함을 확인해 줍니다.
Formula: KS Statistic = max|F_empirical(x) - F_theoretical(x)| AIC = 2k - 2 ln(L) BIC = k ln(n) - 2 ln(L) where k = parameters, L = likelihood, n = sample size
계산 예시
측정값 100개를 정규분포(AIC=312, BIC=317, KS p=0.08)와 로그정규분포(AIC=305, BIC=310, KS p=0.45)에 적합시켰습니다. 로그정규분포가 AIC/BIC는 더 낮고 KS p 값은 더 높으므로 적합이 더 좋습니다. 로그정규분포의 QQ 플롯이 정규분포 QQ 플롯보다 대각선에 더 밀착합니다.
이 계산기를 사용하는 경우
- 공정 능력 분석 전 올바른 분포 모델을 결정하기 위해 — 비정규 데이터에 Cpk 공식을 사용하면 오해의 소지가 있는 결과
- 일반적으로 우편향된 신뢰성 또는 수명 데이터 분석 시 — Weibull, 대수정규, 지수 분포가 정규보다 훨씬 더 잘 맞을 수 있음
- 데이터의 기본 형태를 이해하고 적절한 통계 방법을 선택하기 위한 공정 특성화 시
- SPC 관리도 한계가 부적절해 보일 때 — 데이터가 정규 분포가 아닐 수 있어 다른 관리도 유형 또는 변환된 데이터 필요
- 측정 데이터를 공급업체 사양과 비교할 때 — 실제 분포를 알면 사양 이탈률의 정확한 예측 가능
흔한 실수
- 확인 없이 모든 데이터가 정규 분포라고 가정 — 제조 데이터는 종종 편향(대수정규), 유한(베타) 또는 다봉(혼합)임; 항상 적합하여 비교
- KS p값이 매우 낮을 때 AIC만으로 분포 선택 — AIC는 후보 간 상대 적합도 순위; 낮은 KS p값은 최선의 후보조차 잘 맞지 않을 수 있음; 더 많은 데이터 수집 또는 다른 분포 고려
- 소규모 데이터셋에 많은 매개변수를 가진 복잡한 분포를 선택하여 과적합 — AIC와 BIC가 복잡성에 벌점을 주지만 소표본에서는 이 기준도 과도하게 복잡한 모델을 선호할 수 있음; 적합이 유사하면 단순한 분포 선호
- 적합도를 시각화하지 않음 — 수치 기준만으로는 오해 가능; 항상 히스토그램 오버레이와 QQ-플롯으로 적합 분포가 데이터 패턴과 일치하는지 확인
결과 해석 방법
- AIC/BIC가 가장 낮고 KS p값이 가장 높은 분포가 최선의 후보 — AIC와 BIC가 불일치하면 BIC가 더 보수적
- KS p값 > 0.05는 적합 분포가 데이터와 일치함을 나타냄 — 낮은 값은 예측에 사용하면 안 되는 부적합을 시사
- 정규 분포가 잘 맞으면 표준 Cpk/Ppk 공식과 모수 검정이 직접 적용 가능
- 대수정규 분포가 가장 잘 맞으면 능력 분석 전 데이터의 로그 변환 또는 비정규 능력 방법 사용 고려
- 어떤 표준 분포도 잘 맞지 않으면 데이터가 다봉(두 공정의 혼합)일 수 있음 — 데이터를 층화해야 하는지 조사
관련 표준 및 참고문헌
- NIST/SEMATECH e-Handbook §1.3.5 — 확률 플롯, 적합도 평가, 분포 선택 지침
- Akaike (1974) & Schwarz (1978) — 후보 분포의 순위를 매기는 데 사용되는 정보 기준 AIC와 BIC를 정의한 원저 논문
- D'Agostino & Stephens, Goodness-of-Fit Techniques (1986) — 적합된 분포가 데이터를 얼마나 잘 설명하는지 평가하는 고전적 참고서
- ISO 5479 — 정규분포 이탈 검정 표준으로, 적합 결과와 함께 보고되는 Shapiro-Wilk 정규성 검정을 다룸
자주 묻는 질문
어떤 분포부터 시도해 보아야 하나요?
연속형이고 좌우 대칭인 데이터는 정규분포부터 시작하십시오. 오른쪽으로 치우쳤거나 음수가 될 수 없는 데이터(농도, 사이클 타임)에는 로그정규분포를 시도합니다. 수명·신뢰성 데이터에는 와이블분포나 지수분포를 시도합니다. 계수형 데이터(단위당 결점 수, 도착 수)는 이산형이라 이 도구(연속 분포만 적합)로는 다루지 않습니다 — 푸아송·이항 분포로 따로 확인하십시오. 히스토그램 모양이 첫 단서가 됩니다. 좌우 대칭 종 모양이면 정규분포, 오른쪽 꼬리가 길면 로그정규분포나 와이블분포, 발생률이 일정하면 지수분포입니다.
AIC와 BIC는 어떻게 다른가요?
둘 다 과적합을 막기 위해 모형 복잡도에 벌점을 주지만, BIC는 모수가 추가될 때 더 강한 벌점을 부과하며 특히 표본이 클수록 그 차이가 커집니다. AIC는 더 복잡한 모형을 고르는 경향이 있어 예측에 유리하고, BIC는 더 단순한 모형을 고르는 경향이 있어 참 모형 식별에 유리합니다. 두 기준이 엇갈릴 때는 BIC 쪽이 더 보수적인 판단입니다. 두 값을 함께 보고 결론이 일치하면 선택에 대한 신뢰도가 높다고 볼 수 있습니다.