DOE 검정력 계산기

요인 실험 설계의 통계적 검정력 계산. 2^(k-p) 요인 설계가 주어진 유의수준에서 의미 있는 효과 크기를 탐지하기에 충분한 반복 수를 가지고 있는지 판단합니다. 검정력은 지정한 크기의 실제 효과가 존재할 때 실험이 그 효과를 검출해 낼 확률입니다. 검정력 = 1 - β이며, 여기서…

2^(k-p) 요인 설계가 주어진 유의수준에서 의미 있는 효과 크기를 탐지하기에 충분한 반복 수를 가지고 있는지 판단합니다.

DOE 검정력 분석이란?

검정력은 지정한 크기의 실제 효과가 존재할 때 실험이 그 효과를 검출해 낼 확률입니다. 검정력 = 1 - β이며, 여기서 β는 제2종 오류(실제 효과를 검출하지 못할 확률)의 확률입니다. 실험계획법에서는 80% 이상의 검정력을 표준적인 최소 기준으로 봅니다.

2^(k-p) 요인배치 설계의 검정력은 인자 수(k), 생성원 수(p, 부분요인배치의 경우), 반복 수(n), 검출하려는 효과 크기(δ), 공정 표준편차(σ), 유의수준(α)에 따라 달라집니다. 검정력을 높이는 가장 기본적인 방법은 반복을 늘리는 것입니다. 검정력은 적합 모형이 남기는 오차 자유도 N − 1 − (모형 항 수)를 쓰는 비중심 t 분포로 계산합니다. 반복 없는 전체 모형은 오차 자유도가 0이라, 반복을 추가하거나 더 작은 모형(주효과만, 또는 주효과 + 2인자 교호작용)을 적합해야 합니다.

신호 대 잡음비 δ/σ가 결정적인 요인입니다. 잡음에 비해 효과가 클수록 검출하기 쉽습니다. 검정력이 부족하다면 반복을 추가하거나, α를 키워 거짓 양성을 더 허용하거나, 인자 수를 줄이거나, 덜 분할된 설계를 선택하는 방법이 있습니다.

Formula: Power = P(|T| > t(α/2, df_E)), T ~ noncentral t(df_E, λ) λ = δ·√N / (2σ) N = n × 2^(k−p) df_E = N − 1 − model terms

계산 예시

2³ 완전요인배치(8회 실행)를 2회 반복하여 총 16회를 실행하고, 효과 크기 δ = 2.0, σ = 1.5, α = 0.05로 전체 모형(7개 항)을 적합하는 경우를 봅니다. 신호 = 2.0/1.5 = 1.33이고, 오차 자유도는 16 − 1 − 7 = 8입니다. 검정력은 약 65%로 통상 목표인 80%에 못 미칩니다. 3회 반복(24회 실행)으로 늘리면 약 87%가 되어 크기 2.0의 효과를 검출하기에 충분합니다.

이 계산기를 사용하는 경우

비용이 큰 실험 실행 전 높은 신뢰도로 실질적으로 중요한 효과를 감지하기에 충분한 반복 수를 확보하기 위해
완전 요인과 부분 요인 중 결정할 때 — 검정력 분석이 적은 실험 횟수로 얼마나 많은 검출 능력을 잃는지 보여줌
실험 예산 수립 시 경영진에게 목표 검정력에 필요한 최소 반복 수를 보여 실험 횟수를 정당화하기 위해
초기 실험에서 유의한 효과가 나타나지 않을 때 — 효과가 없다고 결론 짓기 전에 검정력이 충분했는지 확인
유의 수준 α를 조정할 때 — 제1종 오류(위양성)와 통계적 검정력(검출 능력) 간 트레이드오프 이해

흔한 실수

검정력 분석 없이 실험 실행 — 사후에 검정력이 30%뿐이었다는 것을 발견하면 실험이 낭비되었을 가능성; 항상 데이터 수집 전 검정력 계산
비현실적 효과 크기 δ 사용 — 매우 큰 효과 크기를 선택하면 높은 검정력을 주지만 큰 효과만 감지 가능; 실질적으로 의미 있는 가장 작은 효과 사용
σ 과소추정 — 공정 노이즈 추정이 너무 낮으면 계산된 검정력이 낙관적; 현실적인 σ 추정을 위해 과거 공정 데이터 또는 파일럿 연구 사용
부분 설계에서 분율 무시 — 2^(6-3) 설계는 64개 가능한 것 중 8회 실험만 보유; 많은 효과가 별칭화되고 개별 효과 검출 검정력이 감소

결과 해석 방법

검정력 50% 미만은 실제 효과를 놓칠 가능성이 감지할 가능성보다 큼 — 실험이 검정력 부족이며 현 설계대로 실행하지 말아야 함
검정력 50-80%는 한계적 — 반복 추가 또는 블로킹 및 실험 제어를 통한 노이즈 감소 고려
검정력 80% 이상은 표준 최소 요구 충족 — 지정된 효과 크기가 존재하면 감지할 좋은 기회
검정력 90% 이상은 강력한 검출 능력 — 효과를 놓치면 심각한 결과가 있는 핵심 실험에 권장
많은 실험 횟수에도 검정력이 낮으면 신호 대 잡음비(δ/σ)가 너무 작음 — 실험 횟수 추가보다 실험 노이즈 감소에 집중

자주 묻는 질문

실험에서 목표로 삼아야 할 검정력 수준은 어느 정도인가요?

80%가 널리 받아들여지는 최소 기준입니다. 제품 출시나 안전 관련 인자처럼 중요한 의사결정에는 90% 이상을 목표로 하십시오. 80% 미만이면 비용을 들여 실험하고도 의미 있는 효과가 실제로 존재하는데 '효과 없음'으로 결론 내릴 위험이 상당히 큽니다.

실행 횟수를 늘리지 않고 검정력을 높이려면 어떻게 해야 하나요?

실험 조건을 더 엄격하게 통제해 잡음(σ)을 줄이십시오. 같은 작업자, 같은 자재 로트, 같은 설비를 사용하고, 알려진 방해 인자는 블록으로 묶습니다. 거짓 양성의 비용이 낮다면 α를 0.05에서 0.10으로 높일 수 있습니다. 덜 분할된 설계를 쓰는 것(p를 줄이는 것)도 방법입니다. 반복 전체를 늘리지 않고 곡률을 확인하려면 중심점을 활용하십시오.