分布フィッティング
確率分布のフィッティングと正規性評価. ヒストグラム、QQプロット、正規性検定でデータ分布を分析し、複数の確率分布(正規、対数正規、指数など)をAIC/BICで順位付けします。. 分布フィッティングは、どの確率分布がデータセットを最もよく表すかを特定します。データは正規分布に従うと考えられがちですが、実際のデータは対数…
ヒストグラム、QQプロット、正規性検定でデータ分布を分析し、複数の確率分布(正規、対数正規、指数など)をAIC/BICで順位付けします。
分布フィッティングとは?
分布フィッティングは、どの確率分布がデータセットを最もよく表すかを特定します。データは正規分布に従うと考えられがちですが、実際のデータは対数正規分布(乗法的なプロセス)、指数分布(事象間の時間)、ワイブル分布(信頼性・寿命)などの分布に従うことが少なくありません。誤った分布を使うと、予測や工程能力の推定が不正確になります。
フィッティングの過程では、最尤推定法によって分布のパラメータ(正規分布なら平均と σ、ワイブル分布なら形状と尺度など)を推定します。モデル選択には情報量規準を用います。AIC(赤池情報量規準)と BIC(ベイズ情報量規準)は、当てはまりの良さとモデルの複雑さのバランスを取ります。AIC/BIC の値が小さいほど良いモデルです。
コルモゴロフ・スミルノフ(KS)検定は、経験累積分布と当てはめた理論 CDF を比較します。KS の p 値が高い(> 0.05)ほど、当てはまりが良いことを示します。QQ プロットは視覚的な検証手段となり、点が対角線に沿っていれば、選んだ分布が適切であることを裏づけます。
Formula: KS Statistic = max|F_empirical(x) - F_theoretical(x)| AIC = 2k - 2 ln(L) BIC = k ln(n) - 2 ln(L) where k = parameters, L = likelihood, n = sample size
計算例
100 個の測定値を正規分布(AIC=312、BIC=317、KS p=0.08)と対数正規分布(AIC=305、BIC=310、KS p=0.45)に当てはめました。対数正規分布のほうが AIC/BIC が小さく、KS の p 値も高いため、こちらのほうが当てはまりが良いといえます。対数正規分布の QQ プロットは、正規分布の QQ プロットよりも対角線に近く沿っています。
この計算機を使用する場面
- 工程能力分析前に正しい分布モデルを決定するため — 非正規データにCpk公式を使用すると誤解を招く結果になる
- 通常右に歪む信頼性や寿命データの分析時 — Weibull、対数正規、指数分布が正規よりはるかに適合する可能性
- データの基本的な形状を理解し適切な統計手法を選択するための工程特性化時
- SPC管理図の限界が不適切に見える場合 — データが正規分布でない可能性があり異なる管理図タイプや変換データが必要
- 測定データをサプライヤー仕様と比較する際 — 実際の分布を知ることで仕様外率の正確な予測が可能
よくある間違い
- 確認なしにすべてのデータが正規分布と仮定 — 製造データは多くの場合歪み(対数正規)、有界(ベータ)、多峰(混合);常に適合して比較
- KSのp値が非常に低いときにAICのみで分布を選択 — AICは候補間の相対的適合度をランク付け;低いKS p値は最良の候補でもよく適合しない可能性;より多くのデータを収集するか他の分布を検討
- 小データセットに多くのパラメータを持つ複雑な分布を選択して過適合 — AICとBICは複雑さにペナルティを課すが小サンプルではこれらの基準でも過度に複雑なモデルを好む可能性;適合が類似なら単純な分布を選好
- 適合を可視化しない — 数値基準だけでは誤解の可能性;常にヒストグラムオーバーレイとQQプロットで適合分布がデータパターンと一致するか確認
結果の解釈方法
- AIC/BICが最も低くKS p値が最も高い分布が最良候補 — AICとBICが不一致ならBICがより保守的
- KS p値 > 0.05は適合分布がデータと整合していることを示す — 低い値は予測に使用すべきでない不適合を示唆
- 正規が良好に適合すれば標準Cpk/Ppk公式とパラメトリック検定が直接適用可能
- 対数正規が最良適合なら能力分析前にデータの対数変換または非正規能力手法の使用を検討
- 標準分布がどれも良好に適合しなければデータが多峰(2つの工程の混合)の可能性 — データを層別すべきか調査
関連規格・参考文献
- NIST/SEMATECH e-Handbook §1.3.5 — 確率プロット、適合度評価、分布選択のガイダンス
- Akaike (1974) & Schwarz (1978) — 候補分布の順位付けに用いる情報量規準AICとBICを定義した原著論文
- D'Agostino & Stephens, Goodness-of-Fit Techniques (1986) — 適合した分布がデータをどれだけよく記述するかを評価する古典的な参考文献
- ISO 5479 — 正規分布からの乖離の検定規格。フィット結果と併せて報告されるShapiro-Wilk正規性検定を扱う
よくある質問
最初にどの分布を試せばよいですか?
連続で左右対称なデータは、まず正規分布から始めます。正の方向に歪んだデータや負の値を取り得ないデータ(濃度、サイクルタイムなど)には対数正規分布を試します。寿命・信頼性のデータにはワイブル分布や指数分布を試します。計数データ(単位あたりの欠点数、到着数など)は離散です。このツールは連続分布だけを当てはめるため、計数データはポアソン分布や二項分布で別途確認します。ヒストグラムの形状が最初の手がかりになります。左右対称の釣鐘型 → 正規分布、右に裾を引く → 対数正規分布/ワイブル分布、一定の発生率 → 指数分布です。
AIC と BIC の違いは何ですか?
どちらも過学習を防ぐためにモデルの複雑さへ罰則を課しますが、BIC はパラメータの追加に対してより強い罰則を課します(特に標本サイズが大きい場合)。AIC はより複雑なモデルを選ぶ傾向があり(予測に優れます)、BIC はより単純なモデルを選ぶ傾向があります(モデルの同定に優れます)。両者の判断が食い違う場合は、BIC のほうが保守的です。両方を併用し、結果が一致すれば選択の信頼度は高いといえます。