PCA 次元削減

主成分分析（PCA）とは？

PCAは相関変数を主成分という非相関変数セットに変換する次元削減技法です。各成分は最大残余分散を捕捉し、最初の数成分で全分散の80-95%を捕捉します。

数学的にPCAは共分散行列の固有ベクトルと固有値を計算します。固有ベクトルは新軸の方向を、固有値は各軸の分散を定量化します。PCA前にデータの標準化が一般的です。

スクリープロットは固有値対成分番号を、バイプロットはスコアと負荷量を可視化し、各成分の意味を解釈できます。

Formula: 共分散行列: C = (1/(n−1)) XᵀX (X は中心化済み) 固有値分解: C·v = λ·v 主成分スコア: Z = X·V 寄与率 = λₖ / Σλᵢ 標準化(既定):中心化した各列を先に標準偏差で割る — C は相関行列 R となり Σλᵢ = 変数の数

計算例

部品5個の3寸法(mm):長さ 24/26/25/28/27、幅 35/35/37/38/40、高さ 13/14/14/15/14。共分散行列の固有値は λ₁ = 6.21、λ₂ = 1.22、λ₃ = 0.07、総分散 7.50。PC1が 6.21/7.50 = 82.7%、PC2が16.3%を説明し累積99.0% — 2成分で3次元を2次元に減らし分散の99%を保持します。3変数は単位が同じなので共分散行列を分解するのが適切です。単位の異なる変数では先に標準化が必要で、さもないと数値の最も大きい変数がPC1を占めます。 計算機でこの値を再現するには「変数を標準化」をオフにしてください — 既定はオンで、その場合は相関行列を分解します。

この計算機を使うタイミング

• 機械学習モデルに投入する前に、高次元の特徴量セット(50変数以上)を扱いやすい数の成分に削減するデータサイエンティスト
• パターンやクラスターを検出するために、第1〜第3主成分を使って高次元データを2Dまたは3Dで可視化する研究者
• 因子分析を用いて多変数の製造工程における主要な変動要因を特定する品質エンジニア
• 相関のある特徴量を無相関の主成分に置き換えて、説明変数から多重共線性を取り除くアナリスト

よくある間違い

• PCAの前にデータを標準化しない — スケールの大きい変数が分散を支配し、第1主成分は単に分散が最大の変数を反映するだけになります。必ず平均0・分散1に標準化してください
• 成分を残しすぎず重要な情報を失う — 累積寄与率が70%未満なら重要なシグナルが捨てられています。80〜95%を目標にしてください
• 主成分を個々の変数として解釈する — 主成分はすべての元の変数の線形結合です。個別の特徴量ではなく、分散が最大となる方向を表します
• 変数の数に対して観測数が非常に少ないデータにPCAを適用する — 安定した結果を得るには、PCAには少なくとも変数と同数(理想は5〜10倍)の観測数が必要です

結果の解釈方法

• 第1〜第3主成分で分散の80%以上を説明できるなら、データは実質的に低次元であり、バイプロットは意味のある要約を提供します
• 絶対値の大きい負荷量は、各成分に最も寄与する元の変数を示します — 成分が何を表すかの解釈に役立ちます
• スクリープロットで連続する固有値の間に大きなギャップがある場合、それは自然な次元数の境界を示します — ギャップ以降の成分はほぼノイズです

関連規格・参考文献

• Pearson, K. (1901), 'On Lines and Planes of Closest Fit to Systems of Points in Space', Philosophical Magazine — 主成分分析の幾何学的起源
• Hotelling, H. (1933), 'Analysis of a Complex of Statistical Variables into Principal Components', Journal of Educational Psychology — 分散最大化によるPCAの定式化
• Jolliffe, I. T., Principal Component Analysis (Springer) — 成分数の保持ルールを含む包括的な現代の参考書

よくある質問

PCA前にデータの標準化は必要ですか？

はい、ほぼ常に。単位やスケールが異なる変数がある場合、PCAは最大分散の変数に支配されます。ゼロ平均・単位分散に標準化してください。

何個の主成分を保持すべきですか？

累積分散80-95%まで保持、スクリープロットの肘を使用、またはカイザー規則（固有値 > 1）を適用します。