特徴量重要度

特徴量重要度とは？

特徴量重要度は各予測変数が目的変数の予測にどれだけ貢献するかを定量化します。最も影響力のある要因を特定し、不要な特徴を除去してモデルを簡素化します。

一般的な方法：相関ベース（絶対ピアソン相関）、順列重要度（特徴のシャッフル時の予測低下）、モデルベース（係数の大きさ、不純度の減少等）。

高い特徴量重要度は因果関係を意味しません。相関した特徴は重要度を共有し得ます。複数の方法の結果を比較することが推奨されます。

Formula: 並べ替え重要度(このツール): R²₀ = 全予測変数でyを最小二乗適合したR² xⱼをシャッフルして再適合しR²π(j)を記録 — 100回、固定シード 重要度_j = R²₀ − 平均 R²π(j) 正規化しない:合計が1である必要はない。≈ 0 またはわずかに負 = 寄与なし 他の方法: |r(xⱼ, y)|(相関) · |βⱼ| × std(xⱼ)(回帰)

計算例

学生10人:学習時間 2/4/6/8/10/3/7/5/9/6、睡眠時間 6/8/5/7/6/5/8/7/5/8、画面時間 3/5/4/2/6/2/5/1/3/4、テスト得点 51/58/58/79/75/50/75/70/73/71。3つの予測変数すべてでR² = 0.98。学習時間をシャッフルして再適合するとR²は平均0.71下がり、睡眠時間は0.19、画面時間は0.07 — 学習時間が最も重要です。スコアの合計が1ではなく0.97なのは、各スコアがR²の取り分ではなくR²の低下量だからです。 各スコアには100回のシャッフル間のばらつき(学習時間は0.16)が併記されます — 10行ではシャッフル1回でスコアが大きく動きえます。

この計算機を使うタイミング

• 次元を削減し性能を高めるために、機械学習モデルの学習前に特徴量選択を行うデータサイエンティスト
• 目的の結果(例: 顧客離反、不良率、売上)に最も強く影響する要因を特定するビジネスアナリスト
• 関心のある結果に対する予測的重要度に基づいて、さらに調査すべき変数の優先順位を付ける研究者
• 数十のセンサー測定値や工程パラメータを、実際に製品品質を左右する少数に絞り込むエンジニア

よくある間違い

• 単一の重要度算出法に依存する — 特に相関のある特徴量では手法ごとに順位が異なることがあります。相関ベース、回帰ベース、並べ替え法のアプローチを比較してください
• 重要度を因果と混同する — 予測に大きく寄与する特徴量でも因果要因とは限りません。相関と因果を区別するにはドメインの専門知識が必要です
• 交互作用が重要な場合に、個別の重要度が低いという理由だけで特徴量を除去する — 単独では弱い2つの特徴量が、組み合わせると高い予測力を持つことがあります。除去前に特徴量の組み合わせをテストしてください
• 回帰ベースの重要度の前に特徴量のスケールを正規化しない — 係数の大きさは変数のスケールに依存します。まず特徴量を標準化するか、標準化係数を使用してください

結果の解釈方法

• 正規化重要度スコアが0.2を超える特徴量は強力な寄与因子です — どのような予測モデルにも必ず含めるべきです
• 重要度スコアがゼロ付近の特徴量は予測価値がほとんどなく除去の候補です — ただし、外す前に交差検証で確認してください
• 上位2〜3の特徴量が総重要度の80%以上を占める場合、目的変数は主に少数の重要因子に左右されています — 改善努力をそこに集中してください

関連規格・参考文献

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — 本ツールが用いる順列重要度を導入した論文
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — モデル非依存の順列重要度(model reliance)の枠組み
• Molnar, C., Interpretable Machine Learning — 順列特徴量重要度と相関した特徴量での落とし穴に関する実務的指針

よくある質問

異なる方法が異なるランキングを示す理由は？

各方法は「重要度」の異なる側面を測定します。相関ベースは線形関連を、順列重要度は予測貢献を測定します。相関した特徴が特に不一致を引き起こします。

重要度の低い特徴を除去すべきですか？

一般にはいですが、交差検証で性能低下を確認してください。一部の特徴は他との相互作用で貢献する場合があります。