特征重要性

什么是特征重要性？

特征重要性量化每个预测变量对预测目标变量的贡献程度。帮助识别最有影响力的因素，通过移除无关特征简化模型。

常用方法：相关性排名（绝对皮尔逊相关）、排列重要性（特征打乱后预测下降）、基于模型的重要性（系数大小、不纯度降低等）。

高特征重要性不一定意味着因果关系。相关特征可能共享重要性。建议比较多种方法的结果。

Formula: 置换重要性(本工具): R²₀ = 用全部预测变量对 y 做最小二乘拟合的 R² 打乱 xⱼ 并重新拟合，记录 R²π(j) —— 100 次，固定种子 Importance_j = R²₀ − 平均 R²π(j) 不做归一化：得分之和不必为 1；≈ 0 或略为负 = 无贡献 其他方法: |r(xⱼ, y)|(相关) · |βⱼ| × std(xⱼ)(回归)

计算示例

10 名学生：学习时长 2/4/6/8/10/3/7/5/9/6，睡眠时长 6/8/5/7/6/5/8/7/5/8，屏幕时间 3/5/4/2/6/2/5/1/3/4，考试成绩 51/58/58/79/75/50/75/70/73/71。三个预测变量共同拟合 R² = 0.98。打乱学习时长并重新拟合，R² 平均下降 0.71，睡眠时长 0.19，屏幕时间 0.07 —— 学习时长最重要。得分之和为 0.97 而非 1，因为每个得分是 R² 的下降量，而不是 R² 的份额。 每个得分都附有 100 次打乱间的离散度(学习时长为 0.16)——只有 10 行时，一次打乱就可能让得分变化很大。

何时使用此计算器

• 数据科学家在训练机器学习模型前进行特征选择，以降维并提升性能
• 业务分析师识别对目标结果（如客户流失、缺陷率、销售额）影响最强的因素
• 研究人员根据变量对目标结果的预测重要性，确定优先深入研究的变量
• 工程师将数十个传感器读数或工艺参数收窄到真正驱动产品质量的少数几个

常见错误

• 只依赖单一重要性方法——不同方法可能给出不同排名，对相关特征尤其如此；应比较基于相关、基于回归和置换三种方法
• 把重要性与因果混为一谈——一个特征对预测高度重要并不意味着它是因果因素；区分相关与因果需要领域专业知识
• 在存在交互作用时仅凭单项重要性低就删除特征——两个单独较弱的特征联合起来可能具有很强的预测力；删除前先测试特征组合
• 基于回归的重要性计算前未归一化特征尺度——系数大小取决于变量的尺度；应先标准化特征或使用标准化系数

如何解读结果

• 归一化重要性得分高于 0.2 的特征是强贡献者——任何预测模型都应当纳入它们
• 重要性得分接近零的特征对预测价值贡献甚微，是删除的候选——但在剔除前应通过交叉验证确认
• 若前 2-3 个特征占总重要性的 80% 以上，说明目标变量主要由少数关键因素驱动——应将改进精力集中于此

相关标准与参考文献

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — 提出本工具所用置换重要性方法的论文
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — 模型无关的置换重要性（model reliance）框架
• Molnar, C., Interpretable Machine Learning — 关于置换特征重要性及其在相关特征下陷阱的实用指南

常见问题

为什么不同方法给出不同排名？

每种方法衡量'重要性'的不同方面。相关性方法捕获线性关联，排列重要性衡量预测贡献。相关特征特别容易导致分歧。

应该移除低重要性特征吗？

通常是的，但应通过交叉验证确认不会显著降低性能。某些特征可能通过与其他特征的交互起作用。