PCA 降维

什么是主成分分析（PCA）？

PCA是将相关变量转换为称为主成分的不相关变量集的降维技术。每个成分捕获最大剩余方差，前几个成分通常捕获总方差的80-95%。

数学上，PCA计算协方差矩阵的特征向量和特征值。特征向量定义新轴方向，特征值量化每个轴的方差。PCA前通常标准化数据。

碎石图显示特征值vs成分编号，双标图可视化得分和载荷，帮助解释每个成分的含义。

Formula: 协方差矩阵: C = (1/(n−1)) XᵀX (X 已中心化) 特征分解: C·v = λ·v 主成分得分: Z = X·V 方差解释比例 = λₖ / Σλᵢ 标准化(默认):先将中心化后的每列除以其标准差 — C 变为相关矩阵 R,Σλᵢ = 变量个数

计算示例

5个零件的三个尺寸(mm)：长度 24/26/25/28/27，宽度 35/35/37/38/40，高度 13/14/14/15/14。协方差矩阵的特征值为 λ₁ = 6.21，λ₂ = 1.22，λ₃ = 0.07，总方差 7.50。PC1解释 6.21/7.50 = 82.7%，PC2解释16.3%，累积99.0%——保留2个成分将三维降至二维，保留99%的方差。三个变量单位相同，因此分解协方差矩阵是正确的；若变量单位不同，需先标准化，否则数值最大的变量会主导PC1。要在计算器中重现这些数值,请取消勾选“标准化变量”——它默认开启,此时分解的是相关矩阵。

何时使用此计算器

• 数据科学家在送入机器学习模型之前，将高维特征集（50+ 个变量）降到可管理数量的成分
• 研究人员使用前 2-3 个主成分在二维或三维空间可视化高维数据，以发现模式或簇
• 质量工程师通过因子分析识别多变量制造过程中的主要变异来源
• 分析师用互不相关的主成分替换相关特征，从而消除预测变量中的多重共线性

常见错误

• PCA 前未标准化数据——尺度更大的变量会主导方差，第一主成分只会反映方差最大的那个变量；务必标准化为零均值、单位方差
• 保留的成分过少导致重要信息丢失——若累计方差解释比例低于 70%，重要信号正在被丢弃；目标应为 80-95%
• 把主成分当作单个变量来解读——主成分是所有原始变量的线性组合；它们代表方差最大的方向，而非单个特征
• 在观测数相对变量数过少时应用 PCA——PCA 至少需要与变量数相当的观测数（理想为 5-10 倍）才能产生稳定结果

如何解读结果

• 若前 2-3 个成分解释了 80% 以上的方差，说明数据实际上是低维的，双标图（biplot）可提供有意义的概览
• 绝对值较高的载荷表明哪些原始变量对各成分贡献最大——这有助于解读成分所代表的含义
• 碎石图中相邻特征值之间的大幅落差标志着自然的维度边界——落差之后的成分贡献的大多是噪声

相关标准与参考文献

• Pearson, K. (1901), 'On Lines and Planes of Closest Fit to Systems of Points in Space', Philosophical Magazine — 主成分分析的几何起源
• Hotelling, H. (1933), 'Analysis of a Complex of Statistical Variables into Principal Components', Journal of Educational Psychology — 方差最大化形式的PCA表述
• Jolliffe, I. T., Principal Component Analysis (Springer) — 包含主成分保留规则的全面现代参考书

常见问题

PCA前需要标准化数据吗？

是的，几乎总是需要。不同单位/尺度的变量会导致PCA被最大方差变量主导。标准化为零均值单位方差。

应保留多少主成分？

保留至累积方差80-95%，使用碎石图'肘部'，或Kaiser规则（特征值 > 1）。