正态性检验
检验数据是否服从正态分布. 使用Shapiro-Wilk、Anderson-Darling和Jarque-Bera检验评估正态性。通过直方图和QQ图可视化。. 许多统计方法——包括控制图、过程能力指数(Cpk/Ppk)、t 检验与…
使用Shapiro-Wilk、Anderson-Darling和Jarque-Bera检验评估正态性。通过直方图和QQ图可视化。
什么是正态性检验?
许多统计方法——包括控制图、过程能力指数(Cpk/Ppk)、t 检验与 ANOVA——都假定数据服从正态(高斯)分布。正态性检验就是在使用这些方法之前验证该假定。违背正态性会导致置信区间、能力指数估计与假设检验结论出现偏差。
Shapiro-Wilk 检验对中小样本(n < 5000)是检验力最强的正态性检验。Anderson-Darling 检验对分布尾部的偏离较为敏感,因而适用于可靠性与极值类场合。Jarque-Bera 检验考察偏度与峰度,对较大样本效果良好。
所有检验都采用相同的假设结构:H₀(原假设)= 数据服从正态分布;H₁ = 数据不服从正态分布。若 p 值 < α(通常取 0.05),则拒绝正态性。QQ 图提供直观验证:各点落在对角线上说明数据服从正态;系统性偏离则揭示了非正态的具体形态。
Formula: Shapiro-Wilk: W = (Σ aᵢ x(ᵢ))² / Σ(xᵢ - x̄)² Anderson-Darling: A² = -n - Σ[(2i-1)/n](ln F(x(ᵢ)) + ln(1-F(x(n+1-i)))) reported as A*² = A²(1 + 0.75/n + 2.25/n²) Jarque-Bera: JB = (n/6)(S² + K²/4) where S = skewness, K = excess kurtosis Reject normality if p-value < α (typically 0.05)
计算示例
对 20 个测量值进行检验:Shapiro-Wilk W = 0.965,p = 0.42;Anderson-Darling A² = 0.31,p = 0.52;Jarque-Bera JB = 1.2,p = 0.55。所有 p 值均 > 0.05——不能拒绝正态性。QQ 图显示各点紧贴对角线。这批数据可以按正态分布来处理。
何时使用此计算器
- 计算Cpk或Ppk之前 — 工艺能力指数假设正态数据;非正态数据需要变换或替代方法
- 执行t检验或ANOVA之前 — 这些参数检验假设残差呈正态分布;违反会影响置信区间准确性
- 设置SPC控制图时 — 标准控制图限假设正态性;显著非正态的数据需要不同的图表类型
- 进货检验数据看起来异常时 — 正态性检验帮助确定分布是否已偏移或是否需要不同的分布模型
- 为回归分析准备数据时 — 检查残差的正态性验证回归模型的基本假设
常见错误
- 非常大的样本中仅凭p值拒绝正态性 — n > 500时检验会检测到没有实际影响的微小正态偏离;始终使用QQ图进行视觉判断
- 小样本(n < 20)不检查就接受正态性 — 小样本中检验功效低,可能无法检测到有意义的正态偏离
- 对整数或严重取整的数据应用正态性检验 — 离散数据或唯一值很少的数据即使基础过程是正态的也可能无法通过正态性检验;确保测量分辨率足够
- 应该检验残差时却检验原始数据 — 对于回归和ANOVA,需要正态分布的是残差而非原始数据
如何解读结果
- 所有检验p > 0.05且QQ图为线性 — 数据与正态性一致;可继续使用参数方法和标准能力分析
- 检验p < 0.05但QQ图大致线性 — 大样本中微小偏离也能产生显著p值;如果QQ图近似线性,对大多数实际目的正态性足够
- QQ图显示S形曲线 — 数据比正态有更重的尾部(尖峰);考虑t分布或稳健方法
- QQ图显示系统性曲率(凹或凸) — 数据偏斜;尝试对数或Box-Cox变换
- 不同检验结果不一致 — Shapiro-Wilk在通用场景最可靠;Anderson-Darling在尾部重要时(可靠性)最佳;使用QQ图作为视觉仲裁者
相关标准与参考文献
- ISO 5479 — 数据的统计解释:偏离正态分布的检验,涵盖正态性检验方法的国际标准
- Shapiro & Wilk (1965), Biometrika — 提出此处实现的W统计量的原始论文
- NIST/SEMATECH e-Handbook §1.3.5 — Anderson-Darling检验与正态概率(Q-Q)图的参考程序
- Jarque & Bera (1987), International Statistical Review — 用于较大样本的基于偏度-峰度的正态性检验
- AIAG SPC Reference Manual — 要求在计算Cpk、Ppk等能力指数前验证正态性
常见问题
如果我的数据未通过正态性检验,应该怎么做?
可选的做法包括:(1) 采用对数变换、Box-Cox 变换或 Johnson 变换使数据达到正态。(2) 使用不假定正态性的非参数方法(例如用 Mann-Whitney 检验替代 t 检验)。(3) 拟合能更好描述数据的其他分布(威布尔、对数正态等)。(4) 对大样本(n > 30),中心极限定理往往使正态性的违背对基于均值的检验影响不大。
为什么不同的正态性检验会给出不同的结果?
每种检验对非正态的不同侧面敏感。Shapiro-Wilk 在检出各类偏离方面综合检验力最好。Anderson-Darling 侧重尾部偏离(对可靠性分析很重要)。Jarque-Bera 关注偏度与峰度。当数据处于临界状态时,可能出现一种检验拒绝而其他检验不拒绝的情况。此时可用 QQ 图作为直观的裁决依据。