Kiểm định phân phối chuẩn

Kiểm định chuẩn là gì?

Nhiều phương pháp thống kê — bao gồm biểu đồ kiểm soát, các chỉ số năng lực (Cpk/Ppk), kiểm định t và ANOVA — đều giả định dữ liệu nền tuân theo phân phối chuẩn (Gauss). Kiểm định tính chuẩn nhằm xác nhận giả định này trước khi áp dụng các phương pháp đó. Vi phạm tính chuẩn có thể dẫn tới khoảng tin cậy, ước lượng năng lực và kết luận kiểm định giả thuyết sai lệch.

Kiểm định Shapiro-Wilk có lực kiểm định mạnh nhất với cỡ mẫu nhỏ đến trung bình (n < 5000). Kiểm định Anderson-Darling nhạy với sai lệch ở phần đuôi, nên hữu ích cho các ứng dụng về độ tin cậy và giá trị cực trị. Kiểm định Jarque-Bera xem xét độ lệch và độ nhọn, hoạt động tốt với các mẫu lớn.

Mọi kiểm định đều dùng chung cấu trúc giả thuyết: H₀ (giả thuyết không) = dữ liệu tuân theo phân phối chuẩn; H₁ = dữ liệu không chuẩn. Nếu giá trị p < α (thường là 0.05) thì bác bỏ tính chuẩn. Đồ thị QQ mang lại xác nhận trực quan: các điểm nằm trên đường chéo cho thấy tính chuẩn; các sai lệch có hệ thống bộc lộ bản chất của sự phi chuẩn.

Formula: Shapiro-Wilk: W = (Σ aᵢ x(ᵢ))² / Σ(xᵢ - x̄)² Anderson-Darling: A² = -n - Σ[(2i-1)/n](ln F(x(ᵢ)) + ln(1-F(x(n+1-i)))) reported as A*² = A²(1 + 0.75/n + 2.25/n²) Jarque-Bera: JB = (n/6)(S² + K²/4) where S = skewness, K = excess kurtosis Reject normality if p-value < α (typically 0.05)

Ví dụ tính toán

Kiểm định trên 20 phép đo: Shapiro-Wilk W = 0.965, p = 0.42; Anderson-Darling A² = 0.31, p = 0.52; Jarque-Bera JB = 1.2, p = 0.55. Mọi giá trị p đều > 0.05 — không bác bỏ được tính chuẩn. Đồ thị QQ cho thấy các điểm bám sát đường chéo. Có thể xem dữ liệu là tuân theo phân phối chuẩn.

Khi nào sử dụng máy tính này

• Trước khi tính Cpk hoặc Ppk — chỉ số năng lực quy trình giả định dữ liệu chuẩn; dữ liệu phi chuẩn cần chuyển đổi hoặc phương pháp thay thế
• Trước khi thực hiện t-test hoặc ANOVA — các kiểm tra tham số này giả định phần dư phân phối chuẩn; vi phạm ảnh hưởng độ chính xác khoảng tin cậy
• Khi thiết lập biểu đồ kiểm soát SPC — giới hạn biểu đồ kiểm soát tiêu chuẩn giả định tính chuẩn; dữ liệu phi chuẩn đáng kể cần loại biểu đồ khác
• Trong kiểm tra nhập hàng khi dữ liệu trông bất thường — kiểm tra tính chuẩn giúp xác định phân phối đã dịch chuyển hay cần mô hình phân phối khác
• Khi chuẩn bị dữ liệu cho phân tích hồi quy — kiểm tra tính chuẩn của phần dư xác nhận các giả định nền tảng của mô hình hồi quy

Những sai lầm thường gặp

• Với mẫu rất lớn, chỉ dựa vào giá trị p để bác bỏ tính chuẩn — n > 500, kiểm tra phát hiện sai lệch tầm thường không có tác động thực tế; luôn dùng QQ-plot cho phán đoán trực quan
• Với mẫu nhỏ (n < 20) chấp nhận tính chuẩn mà không kiểm tra — mẫu nhỏ kiểm tra có công suất thấp và có thể không phát hiện sai lệch có ý nghĩa từ tính chuẩn
• Áp dụng kiểm tra tính chuẩn cho dữ liệu số nguyên hoặc được làm tròn nhiều — dữ liệu rời rạc hoặc có ít giá trị duy nhất có thể không đạt kiểm tra tính chuẩn ngay cả khi quy trình cơ bản là chuẩn; đảm bảo độ phân giải đo đủ
• Kiểm tra dữ liệu thô khi nên kiểm tra phần dư — cho hồi quy và ANOVA, phần dư (không phải dữ liệu thô) cần phân phối chuẩn

Cách diễn giải kết quả

• Tất cả kiểm tra p > 0.05 và QQ-plot tuyến tính — dữ liệu nhất quán với tính chuẩn; tiếp tục với phương pháp tham số và phân tích năng lực tiêu chuẩn
• Kiểm tra p < 0.05 nhưng QQ-plot gần tuyến tính — mẫu lớn, sai lệch nhỏ có thể tạo giá trị p có ý nghĩa; nếu QQ-plot gần tuyến tính, tính chuẩn đủ cho hầu hết mục đích thực tế
• QQ-plot hiện đường cong hình S — dữ liệu có đuôi nặng hơn chuẩn (nhọn đỉnh); xem xét phân phối t hoặc phương pháp bền vững
• QQ-plot hiện độ cong hệ thống (lõm hoặc lồi) — dữ liệu lệch; thử chuyển đổi log hoặc Box-Cox
• Các kiểm tra khác nhau không đồng ý — Shapiro-Wilk đáng tin cậy nhất cho sử dụng chung; Anderson-Darling tốt nhất khi đuôi quan trọng (độ tin cậy); dùng QQ-plot làm trọng tài trực quan

Tiêu chuẩn & Tài liệu tham khảo liên quan

• ISO 5479 — Diễn giải thống kê dữ liệu: kiểm định độ lệch khỏi phân phối chuẩn, tiêu chuẩn quốc tế về phương pháp luận kiểm định tính chuẩn
• Shapiro & Wilk (1965), Biometrika — Bài báo gốc giới thiệu thống kê W được triển khai tại đây
• NIST/SEMATECH e-Handbook §1.3.5 — Quy trình tham chiếu cho kiểm định Anderson-Darling và đồ thị xác suất chuẩn (Q-Q)
• Jarque & Bera (1987), International Statistical Review — Kiểm định tính chuẩn dựa trên độ lệch và độ nhọn dùng cho các mẫu lớn hơn
• AIAG SPC Reference Manual — Yêu cầu xác nhận tính chuẩn trước khi tính các chỉ số năng lực như Cpk và Ppk

Câu hỏi thường gặp

Tôi nên làm gì nếu dữ liệu của tôi không vượt qua kiểm định tính chuẩn?

Các lựa chọn gồm: (1) Biến đổi dữ liệu bằng phép biến đổi log, Box-Cox hoặc Johnson để đạt tính chuẩn. (2) Dùng các phương pháp phi tham số không đòi hỏi tính chuẩn (ví dụ Mann-Whitney thay cho kiểm định t). (3) Khớp một phân phối khác (Weibull, log-chuẩn, v.v.) mô tả dữ liệu tốt hơn. (4) Với mẫu lớn (n > 30), định lý giới hạn trung tâm thường khiến việc vi phạm tính chuẩn ít gây ảnh hưởng tới các kiểm định dựa trên giá trị trung bình.

Vì sao các kiểm định tính chuẩn khác nhau lại cho kết quả khác nhau?

Mỗi kiểm định nhạy với một khía cạnh khác nhau của sự phi chuẩn. Shapiro-Wilk có lực kiểm định tổng thể tốt nhất để phát hiện nhiều dạng sai lệch. Anderson-Darling nhấn mạnh sai lệch ở phần đuôi (quan trọng với bài toán độ tin cậy). Jarque-Bera tập trung vào độ lệch và độ nhọn. Với dữ liệu nằm sát ranh giới, một kiểm định có thể bác bỏ trong khi các kiểm định khác thì không. Hãy dùng đồ thị QQ làm căn cứ trực quan để phân định.