Khớp phân phối

Khớp phân phối là gì?

Khớp phân phối là việc xác định phân phối xác suất nào mô tả tốt nhất một tập dữ liệu. Dù nhiều người mặc định dữ liệu tuân theo phân phối chuẩn, dữ liệu thực tế thường theo phân phối log-chuẩn (các quá trình nhân tính), phân phối mũ (khoảng thời gian giữa các sự kiện), Weibull (độ tin cậy/tuổi thọ) hoặc những phân phối khác. Dùng sai phân phối sẽ dẫn tới dự báo và ước lượng năng lực quá trình sai lệch.

Quá trình khớp ước lượng các tham số của phân phối (ví dụ giá trị trung bình và σ cho phân phối chuẩn, tham số hình dạng và tham số tỷ lệ cho Weibull) bằng phương pháp ước lượng hợp lý cực đại. Việc chọn mô hình dựa trên các tiêu chí thông tin: AIC (tiêu chí thông tin Akaike) và BIC (tiêu chí thông tin Bayes) cân bằng giữa chất lượng khớp và độ phức tạp của mô hình. Giá trị AIC/BIC càng thấp thì mô hình càng tốt.

Kiểm định Kolmogorov-Smirnov (KS) so sánh hàm phân phối tích lũy thực nghiệm với CDF lý thuyết đã khớp. Giá trị p của KS cao (> 0.05) cho thấy mức khớp tốt. Đồ thị QQ mang lại kiểm chứng trực quan: các điểm bám theo đường chéo xác nhận rằng phân phối đã chọn là phù hợp.

Formula: KS Statistic = max|F_empirical(x) - F_theoretical(x)| AIC = 2k - 2 ln(L) BIC = k ln(n) - 2 ln(L) where k = parameters, L = likelihood, n = sample size

Ví dụ tính toán

100 phép đo được khớp với phân phối chuẩn (AIC=312, BIC=317, KS p=0.08) và log-chuẩn (AIC=305, BIC=310, KS p=0.45). Log-chuẩn có AIC/BIC thấp hơn và giá trị p của KS cao hơn — đây là lựa chọn khớp tốt hơn. Đồ thị QQ của log-chuẩn cho thấy các điểm bám đường chéo sát hơn so với đồ thị QQ của phân phối chuẩn.

Khi nào sử dụng máy tính này

• Trước phân tích năng lực quy trình để xác định mô hình phân phối đúng — sử dụng công thức Cpk trên dữ liệu phi chuẩn cho kết quả sai lệch
• Khi phân tích dữ liệu độ tin cậy hoặc tuổi thọ thường lệch phải — Weibull, lognormal hoặc hàm mũ có thể phù hợp hơn nhiều so với chuẩn
• Trong đặc trưng hóa quy trình để hiểu hình dạng cơ bản của dữ liệu và chọn phương pháp thống kê phù hợp
• Khi giới hạn biểu đồ kiểm soát SPC có vẻ không phù hợp — dữ liệu có thể không phân phối chuẩn, cần loại biểu đồ khác hoặc dữ liệu đã chuyển đổi
• Khi so sánh dữ liệu đo lường với thông số nhà cung cấp — biết phân phối thực cho phép dự đoán chính xác tỷ lệ ngoài thông số

Những sai lầm thường gặp

• Giả định tất cả dữ liệu phân phối chuẩn mà không kiểm tra — dữ liệu sản xuất thường lệch (lognormal), có giới hạn (beta) hoặc đa đỉnh (hỗn hợp); luôn khớp và so sánh
• Chọn phân phối chỉ dựa vào AIC khi giá trị p KS rất thấp — AIC xếp hạng phù hợp tương đối giữa ứng cử viên nhưng giá trị p KS thấp nghĩa là ngay cả ứng cử viên tốt nhất cũng có thể không phù hợp; thu thập thêm dữ liệu hoặc xem xét phân phối khác
• Quá khớp bằng cách chọn phân phối phức tạp nhiều tham số trên bộ dữ liệu nhỏ — AIC và BIC phạt phức tạp nhưng mẫu nhỏ ngay cả tiêu chí này có thể ưu tiên mô hình quá phức tạp; ưu tiên phân phối đơn giản khi phù hợp tương tự
• Không trực quan hóa khớp — tiêu chí số liệu đơn lẻ có thể gây hiểu lầm; luôn kiểm tra lớp phủ histogram và QQ-plot để xác minh phân phối khớp phù hợp mẫu dữ liệu

Cách diễn giải kết quả

• Phân phối có AIC/BIC thấp nhất và giá trị p KS cao nhất là ứng cử viên tốt nhất — khi AIC và BIC không đồng ý, BIC bảo thủ hơn
• Giá trị p KS > 0.05 cho thấy phân phối khớp nhất quán với dữ liệu — giá trị thấp hơn gợi ý khớp kém không nên dùng cho dự đoán
• Nếu Chuẩn khớp tốt, công thức Cpk/Ppk tiêu chuẩn và kiểm tra tham số áp dụng trực tiếp
• Nếu Lognormal khớp tốt nhất, xem xét chuyển đổi log dữ liệu trước phân tích năng lực hoặc sử dụng phương pháp năng lực phi chuẩn
• Nếu không phân phối tiêu chuẩn nào khớp tốt, dữ liệu có thể đa đỉnh (hỗn hợp hai quy trình) — điều tra xem dữ liệu có nên được phân tầng

Tiêu chuẩn & Tài liệu tham khảo liên quan

• NIST/SEMATECH e-Handbook §1.3.5 — Hướng dẫn về đồ thị xác suất, đánh giá độ khớp và lựa chọn phân phối
• Akaike (1974) & Schwarz (1978) — Các bài báo gốc định nghĩa AIC và BIC, các tiêu chí thông tin dùng tại đây để xếp hạng các phân phối ứng viên
• D'Agostino & Stephens, Goodness-of-Fit Techniques (1986) — Tài liệu kinh điển về đánh giá mức độ một phân phối đã khớp mô tả dữ liệu
• ISO 5479 — Kiểm định độ lệch khỏi phân phối chuẩn, bao gồm kiểm định tính chuẩn Shapiro-Wilk được báo cáo cùng các kết quả khớp

Câu hỏi thường gặp

Nên thử phân phối nào trước tiên?

Hãy bắt đầu với phân phối chuẩn cho dữ liệu liên tục đối xứng. Thử log-chuẩn cho dữ liệu lệch phải hoặc dữ liệu không thể mang giá trị âm (nồng độ, thời gian chu kỳ). Thử Weibull hoặc phân phối mũ cho dữ liệu tuổi thọ/độ tin cậy. Dữ liệu đếm (số khuyết tật trên đơn vị, số lượt đến) là rời rạc — công cụ này chỉ khớp các phân phối liên tục, nên hãy kiểm tra dữ liệu đếm bằng phân phối Poisson hoặc nhị thức riêng. Hình dạng biểu đồ tần suất cho gợi ý ban đầu: hình chuông đối xứng → chuẩn, lệch phải → log-chuẩn/Weibull, tốc độ không đổi → phân phối mũ.

AIC và BIC khác nhau như thế nào?

Cả hai đều phạt độ phức tạp của mô hình để tránh quá khớp, nhưng BIC áp mức phạt mạnh hơn cho mỗi tham số bổ sung, đặc biệt với mẫu lớn. AIC có xu hướng chọn mô hình phức tạp hơn (dự báo tốt hơn), còn BIC thiên về mô hình đơn giản hơn (nhận dạng mô hình tốt hơn). Khi hai tiêu chí bất đồng, BIC là lựa chọn thận trọng hơn. Hãy dùng cả hai — nếu chúng thống nhất thì độ tin cậy của lựa chọn là cao.