Phân tích Dữ liệu

Phân tích dữ liệu là gì?

Phân tích dữ liệu là quá trình kiểm tra tập dữ liệu để thu thập thống kê tóm tắt, đánh giá chất lượng và hiểu cấu trúc. Chỉ số chính: xu hướng trung tâm, độ phân tán, hình dạng phân phối, tính đầy đủ.

Độ lệch đo tính bất đối xứng: dương nghĩa là đuôi phải, âm nghĩa là đuôi trái. Độ nhọn đo độ nặng đuôi so với phân phối chuẩn.

Phân tích dữ liệu là bước đầu tiên thiết yếu. Phát hiện vấn đề chất lượng dữ liệu trước khi mô hình hóa.

Formula: Độ xiên = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ Độ nhọn = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = bách phân vị thứ 25, Q3 = bách phân vị thứ 75 IQR = Q3 − Q1

Ví dụ tính toán

Bộ dữ liệu: [2, 4, 4, 4, 5, 5, 7, 9]. n=8, Trung bình=5,0, Trung vị=4,5, Độ lệch chuẩn=2,14 (mẫu), Min=2, Q1=4, Q3=5,5 (nội suy tuyến tính), Max=9. Độ lệch ≈ 0,82 (hiệu chỉnh mẫu; lệch phải). Độ nhọn vượt ≈ 0,94 (hiệu chỉnh mẫu; đuôi hơi dày hơn phân phối chuẩn). Thiếu = 0.

Khi nào sử dụng công cụ này

• Chuyên viên phân tích dữ liệu thực hiện bước đầu tiên của mọi dự án phân tích — hiểu chất lượng dữ liệu, phân phối và bất thường trước khi mô hình hóa
• Quản trị viên cơ sở dữ liệu kiểm toán chất lượng dữ liệu bằng cách kiểm tra giá trị thiếu, giá trị ngoại lai và phân phối bất thường trên các cột
• Nhà nghiên cứu chuẩn bị dữ liệu cho công bố bằng cách ghi lại thống kê tóm tắt gồm độ xiên và độ nhọn cho từng biến
• Kỹ sư học máy đánh giá phân phối đặc trưng để quyết định các bước tiền xử lý như chuẩn hóa, loại bỏ ngoại lai hoặc điền khuyết

Những sai lầm thường gặp

• Bỏ qua lập hồ sơ dữ liệu và nhảy thẳng vào mô hình hóa — điều này dẫn đến 'rác vào, rác ra'; luôn lập hồ sơ trước để phát hiện vấn đề chất lượng dữ liệu, phân phối bất thường và giá trị ngoại lai
• Bỏ qua độ xiên và độ nhọn — các chỉ số hình dạng này cho biết liệu các phương pháp tham số (giả định tính chuẩn) có phù hợp không; độ xiên hoặc độ nhọn cao gợi ý cần biến đổi dữ liệu hoặc dùng phương pháp phi tham số
• Xử lý mọi giá trị thiếu theo cùng một cách — MCAR (thiếu hoàn toàn ngẫu nhiên) có thể xóa an toàn, nhưng MAR và MNAR cần điền khuyết hoặc phương pháp chuyên biệt để tránh thiên lệch
• Chỉ xem thống kê từng cột riêng lẻ mà không xét quan hệ giữa các cột — hai cột có hồ sơ riêng lẻ bình thường vẫn có thể có quan hệ kết hợp phi tuyến hoặc bất ngờ

Cách diễn giải kết quả

• Độ xiên gần 0 và độ nhọn gần 0 (vượt mức) cho thấy phân phối gần chuẩn — các phương pháp thống kê tham số là phù hợp
• Chênh lệch lớn giữa trung bình và trung vị cho thấy độ xiên đáng kể — trong trường hợp này trung vị đại diện tốt hơn cho giá trị điển hình
• Tỷ lệ thiếu cao (trên 20%) ở một cột gợi ý biến đó có thể không đáng tin cậy hoặc vắng mặt có hệ thống — cân nhắc loại khỏi phân tích hoặc điều tra nguyên nhân

Tiêu chuẩn và tài liệu tham khảo

• Tukey, J. W. (1977), Exploratory Data Analysis — tài liệu nền tảng cho tóm tắt dữ liệu theo tứ phân vị và lập hồ sơ dữ liệu khám phá
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — so sánh tham chiếu các ước lượng độ lệch và độ nhọn của mẫu
• NIST/SEMATECH e-Handbook of Statistical Methods (Mục 1, Phân tích dữ liệu khám phá) — định nghĩa tham chiếu cho phân vị và các thước đo hình dạng phân phối

Câu hỏi thường gặp

Độ lệch âm nghĩa là gì?

Đuôi trái dài hơn, phần lớn giá trị tập trung bên phải. Ví dụ: điểm thi dễ. Thường trung bình < trung vị.

Xử lý giá trị thiếu thế nào?

Xóa (thiếu < 5%, ngẫu nhiên), thay thế (trung bình/trung vị/mode) hoặc mô hình (KNN, MICE). Chọn theo cơ chế thiếu (MCAR, MAR, MNAR).