Mức Độ Quan Trọng Đặc Trưng

Mức độ quan trọng đặc trưng là gì?

Mức độ quan trọng đặc trưng lượng hóa đóng góp của mỗi biến dự đoán cho việc dự đoán biến mục tiêu. Giúp xác định yếu tố ảnh hưởng nhất và đơn giản hóa mô hình.

Phương pháp phổ biến: xếp hạng tương quan (tương quan Pearson tuyệt đối), tầm quan trọng hoán vị (đo suy giảm dự đoán khi xáo trộn đặc trưng), tầm quan trọng dựa trên mô hình.

Mức quan trọng cao không nhất thiết nghĩa là nhân quả. Các đặc trưng tương quan có thể chia sẻ mức quan trọng. Nên so sánh nhiều phương pháp.

Formula: Độ quan trọng hoán vị (công cụ này): R²₀ = R² của hồi quy bình phương tối thiểu y theo mọi biến dự báo Xáo trộn xⱼ, khớp lại, ghi R²π(j) — 100 lần, hạt giống cố định Importance_j = R²₀ − trung bình R²π(j) Không chuẩn hóa: tổng điểm không nhất thiết bằng 1; ≈ 0 hoặc hơi âm = không đóng góp Phương pháp khác: |r(xⱼ, y)| (tương quan) · |βⱼ| × std(xⱼ) (hồi quy)

Ví dụ tính toán

Mười học sinh: giờ học 2/4/6/8/10/3/7/5/9/6, giờ ngủ 6/8/5/7/6/5/8/7/5/8, thời gian màn hình 3/5/4/2/6/2/5/1/3/4, điểm thi 51/58/58/79/75/50/75/70/73/71. Cả ba biến cùng khớp R² = 0.98. Xáo trộn giờ học rồi khớp lại làm R² giảm trung bình 0.71, giờ ngủ 0.19, thời gian màn hình 0.07 — giờ học quan trọng nhất. Tổng điểm là 0.97 chứ không phải 1, vì mỗi điểm là mức giảm R², không phải phần chia của R². Mỗi điểm kèm độ phân tán qua 100 lần xáo trộn (0.16 với giờ học) — với mười dòng, một lần xáo trộn có thể làm điểm thay đổi nhiều.

Khi nào sử dụng công cụ này

• Nhà khoa học dữ liệu thực hiện lựa chọn đặc trưng trước khi huấn luyện mô hình học máy nhằm giảm số chiều và cải thiện hiệu năng
• Chuyên viên phân tích kinh doanh xác định những yếu tố nào ảnh hưởng mạnh nhất đến kết quả mục tiêu (ví dụ: khách hàng rời bỏ, tỷ lệ lỗi, doanh số)
• Nhà nghiên cứu ưu tiên các biến cần điều tra sâu hơn dựa trên tầm quan trọng dự báo của chúng đối với kết quả quan tâm
• Kỹ sư thu hẹp hàng chục số đọc cảm biến hoặc thông số quá trình xuống còn vài thông số thực sự chi phối chất lượng sản phẩm

Những sai lầm thường gặp

• Chỉ dựa vào một phương pháp tính tầm quan trọng — các phương pháp khác nhau có thể cho thứ hạng khác nhau, đặc biệt với các đặc trưng tương quan; hãy so sánh cách tiếp cận dựa trên tương quan, dựa trên hồi quy và hoán vị
• Nhầm lẫn tầm quan trọng với quan hệ nhân quả — một đặc trưng có thể rất quan trọng cho dự báo mà không phải là yếu tố nhân quả; cần kiến thức chuyên ngành để phân biệt tương quan và nhân quả
• Loại bỏ đặc trưng chỉ vì tầm quan trọng riêng lẻ thấp trong khi các tương tác có vai trò — hai đặc trưng yếu riêng lẻ có thể kết hợp lại dự báo rất tốt; hãy kiểm tra các tổ hợp đặc trưng trước khi loại bỏ
• Không chuẩn hóa thang đo đặc trưng trước khi tính tầm quan trọng dựa trên hồi quy — độ lớn hệ số phụ thuộc vào thang đo của biến; hãy chuẩn hóa đặc trưng trước hoặc dùng hệ số chuẩn hóa

Cách diễn giải kết quả

• Các đặc trưng có điểm tầm quan trọng chuẩn hóa trên 0.2 là yếu tố đóng góp mạnh — chắc chắn nên đưa vào bất kỳ mô hình dự báo nào
• Các đặc trưng có điểm tầm quan trọng gần 0 đóng góp ít giá trị dự báo và là ứng viên để loại bỏ — nhưng hãy xác minh bằng kiểm định chéo trước khi bỏ
• Nếu 2-3 đặc trưng hàng đầu chiếm trên 80% tổng tầm quan trọng, biến mục tiêu của bạn chủ yếu được chi phối bởi vài yếu tố then chốt — hãy tập trung nỗ lực cải tiến vào đó

Tiêu chuẩn và tài liệu tham khảo

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — giới thiệu tầm quan trọng hoán vị, phương pháp được công cụ này sử dụng
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — khung tầm quan trọng hoán vị độc lập với mô hình (model reliance)
• Molnar, C., Interpretable Machine Learning — hướng dẫn thực hành về tầm quan trọng hoán vị của đặc trưng và các cạm bẫy với đặc trưng tương quan

Câu hỏi thường gặp

Tại sao các phương pháp khác nhau cho xếp hạng khác nhau?

Mỗi phương pháp đo khía cạnh khác nhau của 'tầm quan trọng'. Tương quan đo liên kết tuyến tính, hoán vị đo đóng góp dự đoán. Đặc trưng tương quan gây bất đồng nhiều nhất.

Có nên loại bỏ đặc trưng ít quan trọng?

Thường là có, nhưng hãy kiểm tra bằng cross-validation. Một số đặc trưng có thể đóng góp qua tương tác với đặc trưng khác.