Phân tích hồi quy đa biến

Hồi quy tuyến tính bội là gì?

Hồi quy tuyến tính bội mô hình hóa quan hệ giữa biến phụ thuộc (y) và nhiều biến dự đoán (x₁, x₂, …, xₚ). Mô hình y = β₀ + β₁x₁ + … + βₚxₚ + ε được ước lượng bằng OLS.

Chẩn đoán chính: R², R² hiệu chỉnh (phạt số biến), F-test p-value, p-value từng hệ số, VIF phát hiện đa cộng tuyến.

VIF > 5-10 cho thấy đa cộng tuyến có vấn đề. Giải pháp: loại biến dư thừa, chính quy hóa (Ridge, Lasso). Mẫu trong biểu đồ phần dư chỉ ra mô hình không phù hợp.

Formula: y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₚxₚ + ε β = (XᵀX)⁻¹Xᵀy R² = 1 − SS_res/SS_tot Adj R² = 1 − (1−R²)(n−1)/(n−p−1) VIF_j = 1/(1 − R²_j)

Ví dụ tính toán

Dự đoán giá nhà bằng diện tích x₁ và tuổi nhà x₂. Năm căn nhà: diện tích 1,300/1,800/1,900/2,000/2,400 ft², tuổi 10/5/12/25/15 năm, giá $150,000/$233,000/$216,000/$208,000/$249,000. Hồi quy bình phương tối thiểu cho β₀ = 50,000, β₁ = 100, β₂ = −2,000. R² = 0.92, R² hiệu chỉnh = 0.84. VIF = 1.2.

Khi nào sử dụng công cụ này

• Nhà nghiên cứu mô hình hóa quan hệ giữa nhiều biến độc lập và một kết quả để xác định các yếu tố dự báo có ý nghĩa
• Chuyên viên phân tích kinh doanh xây dựng mô hình dự báo doanh số dựa trên nhiều yếu tố như giá, chi tiêu quảng cáo và tính mùa vụ
• Kỹ sư chất lượng xác định những biến quá trình nào cùng ảnh hưởng đến chất lượng sản phẩm bằng phân tích đa yếu tố
• Nhà khoa học dữ liệu kiểm tra đa cộng tuyến (VIF) trước khi dùng hệ số hồi quy để diễn giải đặc trưng

Những sai lầm thường gặp

• Đưa vào các biến dự báo tương quan cao mà không kiểm tra VIF — đa cộng tuyến khiến từng hệ số không đáng tin và dễ đảo dấu; hãy loại bỏ hoặc gộp các biến dư thừa
• Thêm quá nhiều biến dự báo so với cỡ mẫu — quy tắc kinh nghiệm là ít nhất 10-20 quan sát cho mỗi biến dự báo; quá khớp xảy ra khi tỷ lệ này quá thấp
• Diễn giải độ lớn hệ số mà không chuẩn hóa — hệ số 100 của biến đo bằng milimét không 'quan trọng hơn' hệ số 0.5 của biến đo bằng mét; hãy so sánh hệ số chuẩn hóa
• Bỏ qua biểu đồ phần dư — R bình phương tốt nhưng phần dư có mẫu hình cho thấy mô hình bị đặc tả sai; luôn kiểm tra rằng phần dư phân tán ngẫu nhiên

Cách diễn giải kết quả

• R bình phương hiệu chỉnh dưới 0.5 nghĩa là mô hình giải thích chưa đến một nửa biến thiên — cân nhắc thêm biến dự báo liên quan hơn hoặc biến đổi biến
• Giá trị p của kiểm định F dưới 0.05 nghĩa là mô hình tổng thể có ý nghĩa thống kê — ít nhất một biến dự báo đóng góp đáng kể
• Giá trị p của từng hệ số trên 0.05 gợi ý biến dự báo đó có thể không đóng góp đáng kể khi xét cùng các biến khác — cân nhắc loại bỏ để đơn giản hóa mô hình

Tiêu chuẩn và tài liệu tham khảo

• Draper & Smith, Applied Regression Analysis (Wiley) — tài liệu OLS kinh điển bao gồm kiểm định F và phân tích phần dư
• Kutner, Nachtsheim & Neter, Applied Linear Statistical Models (McGraw-Hill) — giáo trình về hồi quy bội, R² hiệu chỉnh và VIF
• Belsley, Kuh & Welsch (1980), Regression Diagnostics (Wiley) — tài liệu chuẩn về phát hiện đa cộng tuyến và các quan sát có ảnh hưởng lớn

Câu hỏi thường gặp

R² hiệu chỉnh là gì và tại sao tốt hơn R²?

R² luôn tăng khi thêm biến. R² hiệu chỉnh phạt số biến, giảm khi cải thiện không đủ. Dùng để so sánh mô hình có số biến khác nhau.

VIF cao nghĩa là gì?

VIF đo mức phình phương sai hệ số. VIF = 1: không cộng tuyến. > 5: trung bình. > 10: đa cộng tuyến nghiêm trọng.