Máy tính Hồi quy

Hồi quy tuyến tính là gì?

Hồi quy tuyến tính khớp đường thẳng y = mx + b vào dữ liệu (x, y) quan sát bằng cách tối thiểu hóa tổng bình phương phần dư. Phương pháp OLS tạo ước lượng tuyến tính không chệch tốt nhất.

Hệ số góc (m) biểu thị sự thay đổi y khi x tăng 1 đơn vị. Hệ số chặn (b) là y dự đoán khi x = 0. R² đo tỷ lệ phương sai y được mô hình giải thích.

Hồi quy tuyến tính giả định quan hệ tuyến tính, phương sai đồng nhất, quan sát độc lập và phần dư xấp xỉ chuẩn. Vi phạm có thể dẫn đến ước lượng sai lệch.

Formula: y = mx + b m = [nΣxᵢyᵢ − ΣxᵢΣyᵢ] / [nΣxᵢ² − (Σxᵢ)²] b = ȳ − m·x̄ R² = 1 − Σ(yᵢ − ŷᵢ)² / Σ(yᵢ − ȳ)²

Ví dụ tính toán

Dữ liệu: (1,2), (2,4), (3,5), (4,4), (5,5). n=5, Σx=15, Σy=20, Σxy=66, Σx²=55. m = (5×66 − 15×20)/(5×55 − 225) = (330−300)/(275−225) = 30/50 = 0,6. b = 4 − 0,6×3 = 2,2. Phương trình: y = 0,6x + 2,2. R² = 0,6.

Khi nào sử dụng công cụ này

• Nhà khoa học định lượng mối quan hệ giữa biến độc lập và kết quả đo được trong dữ liệu thí nghiệm
• Chuyên viên phân tích kinh doanh xây dựng mô hình dự báo đơn giản để ước tính doanh số tương lai dựa trên chi tiêu quảng cáo
• Kỹ sư chất lượng xác định mối tương quan giữa một thông số quá trình và một đặc tính kỹ thuật của sản phẩm thông qua hồi quy
• Học sinh, sinh viên học các nguyên lý hồi quy bằng cách khớp đường thẳng vào tập dữ liệu và diễn giải hệ số góc, hệ số chặn và giá trị R bình phương

Những sai lầm thường gặp

• Cho rằng tương quan chứng minh quan hệ nhân quả — quan hệ tuyến tính mạnh giữa hai biến không chứng minh biến này gây ra biến kia; các biến gây nhiễu có thể là nguyên nhân
• Ngoại suy quá xa khỏi khoảng dữ liệu — mô hình tuyến tính chỉ được kiểm chứng trong khoảng x quan sát được; dự đoán ngoài khoảng này không đáng tin và ngày càng kém chính xác
• Bỏ qua mẫu hình phần dư — nếu phần dư thể hiện mẫu hình có hệ thống (ví dụ: hình chữ U), mô hình tuyến tính không phù hợp và nên cân nhắc mô hình phi tuyến
• Chỉ dựa vào R bình phương để đánh giá chất lượng mô hình — R bình phương thấp không phủ nhận mối quan hệ, và R bình phương cao không xác nhận nó; luôn kiểm tra các giả định và phần dư

Cách diễn giải kết quả

• Hệ số góc (m) cho biết y thay đổi bao nhiêu cho mỗi đơn vị tăng của x — hệ số góc 2.5 nghĩa là y tăng 2.5 đơn vị cho mỗi 1 đơn vị tăng của x
• R bình phương bằng 0.85 nghĩa là 85% biến thiên của y được giải thích bởi x — 15% còn lại do các yếu tố khác hoặc nhiễu
• Nếu hệ số chặn (b) âm hoặc lớn bất hợp lý, có thể mô hình tuyến tính không áp dụng được gần x = 0 — hệ số chặn chỉ có ý nghĩa khi x = 0 nằm trong khoảng dữ liệu

Tiêu chuẩn và tài liệu tham khảo

• Legendre, A.-M. (1805), Nouvelles méthodes pour la détermination des orbites des comètes — công bố đầu tiên của phương pháp bình phương nhỏ nhất
• Draper & Smith, Applied Regression Analysis (Wiley) — tài liệu kinh điển về khớp bình phương nhỏ nhất và chẩn đoán phần dư
• NIST/SEMATECH e-Handbook of Statistical Methods (Mục 4, Mô hình hóa quá trình) — hướng dẫn thực hành về hồi quy tuyến tính và kiểm định mô hình

Câu hỏi thường gặp

R² cho biết gì và giá trị 'tốt' là bao nhiêu?

R² chỉ tỷ lệ phương sai biến phụ thuộc được giải thích. Khoa học tự nhiên: R² > 0.95. Khoa học xã hội: 0.3-0.7 có thể chấp nhận. R² cao không chứng minh nhân quả.

Có thể dùng hồi quy tuyến tính cho dữ liệu phi tuyến không?

Không trực tiếp. Quan hệ cong nên xét hồi quy đa thức, biến đổi logarit. Đồ thị phần dư sẽ cho thấy tính phi tuyến.