การวิเคราะห์การถดถอยพหุคูณ

การถดถอยเชิงเส้นพหุคูณคืออะไร?

การถดถอยพหุคูณจำลองความสัมพันธ์ระหว่างตัวแปรตาม (y) และตัวแปรทำนายหลายตัว แบบจำลอง: y = β₀ + β₁x₁ + … + βₚxₚ + ε ประมาณด้วย OLS

การวินิจฉัย: R², R² ปรับค่า, F-test p-value, p-value ของสัมประสิทธิ์, VIF สำหรับ multicollinearity

VIF > 5-10 แสดง multicollinearity ที่เป็นปัญหา แก้ไข: ลบตัวแปรซ้ำซ้อน ใช้ regularization (Ridge, Lasso) รูปแบบในส่วนเหลือแสดงแบบจำลองไม่เหมาะสม

Formula: y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₚxₚ + ε β = (XᵀX)⁻¹Xᵀy R² = 1 − SS_res/SS_tot Adj R² = 1 − (1−R²)(n−1)/(n−p−1) VIF_j = 1/(1 − R²_j)

ตัวอย่างการคำนวณ

ทำนายราคาบ้านจากพื้นที่ x₁ และอายุ x₂ บ้าน 5 หลัง: พื้นที่ 1,300/1,800/1,900/2,000/2,400 ตร.ฟุต อายุ 10/5/12/25/15 ปี ราคา $150,000/$233,000/$216,000/$208,000/$249,000 การประมาณกำลังสองน้อยที่สุดได้ β₀=50,000 β₁=100 β₂=−2,000 R²=0.92 Adj R²=0.84 VIF=1.2

เมื่อใดควรใช้เครื่องคำนวณนี้

• นักวิจัยที่สร้างโมเดลความสัมพันธ์ระหว่างตัวแปรอิสระหลายตัวกับผลลัพธ์ เพื่อระบุตัวพยากรณ์ที่มีนัยสำคัญ
• นักวิเคราะห์ธุรกิจที่สร้างโมเดลพยากรณ์ยอดขายจากหลายปัจจัย เช่น ราคา งบโฆษณา และฤดูกาล
• วิศวกรคุณภาพที่หาว่าตัวแปรกระบวนการใดส่งผลร่วมกันต่อคุณภาพผลิตภัณฑ์ด้วยการวิเคราะห์หลายปัจจัย
• นักวิทยาศาสตร์ข้อมูลที่ตรวจสอบ multicollinearity (VIF) ก่อนใช้สัมประสิทธิ์การถดถอยในการตีความฟีเจอร์

ข้อผิดพลาดที่ควรหลีกเลี่ยง

• ใส่ตัวพยากรณ์ที่มีสหสัมพันธ์สูงโดยไม่ตรวจสอบ VIF — multicollinearity ทำให้สัมประสิทธิ์รายตัวไม่น่าเชื่อถือและเครื่องหมายพลิกได้บ่อย; ตัดออกหรือรวมตัวแปรที่ซ้ำซ้อน
• ใส่ตัวพยากรณ์มากเกินไปเมื่อเทียบกับขนาดตัวอย่าง — หลักทั่วไปคืออย่างน้อย 10-20 ค่าสังเกตต่อหนึ่งตัวพยากรณ์; overfitting จะเกิดเมื่อสัดส่วนนี้ต่ำเกินไป
• ตีความขนาดสัมประสิทธิ์โดยไม่ปรับมาตรฐาน — สัมประสิทธิ์ 100 ของตัวแปรที่วัดเป็นมิลลิเมตรไม่ได้ 'สำคัญกว่า' สัมประสิทธิ์ 0.5 ของตัวแปรที่วัดเป็นเมตร; เปรียบเทียบสัมประสิทธิ์มาตรฐาน
• ละเลยกราฟส่วนเหลือ — R-squared ที่ดีแต่ส่วนเหลือมีรูปแบบบ่งชี้ว่าโมเดลระบุผิดรูปแบบ; ตรวจสอบเสมอว่าส่วนเหลือกระจายแบบสุ่ม

วิธีตีความผลลัพธ์

• Adjusted R-squared ต่ำกว่า 0.5 หมายความว่าโมเดลอธิบายความแปรผันได้ไม่ถึงครึ่ง — พิจารณาเพิ่มตัวพยากรณ์ที่เกี่ยวข้องหรือแปลงตัวแปร
• ค่า p ของ F ต่ำกว่า 0.05 หมายความว่าโมเดลโดยรวมมีนัยสำคัญทางสถิติ — มีตัวพยากรณ์อย่างน้อยหนึ่งตัวที่มีส่วนอย่างมีความหมาย
• ค่า p ของสัมประสิทธิ์รายตัวที่สูงกว่า 0.05 ชี้ว่าตัวพยากรณ์นั้นอาจไม่มีส่วนสำคัญเมื่อพิจารณาร่วมกับตัวแปรอื่น — พิจารณาตัดออกเพื่อทำให้โมเดลเรียบง่ายขึ้น

มาตรฐานและเอกสารอ้างอิง

• Draper & Smith, Applied Regression Analysis (Wiley) — เอกสารอ้างอิง OLS คลาสสิกครอบคลุมการทดสอบ F และการวิเคราะห์ส่วนเหลือ
• Kutner, Nachtsheim & Neter, Applied Linear Statistical Models (McGraw-Hill) — ตำราว่าด้วยการถดถอยพหุคูณ R² ปรับค่า และ VIF
• Belsley, Kuh & Welsch (1980), Regression Diagnostics (Wiley) — เอกสารอ้างอิงมาตรฐานเรื่องการตรวจหา multicollinearity และค่าสังเกตที่มีอิทธิพลสูง

คำถามที่พบบ่อย

R² ปรับค่าคืออะไร?

R² เพิ่มขึ้นเสมอเมื่อเพิ่มตัวแปร R² ปรับค่าลงโทษจำนวนตัวทำนาย ใช้เปรียบเทียบแบบจำลองที่มีจำนวนตัวแปรต่างกัน

VIF สูงหมายถึงอะไร?

VIF วัดการขยายตัวของความแปรปรวนสัมประสิทธิ์ VIF=1: ไม่มี collinearity >5: ปานกลาง >10: รุนแรง