ความสำคัญของฟีเจอร์

ความสำคัญของฟีเจอร์คืออะไร?

ความสำคัญของฟีเจอร์วัดว่าตัวแปรทำนายแต่ละตัวมีส่วนร่วมเท่าไรในการทำนายเป้าหมาย ช่วยระบุปัจจัยที่มีอิทธิพลมากที่สุดและทำให้แบบจำลองง่ายขึ้น

วิธีทั่วไป: จัดอันดับตามสหสัมพันธ์ (|r| สัมบูรณ์), ความสำคัญจากการสลับ (วัดการลดลงเมื่อสลับฟีเจอร์), ตามแบบจำลอง (ขนาดสัมประสิทธิ์ การลดความไม่บริสุทธิ์)

ความสำคัญสูงไม่ได้หมายถึงเหตุผล ฟีเจอร์ที่สัมพันธ์กันอาจแบ่งปันความสำคัญ ควรเปรียบเทียบผลจากหลายวิธี

Formula: ความสำคัญแบบสับเปลี่ยน (เครื่องมือนี้): R²₀ = R² ของการถดถอยกำลังสองน้อยที่สุดของ y บนตัวทำนายทั้งหมด สับ xⱼ ประมาณใหม่ บันทึก R²π(j) — 100 ครั้ง seed คงที่ Importance_j = R²₀ − ค่าเฉลี่ย R²π(j) ไม่ได้นอร์มัลไลซ์: ผลรวมไม่จำเป็นต้องเท่ากับ 1; ≈ 0 หรือติดลบเล็กน้อย = ไม่มีส่วนช่วย วิธีอื่น: |r(xⱼ, y)| (สหสัมพันธ์) · |βⱼ| × std(xⱼ) (การถดถอย)

ตัวอย่างการคำนวณ

นักเรียน 10 คน: ชั่วโมงเรียน 2/4/6/8/10/3/7/5/9/6 ชั่วโมงนอน 6/8/5/7/6/5/8/7/5/8 เวลาหน้าจอ 3/5/4/2/6/2/5/1/3/4 คะแนนสอบ 51/58/58/79/75/50/75/70/73/71 ตัวทำนายทั้งสามร่วมกันได้ R² = 0.98 สับชั่วโมงเรียนแล้วประมาณใหม่ทำให้ R² ลดลงเฉลี่ย 0.71 ชั่วโมงนอน 0.19 เวลาหน้าจอ 0.07 — ชั่วโมงเรียนสำคัญที่สุด ผลรวมคะแนนเป็น 0.97 ไม่ใช่ 1 เพราะแต่ละค่าคือการลดลงของ R² ไม่ใช่สัดส่วนของ R² แต่ละคะแนนแสดงพร้อมการกระจายระหว่างการสับ 100 ครั้ง (ชั่วโมงเรียน 0.16) — กับข้อมูลสิบแถว การสับครั้งเดียวอาจเปลี่ยนคะแนนได้มาก

เมื่อใดควรใช้เครื่องคำนวณนี้

• นักวิทยาศาสตร์ข้อมูลที่เลือกฟีเจอร์ก่อนเทรนโมเดลแมชชีนเลิร์นนิง เพื่อลดมิติและปรับปรุงประสิทธิภาพ
• นักวิเคราะห์ธุรกิจที่ระบุว่าปัจจัยใดมีอิทธิพลต่อผลลัพธ์เป้าหมายมากที่สุด (เช่น การเลิกใช้บริการของลูกค้า อัตราของเสีย ยอดขาย)
• นักวิจัยที่จัดลำดับความสำคัญว่าควรสืบค้นตัวแปรใดเพิ่มเติม ตามความสำคัญเชิงพยากรณ์ต่อผลลัพธ์ที่สนใจ
• วิศวกรที่คัดกรองค่าจากเซนเซอร์หรือพารามิเตอร์กระบวนการหลายสิบตัว ให้เหลือไม่กี่ตัวที่ขับเคลื่อนคุณภาพผลิตภัณฑ์จริง ๆ

ข้อผิดพลาดที่ควรหลีกเลี่ยง

• พึ่งพาวิธีวัดความสำคัญเพียงวิธีเดียว — วิธีต่างกันอาจให้อันดับต่างกัน โดยเฉพาะเมื่อฟีเจอร์มีสหสัมพันธ์กัน; เปรียบเทียบวิธีอิงสหสัมพันธ์ อิงการถดถอย และแบบสับเปลี่ยน
• สับสนระหว่างความสำคัญกับความเป็นเหตุเป็นผล — ฟีเจอร์อาจสำคัญมากต่อการพยากรณ์โดยไม่ใช่ปัจจัยเชิงสาเหตุ; ต้องใช้ความเชี่ยวชาญเฉพาะทางเพื่อแยกสหสัมพันธ์ออกจากความเป็นเหตุเป็นผล
• ตัดฟีเจอร์ออกโดยดูแค่ความสำคัญรายตัวที่ต่ำ ทั้งที่อันตรกิริยามีผล — ฟีเจอร์สองตัวที่อ่อนเมื่อแยกกันอาจพยากรณ์ได้ดีมากเมื่อรวมกัน; ทดสอบชุดฟีเจอร์ร่วมก่อนตัดออก
• ไม่นอร์มัลไลซ์สเกลของฟีเจอร์ก่อนวัดความสำคัญแบบอิงการถดถอย — ขนาดสัมประสิทธิ์ขึ้นกับสเกลของตัวแปร; ปรับมาตรฐานฟีเจอร์ก่อนหรือใช้สัมประสิทธิ์มาตรฐาน

วิธีตีความผลลัพธ์

• ฟีเจอร์ที่มีคะแนนความสำคัญนอร์มัลไลซ์สูงกว่า 0.2 เป็นตัวขับเคลื่อนหลัก — ควรรวมไว้ในโมเดลพยากรณ์ใด ๆ อย่างแน่นอน
• ฟีเจอร์ที่มีคะแนนความสำคัญใกล้ศูนย์ให้คุณค่าเชิงพยากรณ์น้อยและเป็นตัวเลือกที่จะตัดออก — แต่ควรยืนยันด้วย cross-validation ก่อนทิ้ง
• หากฟีเจอร์ 2-3 อันดับแรกครองความสำคัญรวม 80% ขึ้นไป แสดงว่าตัวแปรเป้าหมายถูกขับเคลื่อนโดยปัจจัยหลักเพียงไม่กี่ตัว — มุ่งความพยายามปรับปรุงไปที่จุดนั้น

มาตรฐานและเอกสารอ้างอิง

• Breiman, L. (2001), 'Random Forests', Machine Learning 45 — แนะนำ permutation importance ซึ่งเป็นวิธีที่เครื่องมือนี้ใช้
• Fisher, Rudin & Dominici (2019), 'All Models are Wrong, but Many are Useful', Journal of Machine Learning Research — กรอบ permutation importance ที่ไม่ขึ้นกับโมเดล (model reliance)
• Molnar, C., Interpretable Machine Learning — แนวทางปฏิบัติเรื่อง permutation importance ของฟีเจอร์และข้อพึงระวังเมื่อฟีเจอร์มีสหสัมพันธ์กัน

คำถามที่พบบ่อย

ทำไมวิธีต่างกันให้ลำดับต่างกัน?

แต่ละวิธีวัดแง่มุมต่างของ 'ความสำคัญ' สหสัมพันธ์จับความสัมพันธ์เชิงเส้น การสลับวัดการมีส่วนร่วมในการทำนาย ฟีเจอร์ที่สัมพันธ์กันทำให้เกิดความไม่ตรงกันมากที่สุด

ควรลบฟีเจอร์ที่มีความสำคัญต่ำไหม?

โดยทั่วไปใช่ แต่ตรวจสอบด้วย cross-validation บางฟีเจอร์อาจมีส่วนร่วมผ่านปฏิสัมพันธ์