ตัววิเคราะห์ข้อมูล

การวิเคราะห์ข้อมูลคืออะไร?

การวิเคราะห์ข้อมูลตรวจสอบชุดข้อมูลเพื่อรวบรวมสถิติ ประเมินคุณภาพ และเข้าใจโครงสร้าง ตัวชี้วัดหลัก: แนวโน้มกลาง การกระจาย รูปร่างการแจกแจง ความสมบูรณ์

ความเบ้วัดความไม่สมมาตร: บวก = หางขวา ลบ = หางซ้าย ความโด่งวัดน้ำหนักหางเทียบกับการแจกแจงปกติ

การวิเคราะห์ข้อมูลเป็นขั้นตอนแรกที่จำเป็น เปิดเผยปัญหาคุณภาพก่อนการสร้างแบบจำลอง

Formula: ความเบ้ = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ ความโด่ง = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = เปอร์เซ็นไทล์ที่ 25, Q3 = เปอร์เซ็นไทล์ที่ 75 IQR = Q3 − Q1

ตัวอย่างการคำนวณ

ชุดข้อมูล: [2, 4, 4, 4, 5, 5, 7, 9] n=8, ค่าเฉลี่ย=5.0, มัธยฐาน=4.5, ส่วนเบี่ยงเบนมาตรฐาน=2.14 (ตัวอย่าง), ต่ำสุด=2, Q1=4, Q3=5.5 (การประมาณค่าเชิงเส้น), สูงสุด=9 ความเบ้ ≈ 0.82 (ปรับตามตัวอย่าง; เบ้ขวา) ความโด่งส่วนเกิน ≈ 0.94 (ปรับตามตัวอย่าง; หางหนากว่าการแจกแจงปกติเล็กน้อย) ค่าที่หายไป = 0

เมื่อใดควรใช้เครื่องคำนวณนี้

• นักวิเคราะห์ข้อมูลที่ทำขั้นตอนแรกของทุกโครงการวิเคราะห์ข้อมูล — ทำความเข้าใจคุณภาพข้อมูล การแจกแจง และความผิดปกติก่อนสร้างโมเดล
• ผู้ดูแลฐานข้อมูลที่ตรวจสอบคุณภาพข้อมูลโดยเช็คค่าที่หายไป ค่าผิดปกติ และการแจกแจงที่ไม่คาดคิดในแต่ละคอลัมน์
• นักวิจัยที่เตรียมข้อมูลเพื่อตีพิมพ์โดยบันทึกสถิติสรุปซึ่งรวมถึงความเบ้และความโด่งของแต่ละตัวแปร
• วิศวกรแมชชีนเลิร์นนิงที่ประเมินการแจกแจงของฟีเจอร์เพื่อตัดสินใจขั้นตอนเตรียมข้อมูล เช่น การนอร์มัลไลซ์ การกำจัดค่าผิดปกติ หรือการเติมค่าที่หายไป

ข้อผิดพลาดที่ควรหลีกเลี่ยง

• ข้ามการสำรวจข้อมูลแล้วกระโดดไปสร้างโมเดลทันที — นำไปสู่ garbage-in-garbage-out; สำรวจข้อมูลก่อนเสมอเพื่อจับปัญหาคุณภาพข้อมูล การแจกแจงที่ไม่คาดคิด และค่าผิดปกติ
• ละเลยความเบ้และความโด่ง — เมตริกรูปทรงเหล่านี้เผยว่าวิธีพาราเมตริก (ซึ่งสมมติความเป็นปกติ) เหมาะสมหรือไม่; ความเบ้หรือความโด่งสูงชี้ว่าควรแปลงข้อมูลหรือใช้วิธีนอนพาราเมตริก
• ปฏิบัติต่อค่าที่หายไปทุกประเภทแบบเดียวกัน — MCAR (หายไปแบบสุ่มสมบูรณ์) ลบทิ้งได้อย่างปลอดภัย แต่ MAR และ MNAR ต้องเติมค่าหรือใช้วิธีเฉพาะทางเพื่อหลีกเลี่ยงอคติ
• ดูเฉพาะสถิติของแต่ละคอลัมน์โดยไม่พิจารณาความสัมพันธ์ระหว่างคอลัมน์ — สองคอลัมน์ที่แต่ละคอลัมน์ดูปกติ อาจยังมีความสัมพันธ์ร่วมที่ไม่เชิงเส้นหรือไม่คาดคิดได้

วิธีตีความผลลัพธ์

• ความเบ้ใกล้ 0 และความโด่ง (ส่วนเกิน) ใกล้ 0 บ่งชี้ว่าการแจกแจงใกล้เคียงแบบปกติ — วิธีทางสถิติแบบพาราเมตริกใช้ได้อย่างเหมาะสม
• ความแตกต่างมากระหว่างค่าเฉลี่ยกับมัธยฐานบ่งชี้ความเบ้ที่มีนัยสำคัญ — ในกรณีนี้มัธยฐานเป็นตัวแทนของค่าทั่วไปได้ดีกว่า
• เปอร์เซ็นต์ค่าที่หายไปสูง (เกิน 20%) ในคอลัมน์ชี้ว่าตัวแปรนั้นอาจไม่น่าเชื่อถือหรือขาดหายอย่างเป็นระบบ — พิจารณาตัดออกจากการวิเคราะห์หรือสืบหาสาเหตุ

มาตรฐานและเอกสารอ้างอิง

• Tukey, J. W. (1977), Exploratory Data Analysis — ตำราพื้นฐานสำหรับการสรุปข้อมูลตามควอร์ไทล์และการทำโปรไฟล์ข้อมูลเชิงสำรวจ
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — การเปรียบเทียบอ้างอิงของตัวประมาณความเบ้และความโด่งของตัวอย่าง
• NIST/SEMATECH e-Handbook of Statistical Methods (ส่วนที่ 1 การวิเคราะห์ข้อมูลเชิงสำรวจ) — นิยามอ้างอิงสำหรับควอนไทล์และมาตรวัดรูปทรงการแจกแจง

คำถามที่พบบ่อย

ความเบ้ลบหมายถึงอะไร?

หางซ้ายยาวกว่า ค่าส่วนใหญ่อยู่ทางขวา เช่น คะแนนสอบง่าย มักจะค่าเฉลี่ย < มัธยฐาน

จัดการค่าที่ขาดหายอย่างไร?

ลบ (<5% สุ่ม) ใส่ค่า (เฉลี่ย/มัธยฐาน/ฐานนิยม) หรือใช้แบบจำลอง (KNN, MICE) ตามกลไกการขาดหาย