数据分析器

什么是数据分析？

数据分析是检查数据集以收集汇总统计、评估数据质量和了解结构的过程。关键指标：中心趋势、离散度、分布形状、完整性。

偏度衡量不对称性：正偏度表示右尾，负偏度表示左尾。峰度衡量相对于正态分布的尾部厚度。

数据分析是任何分析管道的必要第一步。在建模前揭示数据质量问题，防止垃圾进垃圾出。

Formula: 偏度 = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ 峰度 = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = 第 25 百分位数, Q3 = 第 75 百分位数 IQR = Q3 − Q1

计算示例

数据集：[2, 4, 4, 4, 5, 5, 7, 9]。n=8，均值=5.0，中位数=4.5，标准差=2.14（样本），最小值=2，Q1=4，Q3=5.5（线性插值），最大值=9。偏度 ≈ 0.82（样本校正，右偏）。超额峰度 ≈ 0.94（样本校正，尾部比正态略厚）。缺失值 = 0。

何时使用此计算器

• 数据分析师执行任何数据分析项目的第一步——在建模前了解数据质量、分布和异常
• 数据库管理员通过检查各列的缺失值、离群值和异常分布来审计数据质量
• 研究人员为发表准备数据时，记录每个变量包括偏度和峰度在内的汇总统计量
• 机器学习工程师评估特征分布，以决定归一化、离群值剔除或缺失值填补等预处理步骤

常见错误

• 跳过数据剖析直接建模——这会导致'垃圾进、垃圾出'；务必先剖析数据，发现数据质量问题、异常分布和离群值
• 忽视偏度和峰度——这些形状指标揭示参数方法（假定正态性）是否适用；偏度或峰度偏高提示需要数据变换或改用非参数方法
• 对所有缺失值一视同仁——MCAR（完全随机缺失）可以安全删除，但 MAR 和 MNAR 需要填补或专门方法以避免偏倚
• 只看单列统计量而不考虑列与列之间的关系——两列各自呈正态剖面，仍可能存在非线性或意料之外的联合关系

如何解读结果

• 偏度接近 0 且（超额）峰度接近 0 表示分布接近正态——可以使用参数统计方法
• 均值与中位数差异较大表明存在显著偏度——此时中位数更能代表典型值
• 某列缺失比例偏高（超过 20%）表明该变量可能不可靠或被系统性遗漏——应考虑将其排除出分析或调查缺失原因

相关标准与参考文献

• Tukey, J. W. (1977), Exploratory Data Analysis — 基于四分位数的数据汇总与探索性剖析的奠基文献
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — 比较样本偏度与峰度估计量的基准文献
• NIST/SEMATECH e-Handbook of Statistical Methods（第1章 探索性数据分析）— 分位数与分布形态度量的基准定义

常见问题

负偏度意味着什么？

左尾更长，大部分值集中在右侧。例如简单考试的分数。通常均值 < 中位数。

如何处理检测到的缺失值？

删除（缺失<5%且随机）、填补（均值/中位数/众数）或基于模型的填补（KNN、MICE）。根据缺失机制（MCAR、MAR、MNAR）选择。