Perfilador de Datos

¿Qué es el perfilado de datos?

El perfilado de datos examina un conjunto de datos para recopilar estadísticas, evaluar calidad y entender estructura. Métricas clave: tendencia central, dispersión, forma de distribución, completitud.

La asimetría mide desviación: positiva = cola derecha, negativa = cola izquierda. La curtosis mide el peso de las colas respecto a la normal.

El perfilado es el primer paso esencial en cualquier pipeline de análisis. Revela problemas de calidad antes del modelado.

Formula: Asimetría = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ Curtosis = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = percentil 25, Q3 = percentil 75 IQR = Q3 − Q1

Ejemplo de cálculo

Conjunto: [2, 4, 4, 4, 5, 5, 7, 9]. n=8, Media=5,0, Mediana=4,5, Desv. est.=2,14 (muestral), Mín=2, Q1=4, Q3=5,5 (interpolación lineal), Máx=9. Asimetría ≈ 0,82 (ajustada a la muestra; sesgo a la derecha). Curtosis en exceso ≈ 0,94 (ajustada a la muestra; colas algo más pesadas que la normal). Faltantes = 0.

Cuándo usar esta calculadora

• Un analista de datos que realiza el primer paso de cualquier proyecto de análisis — comprender la calidad de los datos, las distribuciones y las anomalías antes de modelar
• Un administrador de bases de datos que audita la calidad de los datos revisando valores faltantes, atípicos y distribuciones inesperadas en las columnas
• Un investigador que prepara datos para publicación documentando estadísticas de resumen, incluidas la asimetría y la curtosis de cada variable
• Un ingeniero de aprendizaje automático que evalúa las distribuciones de las características para decidir pasos de preprocesamiento como normalización, eliminación de atípicos o imputación

Errores comunes a evitar

• Omitir el perfilado de datos y pasar directamente al modelado — esto conduce a 'basura entra, basura sale'; perfile siempre primero para detectar problemas de calidad, distribuciones inesperadas y valores atípicos
• Ignorar la asimetría y la curtosis — estas métricas de forma revelan si los métodos paramétricos (que asumen normalidad) son apropiados; una asimetría o curtosis alta sugiere la necesidad de transformar los datos o usar métodos no paramétricos
• Tratar todos los valores faltantes de la misma manera — los MCAR (faltantes completamente al azar) pueden eliminarse con seguridad, pero los MAR y MNAR requieren imputación o métodos especializados para evitar sesgos
• Mirar solo las estadísticas de columnas individuales sin considerar las relaciones entre columnas — dos columnas con perfiles individuales normales aún pueden tener una relación conjunta no lineal o inesperada

Cómo interpretar los resultados

• Una asimetría cercana a 0 y una curtosis cercana a 0 (exceso) indican una distribución próxima a la normal — los métodos estadísticos paramétricos son apropiados
• Grandes diferencias entre la media y la mediana indican una asimetría significativa — en ese caso la mediana es más representativa del valor típico
• Un porcentaje alto de valores faltantes (por encima del 20%) en una columna sugiere que la variable puede ser poco fiable o estar sistemáticamente ausente — considere excluirla del análisis o investigar la causa

Normas y referencias relacionadas

• Tukey, J. W. (1977), Exploratory Data Analysis — texto fundacional para los resúmenes de datos basados en cuartiles y el perfilado exploratorio
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — comparación de referencia de los estimadores muestrales de asimetría y curtosis
• NIST/SEMATECH e-Handbook of Statistical Methods (Sección 1, Exploratory Data Analysis) — definiciones de referencia para cuantiles y medidas de forma de la distribución

Preguntas frecuentes

¿Qué significa asimetría negativa?

Cola izquierda más larga, valores concentrados a la derecha. Ejemplo: notas en examen fácil. Generalmente media < mediana.

¿Cómo tratar valores faltantes?

Eliminación (<5 %, aleatorio), imputación (media/mediana/moda) o basada en modelo (KNN, MICE). Según mecanismo de falta (MCAR, MAR, MNAR).