Perfilador de Dados

O que é perfilamento de dados?

Perfilamento de dados examina um conjunto para coletar estatísticas resumidas, avaliar qualidade e entender estrutura. Métricas: tendência central, dispersão, forma da distribuição, completude.

Assimetria mede desvio: positiva = cauda direita, negativa = cauda esquerda. Curtose mede o peso das caudas em relação à normal.

O perfilamento é o primeiro passo essencial em qualquer pipeline de análise. Revela problemas de qualidade antes da modelagem.

Formula: Assimetria = [n/((n−1)(n−2))] × Σ((xᵢ − x̄)/s)³ Curtose = [n(n+1)/((n−1)(n−2)(n−3))] × Σ((xᵢ − x̄)/s)⁴ − 3(n−1)²/((n−2)(n−3)) Q1 = percentil 25, Q3 = percentil 75 IQR = Q3 − Q1

Exemplo de cálculo

Conjunto: [2, 4, 4, 4, 5, 5, 7, 9]. n=8, Média=5,0, Mediana=4,5, Desvio-padrão=2,14 (amostral), Mín=2, Q1=4, Q3=5,5 (interpolação linear), Máx=9. Assimetria ≈ 0,82 (ajustada à amostra; à direita). Curtose em excesso ≈ 0,94 (ajustada à amostra; caudas um pouco mais pesadas que a normal). Ausentes = 0.

Quando usar esta calculadora

• Um analista de dados realizando a primeira etapa de qualquer projeto de análise de dados — entender qualidade dos dados, distribuições e anomalias antes da modelagem
• Um administrador de banco de dados auditando a qualidade dos dados verificando valores ausentes, outliers e distribuições inesperadas nas colunas
• Um pesquisador preparando dados para publicação documentando estatísticas resumidas, incluindo assimetria e curtose, para cada variável
• Um engenheiro de machine learning avaliando as distribuições das variáveis para decidir etapas de pré-processamento como normalização, remoção de outliers ou imputação

Erros comuns a evitar

• Pular o perfilamento de dados e ir direto para a modelagem — isso leva a entra-lixo-sai-lixo; sempre faça o perfilamento primeiro para detectar problemas de qualidade dos dados, distribuições inesperadas e outliers
• Ignorar assimetria e curtose — essas métricas de forma revelam se métodos paramétricos (que assumem normalidade) são apropriados; assimetria ou curtose altas sugerem a necessidade de transformação dos dados ou de métodos não paramétricos
• Tratar todos os valores ausentes da mesma forma — MCAR (ausente completamente ao acaso) pode ser excluído com segurança, mas MAR e MNAR exigem imputação ou métodos especializados para evitar viés
• Olhar apenas as estatísticas de colunas individuais sem considerar as relações entre colunas — duas colunas com perfis individuais normais ainda podem ter uma relação conjunta não linear ou inesperada

Como interpretar os resultados

• Assimetria próxima de 0 e curtose próxima de 0 (excesso) indicam uma distribuição próxima da normal — métodos estatísticos paramétricos são apropriados
• Grandes diferenças entre média e mediana indicam assimetria significativa — nesse caso, a mediana é mais representativa do valor típico
• Um percentual alto de valores ausentes (acima de 20%) em uma coluna sugere que a variável pode ser pouco confiável ou sistematicamente ausente — considere excluí-la da análise ou investigar a causa

Normas e referências relacionadas

• Tukey, J. W. (1977), Exploratory Data Analysis — texto fundacional para resumos de dados baseados em quartis e perfilamento exploratório
• Joanes & Gill (1998), 'Comparing Measures of Sample Skewness and Kurtosis', The Statistician — comparação de referência dos estimadores amostrais de assimetria e curtose
• NIST/SEMATECH e-Handbook of Statistical Methods (Seção 1, Exploratory Data Analysis) — definições de referência para quantis e medidas de forma da distribuição

Perguntas frequentes

O que significa assimetria negativa?

Cauda esquerda mais longa, valores concentrados à direita. Exemplo: notas em prova fácil. Geralmente média < mediana.

Como tratar valores ausentes?

Remoção (<5 %, aleatório), imputação (média/mediana/moda) ou baseada em modelo (KNN, MICE). Segundo o mecanismo (MCAR, MAR, MNAR).