Detecção de outliers

O que é detecção de outliers com Isolation Forest?

O Isolation Forest é um algoritmo de aprendizado de máquina não supervisionado para detecção de anomalias, baseado no princípio de que os valores atípicos são 'poucos e diferentes' — são mais fáceis de isolar do que os pontos normais. Diferentemente dos métodos baseados em distância, ele não calcula distâncias nem densidades, o que o torna altamente eficiente para grandes conjuntos de dados.

O algoritmo constrói um conjunto de árvores de isolamento aleatórias. Cada árvore particiona os dados recursivamente, selecionando ao acaso uma variável e um valor de corte. As anomalias, por serem raras e distintas, exigem menos divisões para serem isoladas (comprimento de caminho menor da raiz até a folha). Os pontos normais, por estarem agrupados, exigem mais divisões.

O escore de anomalia é derivado do comprimento médio de caminho em todas as árvores, normalizado pelo comprimento de caminho esperado para o tamanho do conjunto de dados. Escores próximos de 1 indicam anomalias; escores próximos de 0.5 indicam pontos normais. O parâmetro de contaminação define a proporção esperada de anomalias, determinando o limiar de escore para a classificação.

Formula: Anomaly Score s(x, n) = 2^(-E(h(x)) / c(n)) c(n) = 2H(n-1) - 2(n-1)/n where h(x) = path length, c(n) = average path length in BST, H(i) = harmonic number ≈ ln(i) + 0.5772

Exemplo de cálculo

100 pontos de dados com contaminação = 0.05 (esperam-se ~5 valores atípicos). 100 árvores de isolamento construídas. O ponto A tem comprimento médio de caminho 3.2 (isolado rapidamente → escore de anomalia 0.82 → sinalizado). O ponto B tem comprimento médio de caminho 8.7 (difícil de isolar → escore de anomalia 0.45 → normal). 4 pontos ultrapassam o limiar — sinalizados como anomalias.

Quando usar esta calculadora

• Durante revisão de dados de inspeção de entrada para sinalizar medições anómalas
• Ao limpar datasets antes de análise estatística
• Em SPC de alto volume para detetar padrões incomuns em dados multivariantes
• Ao analisar dados de sensores para identificar sinais precoces de degradação
• Durante auditorias de qualidade para encontrar anomalias de dados

Erros comuns a evitar

• Remover automaticamente todas as anomalias sinalizadas sem investigação
• Definir contaminação demasiado alta — comece conservador (0.01-0.05)
• Usar Isolation Forest em datasets muito pequenos (menos de 50 pontos)
• Ignorar a distribuição de pontuações de anomalia

Como interpretar os resultados

• Pontuação perto de 1.0 — ponto fortemente isolado, provavelmente verdadeira anomalia
• Pontuação 0.6-0.8 — moderadamente anómalo; reveja no contexto do domínio
• Pontuação ~0.5 — ponto normal dentro da distribuição principal
• Fração de anomalias significativamente maior que esperado — ajuste contaminação ou investigue o processo
• Clusters de anomalias em valores similares — pode representar subpopulação distinta

Normas e referências relacionadas

• Liu, Ting & Zhou (2008), "Isolation Forest", IEEE ICDM — O artigo original que define o algoritmo e o escore de anomalia implementados aqui
• ISO 16269-4 — Interpretação estatística de dados: detecção e tratamento de outliers, a norma internacional que orienta as decisões de tratamento de outliers
• ASTM E178 — Prática padrão para lidar com observações discrepantes, cobrindo quando a remoção dos pontos sinalizados é justificada
• NIST/SEMATECH e-Handbook §1.3.5.17 — Testes univariados clássicos de outliers (Grubbs), úteis como verificação cruzada em dados de uma única variável

Perguntas frequentes

Como defino o parâmetro de contaminação?

A contaminação é a proporção esperada de anomalias nos seus dados. Se você conhece a taxa histórica de anomalias (por exemplo, uma taxa de defeitos de 2%), utilize esse valor. Se ela for desconhecida, comece com 0.05-0.10 e ajuste com base no conhecimento do domínio. Valor baixo demais → anomalias reais passam despercebidas; valor alto demais → pontos normais são sinalizados como anomalias. A inspeção visual dos pontos sinalizados ajuda na calibração.

Quando devo usar o Isolation Forest em vez de outros métodos de detecção de valores atípicos?

O Isolation Forest se destaca com dados de alta dimensionalidade, grandes conjuntos de dados e quando os valores atípicos são globalmente distintos. Use o LOF quando a densidade local for relevante (valores atípicos em relação à sua vizinhança). Use métodos estatísticos (escore Z, IQR) para dados univariados simples. Use DBSCAN quando também precisar de agrupamento. A complexidade O(n log n) do Isolation Forest o torna a opção mais escalável.