Clustering Hierárquico

O que é clustering hierárquico?

Clustering hierárquico constrói um dendrograma fundindo iterativamente os dois clusters mais próximos. Não requer especificar K previamente.

Métodos de ligação: simples (distância mínima, cadeias), completa (máxima, compacto), média, Ward (minimiza variância, mais equilibrado).

A tabela de fusão registra distâncias por passo. Saltos grandes sugerem limites naturais de clusters.

Formula: Ligação simples: d(A,B) = min{d(a,b) : a∈A, b∈B} Ligação completa: d(A,B) = max{d(a,b) : a∈A, b∈B} Ligação média: d(A,B) = (1/|A||B|) ΣΣ d(a,b) Ward: ΔV = (nₐnᵦ)/(nₐ+nᵦ) ‖μₐ − μᵦ‖²

Exemplo de cálculo

Pontos: A(0,0), B(1,0), C(4,0), D(5,0). Simples: Passo 1 A+B (dist=1), Passo 2 C+D (1), Passo 3 {A,B}+{C,D} (3). Corte em dist=2 → 2 clusters.

Quando usar esta calculadora

• Um pesquisador explorando agrupamentos naturais nos dados sem se comprometer com um número fixo de clusters — o dendrograma revela a estrutura em todos os níveis de granularidade
• Um bioinformata agrupando perfis de expressão gênica ou sequências de proteínas com base em medidas de similaridade
• Um pesquisador de mercado agrupando produtos ou clientes em uma taxonomia com subcategorias aninhadas
• Um analista de dados que precisa comparar como diferentes métodos de ligação afetam a composição e a estrutura dos clusters

Erros comuns a evitar

• Usar ligação simples em dados ruidosos — a ligação simples é propensa ao 'efeito de encadeamento', em que pontos de ruído conectam clusters distintos, fundindo-os prematuramente; use Ward ou ligação completa para a maioria das aplicações
• Não padronizar as variáveis — o agrupamento hierárquico usa medidas de distância sensíveis à escala; variáveis com grandes amplitudes dominam, a menos que todas as variáveis sejam padronizadas
• Escolher o número de clusters sem observar o padrão das distâncias de fusão — cortes arbitrários produzem clusters sem sentido; sempre examine o dendrograma ou o histórico de distâncias de fusão em busca de pontos de quebra naturais
• Aplicar agrupamento hierárquico a conjuntos de dados muito grandes sem subamostragem — a complexidade de memória O(n2) e de tempo O(n3) o torna impraticável para conjuntos acima de ~10.000 pontos; use K-Means ou abordagens de mini-lotes para dados grandes

Como interpretar os resultados

• Grandes saltos nas distâncias de fusão na tabela de histórico de fusões indicam fronteiras naturais entre clusters — os clusters imediatamente antes de um grande salto são agrupamentos significativos
• Se o método de Ward e a ligação completa produzem clusters semelhantes, o agrupamento é robusto; se diferem significativamente, a estrutura de clusters pode ser ambígua
• Clusters com tamanhos muito diferentes (p. ex., um cluster com 90% dos pontos) podem indicar que os dados não têm agrupamentos naturais fortes naquele nível de corte — tente um número diferente de clusters

Normas e referências relacionadas

• Ward, J. H. (1963), 'Hierarchical Grouping to Optimize an Objective Function', Journal of the American Statistical Association — origem do método de ligação de variância mínima de Ward
• Lance & Williams (1967), 'A General Theory of Classificatory Sorting Strategies', The Computer Journal — fórmula de recorrência unificada que cobre as ligações simples, completa e média
• Everitt, Landau, Leese & Stahl, Cluster Analysis (Wiley) — livro-texto padrão sobre métodos aglomerativos e interpretação de dendrogramas

Perguntas frequentes

Qual método de ligação usar?

Ward é o padrão mais popular — clusters compactos e equilibrados. Evitar ligação simples pelo efeito de encadeamento.

Onde cortar o dendrograma?

Buscar o maior salto nas distâncias de fusão, usar conhecimento do domínio ou coeficiente de inconsistência.