层次聚类

什么是层次聚类？

层次聚类通过反复合并最近的两个聚类构建树状图。与K-Means不同，不需要预先指定K，可以在任何水平切割以产生不同数量的聚类。

链接方法：单链接（最小距离，倾向链状），完全链接（最大距离，紧凑），平均链接（平均距离），Ward法（方差最小化，通常最均衡）。

合并历史记录每步的合并距离。距离的大跳跃表明自然的聚类边界。

Formula: 单连接: d(A,B) = min{d(a,b) : a∈A, b∈B} 全连接: d(A,B) = max{d(a,b) : a∈A, b∈B} 平均连接: d(A,B) = (1/|A||B|) ΣΣ d(a,b) Ward: ΔV = (nₐnᵦ)/(nₐ+nᵦ) ‖μₐ − μᵦ‖²

计算示例

点：A(0,0), B(1,0), C(4,0), D(5,0)。单链接：步骤1 A+B(距离=1)，步骤2 C+D(距离=1)，步骤3 {A,B}+{C,D}(距离=3)。在距离2处切割 → 2个聚类。

何时使用此计算器

• 研究人员在不预先固定簇数的情况下探索数据的自然分组——树状图能展现所有粒度层级上的结构
• 生物信息学家基于相似性度量对基因表达谱或蛋白质序列聚类
• 市场研究人员将产品或客户归入带有嵌套子类别的分类体系
• 数据分析师需要比较不同连接方法对簇构成和结构的影响

常见错误

• 对含噪声数据使用单连接——单连接易产生'链式效应'，噪声点会在不同簇之间架桥导致它们过早合并；多数应用应使用 Ward 法或全连接
• 未对特征标准化——层次聚类使用对尺度敏感的距离度量；除非所有特征都标准化，否则范围大的变量会占主导
• 不查看合并距离模式就确定簇数——随意切割会产生毫无意义的簇；务必检查树状图或合并距离历史以寻找自然断点
• 对超大数据集直接应用层次聚类而不做抽样——O(n2) 内存和 O(n3) 时间复杂度使其在约 10,000 个点以上的数据集上不可行；大数据应改用 K-Means 或 mini-batch 方法

如何解读结果

• 合并历史表中合并距离的大幅跃升标志着自然的簇边界——大跃升之前的簇是有意义的分组
• 若 Ward 法与全连接产生相似的簇，则该分组是稳健的；若两者差异显著，簇结构可能并不明确
• 若各簇规模差异悬殊（如一个簇占 90% 的点），可能表明数据在该切割层级上不存在强自然分组——可尝试不同的簇数

相关标准与参考文献

• Ward, J. H. (1963), 'Hierarchical Grouping to Optimize an Objective Function', Journal of the American Statistical Association — Ward最小方差连接法的起源
• Lance & Williams (1967), 'A General Theory of Classificatory Sorting Strategies', The Computer Journal — 统一涵盖单连接、全连接与平均连接的递推公式
• Everitt, Landau, Leese & Stahl, Cluster Analysis (Wiley) — 凝聚式聚类方法与树状图解读的标准教科书

常见问题

应该使用哪种链接方法？

Ward法是最受欢迎的默认选择，产生紧凑均匀的聚类。避免单链接——容易出现链接效应。

在哪里切割树状图？

寻找合并距离的最大间隔，或基于领域知识设定聚类数，或使用不一致系数。