文档聚类综述

资 源 简 介

文档聚类综述

详 情 说 明

文档聚类作为无监督学习的重要分支，在文本挖掘领域发挥着关键作用。该技术通过计算文档间的相似度，自动将具有共同特征的文档归入同一类别，而无需预先标注训练数据。

核心流程通常包含三个关键步骤：首先进行文本预处理，包括分词、去停用词和词干提取；接着采用TF-IDF或词嵌入技术将文档转化为数值向量；最后应用聚类算法对文档集合进行分组。

当前主流算法可分为几大类：基于划分的方法（如K-means）、层次聚类法、基于密度的方法（如DBSCAN）以及基于主题模型的进阶方法。每种算法各有优劣，K-means效率高但对初始中心点敏感，层次聚类可呈现树状结构但计算复杂度较高。

评估指标方面，轮廓系数和Calinski-Harabasz指数等内部指标关注簇内紧凑性和簇间分离度，而标准化互信息等外部指标则需依赖真实标签。实际应用中常面临高维稀疏、语义理解等挑战，近年研究多聚焦于结合深度学习的混合方法。