Large-scale hierarchical text classification without labelled data

资 源 简 介

Large-scale hierarchical text classification without labelled data

详 情 说 明

处理大规模层级文本分类任务时，传统监督学习方法依赖大量标注数据，这在实际应用中往往成为瓶颈。无监督方法为解决这一难题提供了新思路。

层级分类的核心挑战在于如何在没有标注的情况下理解类别之间的层次关系。一种可行方案是利用预训练语言模型生成文本表示，通过聚类算法发现潜在的类别结构。词嵌入空间中的距离可以反映语义相似度，为自动构建层级提供依据。

自监督学习技术能有效捕捉文本特征，通过对比学习或掩码语言建模预训练模型，使模型理解文本语义。随后可采用层次化聚类算法，如层次凝聚聚类，逐步合并相似文本簇，形成树状类别结构。

在实际应用中，需要特别注意处理类间不平衡问题，以及如何评估无监督分类结果的质量。通过计算类内凝聚度和类间分离度等指标，可以对自动生成的分类体系进行定量评估。