基于聚類樹的多類標文本分類算法研究.pdf

1、文本分類技術是解決由于互聯(lián)網(wǎng)的迅猛發(fā)展而導致人們面臨“信息爆炸而知識匱乏”問題的有效手段。文本分類往往是屬于多類標分類,即單篇文章屬于一個或以上的類別。多類標問題是傳統(tǒng)機器學習算法不能解決的,同時因為文本數(shù)據(jù)的特殊性,業(yè)已開發(fā)的多類標分類算法不能很好地應用于文本數(shù)據(jù)。如何更好地解決多類標文本分類問題是本文的核心議題。本文的具體工作如下:
　　(1)全面總結了現(xiàn)有的文本處理技術,多類標分類方法及其優(yōu)勢劣勢,多類標數(shù)據(jù)集的度量準則和算

2、法驗證準則。
　　(2)深入分析并總結出多類標文本數(shù)據(jù)的關鍵特點。通過對傳統(tǒng)文本數(shù)據(jù)的分析及多類標數(shù)據(jù)的度量特點,推導出多類標文本數(shù)據(jù)普遍存在“一高兩疏”的特點——高維、特征空間和類標空間稀疏。
　　(3)提出了解決多類標文本數(shù)據(jù)的思路。根據(jù)多類標文本數(shù)據(jù)的關鍵特點,提出對特征空間和類標空間的劃分,通過構造不同子空間及其專注的問題,迭代解決多類標文本分類問題是一個好的思路;也就是說,通過把原問題劃分為若干個子問題,子問題之間

3、相互協(xié)作,尋找最優(yōu)解。
　　(4)提出了全新的多類標分類算法——多類標聚類樹算法。多類標聚類樹算法是根據(jù)解決多類標文本文類問題的指導思想,結合傳統(tǒng)單類標聚類樹算法的特點,通過迭代調用“基于類標信息的聚類算法”將兩空間依樹的生長不斷劃分,直至空間足夠簡單為止。
　　(5)提出了全新的基于問題轉化的多類標分類方法——類標掩蓋樹。類標掩蓋樹是通過樹形結構和類標掩蓋手段,把多類標問題轉化為一系列層次分明,相互協(xié)作的多類別分類問題,進