概率主題模型及其在關(guān)聯(lián)文本分類中的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,網(wǎng)絡(luò)上以文本形式存在的信息迅速增加,如何有效地組織和管理這些文本信息是當(dāng)前信息科學(xué)領(lǐng)域面臨的一個重要挑戰(zhàn)。文本分類可以解決大量文本信息的歸類問題,是組織和管理海量文本信息的有效手段。同時,由于主題模型可以捕獲到文檔集合的語義結(jié)構(gòu)信息,將主題模型應(yīng)用于文本分類是提高分類器性能的有效途徑之一。
　　 目前,基于LDA的監(jiān)督主題模型sLDA以及傳統(tǒng)的文本分類算法假設(shè)文檔之間相互獨立。然而,在實際情況中,文檔之

2、間可以存在關(guān)聯(lián)關(guān)系,比如,從科技文獻(xiàn)數(shù)據(jù)庫(C-DBLP,DBLP等)中抽取出的文檔可以根據(jù)文獻(xiàn)之間的引用關(guān)系形成文檔網(wǎng)絡(luò);網(wǎng)頁可以根據(jù)超鏈接進(jìn)行關(guān)聯(lián)。當(dāng)關(guān)聯(lián)關(guān)系對文檔屬性的判斷有重要影響并且文檔包含的文本信息較少時,監(jiān)督主題模型以及傳統(tǒng)的文本分類方法(SVM、樸素貝葉斯等)的性能會有所下降。
　　 iTopicModel通過多變量馬爾可夫隨機場建模文檔網(wǎng)絡(luò)結(jié)構(gòu),將文檔間的關(guān)聯(lián)關(guān)系及文本信息進(jìn)行統(tǒng)一建模,并且iTopicMode

3、l可以處理既有權(quán)重又有方向的文本信息網(wǎng)絡(luò)。本文中,我們基于iTopicModel提出了一個新穎的概率主題模型(SRTM),將文檔間的關(guān)聯(lián)關(guān)系、文檔的文本信息、文檔的標(biāo)號進(jìn)行統(tǒng)一建模。首先用古典線性回歸模型對文檔標(biāo)號進(jìn)行建模,給出SRTM的聯(lián)合概率分布,通過EM算法最大化聯(lián)合概率分布的對數(shù)似然對SRTM的參數(shù)進(jìn)行估計,然后給出對訓(xùn)練數(shù)據(jù)以外文檔的標(biāo)號進(jìn)行預(yù)測的方法。最后我們用廣義線性模型對文檔標(biāo)號進(jìn)行建模,對SRTM進(jìn)行擴展,使SRTM可

4、以處理多種類型的文檔標(biāo)號。Cora研究論文分類數(shù)據(jù)集和電影評論數(shù)據(jù)集上的實驗表明,在文檔網(wǎng)絡(luò)中,SRTM的預(yù)測結(jié)果要優(yōu)于現(xiàn)有的監(jiān)督主題模型。
　　 我們還將iTopicModel應(yīng)用到文本分類任務(wù)中,基于iTopicModel提出了文本分類算法TC-iTM,該算法根據(jù)類信息已知的文檔歸屬于各個主題的概率判斷主題代表的類信息,根據(jù)待分類文檔歸屬于各個主題的概率及文本信息對文檔進(jìn)行分類。在Cora研究論文分類數(shù)據(jù)集和DBLP數(shù)據(jù)集上