基于維基百科的短文本特征擴展及分類算法研究.pdf

1、隨著計算機和移動手持設(shè)備的廣泛應(yīng)用，短文本信息呈現(xiàn)爆炸式的增長。如何快速有效地實現(xiàn)短文本的自動分類，是目前信息領(lǐng)域亟待解決的問題。短文本的長度在160字以內(nèi)，具有實時性、海量性、稀疏性、表達形式不規(guī)范以及樣本分布不均衡等特點，這使得傳統(tǒng)的文本分類算法在短文本中不能表現(xiàn)出較好的分類效果。針對短文本的分類問題，本文在短文本特征擴展和分類算法等方面做了以下研究：
　　首先，針對短文本樣本分布高度不均衡，傳統(tǒng)的文本分類器難適用等問題，本文

2、提出了基于集成算法思想的Bagging_NB和Bagging_BSJ算法。主要是根據(jù)Bagging的算法原理，分別將弱分類器NB算法和算法NB、SVM、J48結(jié)合后的算法作為基分類器訓(xùn)練分類模型。這種改進不僅能有效地提高單一分類器的泛化能力，而且能避免過擬合問題，將弱分類器轉(zhuǎn)化為利于短文本分類的強分類器。實驗結(jié)果表明，本文提出的Bagging_BSJ算法其準(zhǔn)確率提高了12％，召回率提高了28%，F(xiàn)值提高了20%左右。
　　其次，針

3、對詞項間的語義關(guān)系量化問題，本文提出了一種基于維基百科文本和鏈接信息的語義相似度計算方法—WLA。受到基于維基百科的明確語義分析和鏈接信息計算方法的啟發(fā)，WLA算法綜合考慮了維基百科主題頁面內(nèi)的文本信息和鏈接結(jié)構(gòu)，提取摘要段的文本信息和整個頁面內(nèi)的鏈接信息(入鏈接和出鏈接)，分別進行語義相似度計算，然后以不同的權(quán)重將這兩種語義相似度計算相結(jié)合，作為兩個詞項間的語義關(guān)系量化模型。WLA算法為后文短文本特征擴展模型中的語義擴展提供了理論依據(jù)

4、。
　　最后，針對短文本的特征稀疏性，本文將維基百科作為外部語義知識庫，提出了兩種短文本特征擴展模型。一種是對維基百科主題頁面內(nèi)的文本信息進行預(yù)處理，將得到的特征詞項向量作為短文本特征的擴展詞表，這個過程稱為維基擴展；另一種是基于WLA語義關(guān)系模型，計算主題特征詞與維基擴展向量中各元素間的語義相似度，選擇相似度高的詞項組成短文本主題特征的擴展詞表，稱為語義擴展。實驗結(jié)果表明，與未進行特征擴展的原始短文本數(shù)據(jù)相比，本文提出的兩種擴展