基于復雜網(wǎng)絡的中文文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)信息爆炸式的增長,可以方便用戶快速、準確定位所需信息的文本自動分類技術變得越來越重要。傳統(tǒng)文本分類中廣泛采用的基于向量空間模型的文本表示方法中,由于其假設特征詞之間是相互獨立的,即忽略了詞語間的語義關系,因而容易造成文本語義信息的缺失。此外,漢語是一種表意型語言,較詞語的形式,其更注重詞語內(nèi)涵的語義,而且漢語中蘊含著大量詞語語義相關關系以及存在上下文依賴現(xiàn)象,這些使得中文所蘊含的語義信息較其他注重形式和結構的語言(如英語)更加

2、豐富,所以基于向量空間的文本表示模型更加難以完整描述中文文本所蘊含的語義信息。
　　為解決上述向量空間模型中文本結構和語義信息的缺失問題。本文將復雜網(wǎng)絡理論引入到中文文本分類過程中,將語義學理論與文本表示有效的融合,首先以詞語間的詞同現(xiàn)關系為基礎構建單一文本加權復雜網(wǎng)絡來表示中文文本,該文本表示方法除包含特征詞本身信息外,還可以體現(xiàn)出特征詞之間的語義相關關系及上下文結構信息;然后,為減少計算的復雜度,本文通過復雜網(wǎng)絡的小世界特性進

3、行文本特征選擇,利用節(jié)點綜合特性提取反映文本主題的關鍵詞作為文本的特征詞,以優(yōu)化文本網(wǎng)絡結構,降低文本網(wǎng)絡復雜性;再次,通過引入最大公共子圖理論在復雜網(wǎng)絡表示文本表示下進行文本相似度計算,以此減少語義流失,并結合 KNN 文本分類思想構建文本分類模型及相應分類算法;最后,為驗證本文提出的基于復雜網(wǎng)絡的中文文本分類算法的效果,分別從特征選擇算法、文本相似度計算方法、文本分類算法與相應傳統(tǒng)方法進行對比實驗。實驗結果表明將復雜網(wǎng)絡引入到中文文