基于語(yǔ)義的中文文本自動(dòng)分類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展導(dǎo)致了網(wǎng)絡(luò)中的文本數(shù)據(jù)也隨之迅速增長(zhǎng)，因此如何高效處理這些文本信息成為一個(gè)重要的研究課題。而文本自動(dòng)分類技術(shù)作為文本信息處理中的一個(gè)重要環(huán)節(jié)引起了人們的廣泛關(guān)注。文本分類能夠處理大量的文本，可以在較大程度上解決信息紊亂的現(xiàn)狀，方便用戶準(zhǔn)確地定位所需要的信息。文本分類作為信息檢索、信息過(guò)濾、搜索引擎、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書(shū)館等領(lǐng)域的技術(shù)基礎(chǔ)，有著廣泛的應(yīng)用前景。
　　 文本分類的首要問(wèn)題是文本數(shù)據(jù)的數(shù)學(xué)表示模型。目

2、前多數(shù)文本分類方法都是以向量空間模型為基礎(chǔ)的。這種文本表示方法比較簡(jiǎn)單，但卻引發(fā)了向量空間的高維性和稀疏性問(wèn)題，這使得文本分類具有相當(dāng)高的時(shí)間復(fù)雜度；同時(shí)向量空間模型忽略了特征項(xiàng)之間的語(yǔ)義相關(guān)性，這就導(dǎo)致大量語(yǔ)義信息的丟失，使得到的特征向量不能很好地代表文本內(nèi)容；最后，基于向量空間模型的文本分類方法都沒(méi)有很好地解決文本數(shù)據(jù)所特有的兩個(gè)自然語(yǔ)言問(wèn)題：同義詞和相關(guān)詞。所有這些問(wèn)題都極大地干擾了文本分類的效率和準(zhǔn)確性，使文本分類的性能下降。<

3、br>　　 為了解決上述問(wèn)題，本文將語(yǔ)義詞典引入到文本分類領(lǐng)域。使用《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》(簡(jiǎn)稱《同義詞詞林》)將向量空間模型中基于詞的特征項(xiàng)進(jìn)行語(yǔ)義分析，使用同義詞或相關(guān)詞集合概念代替單個(gè)詞條，將傳統(tǒng)向量空間模型中的特征項(xiàng)由詞映射為代表深層次語(yǔ)義的概念，從而將原始的基于詞的向量空間模型映射為基于語(yǔ)義概念的向量空間模型。對(duì)基于上述語(yǔ)義概念向量空間模型的中文文本分類進(jìn)行了深入研究，然后運(yùn)用軟件工程的一般理論，設(shè)計(jì)并實(shí)現(xiàn)