基于語義關(guān)聯(lián)的中文文本特征提取及分類研究.pdf

1、伴隨網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，大量的數(shù)據(jù)、信息如雨后春筍般競(jìng)相出現(xiàn)在網(wǎng)絡(luò)，無紙化辦公系統(tǒng)、海量的電子形式的文本文檔更是越來越常見。面對(duì)如此龐大的信息，怎么樣高效準(zhǔn)確的獲取有用的信息是亟待解決的問題，文本分類技術(shù)正好可以解決此類問題。
　　 當(dāng)前的分類技術(shù)應(yīng)用于英文文本已經(jīng)可以取得比較理想的效果，但中文有其特殊性，直接將分類算法運(yùn)用于中文文本，效果并不理想。針對(duì)目前研究的空缺，本文觀察中文文本的特點(diǎn)，并深入分析與總結(jié)，發(fā)現(xiàn)對(duì)中文文本進(jìn)行

2、分類時(shí)，語義因素的作用不容忽視，它要貫穿整個(gè)分類流程。本文對(duì)文本進(jìn)行預(yù)處理后，在特征選擇時(shí)充分考慮語義關(guān)聯(lián)在自然語言處理中的絕對(duì)優(yōu)勢(shì)，利用這一優(yōu)勢(shì)在詞條之間建立聯(lián)系，從而修正TFIDF算法，并重新定義了權(quán)重值的計(jì)算公式。修改的目的是避免遺漏、舍棄出現(xiàn)頻率小但對(duì)分類可以提供關(guān)鍵信息的詞條，希望獲取更為準(zhǔn)確的特征詞，進(jìn)而提高下一步分類的準(zhǔn)確率。基于修改后的特征選擇算法，本文進(jìn)一步對(duì)常見且實(shí)現(xiàn)簡(jiǎn)單的傳統(tǒng)KNN文本分類算法進(jìn)行語義分析以及改進(jìn)，

3、重點(diǎn)在于分析詞條內(nèi)部的語義關(guān)聯(lián)，確定每個(gè)特征詞所歸屬的組別，即新算法借用了特征提取中被分入各個(gè)組別的那些特征詞。這些特征詞本質(zhì)上是從屬于同一類別的，將其歸入同一組中，則同一組的特征詞構(gòu)建的集合為組特征，可以代表同一類別的特征。下一步開始求算測(cè)試文本與每一個(gè)組特征之間的相似程度，從而省去了測(cè)試文本與所有的訓(xùn)練文本逐一計(jì)算相似度的過程，大大減少了計(jì)算量，然后對(duì)測(cè)試文本與組特征的相似度進(jìn)行排序選出可能歸屬的類別，進(jìn)而縮小測(cè)試文本所需要判斷的類