中文文本分類特征提取方法的研究與實現(xiàn).pdf

1、隨著計算機網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，文本信息數(shù)量呈現(xiàn)指數(shù)級的增長。文本分類作為一種有效的文本信息組織管理技術(shù)能很好地組織管理海量、異構(gòu)的信息。在文本分類基礎(chǔ)上通過信息檢索、過濾等技術(shù)可以幫助人們從海量信息中快速，準(zhǔn)確地查找相關(guān)知識信息，提高生活工作效率，因此對文本分類技術(shù)的研究具有較大的研究意義和實用價值。
　　本文首先對文本分類關(guān)鍵技術(shù)進(jìn)行研究分析，在此基礎(chǔ)上對特征提取方法進(jìn)行了重點研究，提出了新特征提取方法，并利用新特征提取方法設(shè)計

2、開發(fā)了一個中文文本分類系統(tǒng)，實驗結(jié)果分析表明文中提出的特征提取方法取得了良好的實驗效果。本文主要的研究工作如下：
　?、俜治隽藢ξ谋痉诸愡^程及關(guān)鍵技術(shù)，研究了文本特征特征提取方法。通過對基于過濾模型的幾種常用特征提取方法分析比較后，發(fā)現(xiàn)文本特征提取過程中負(fù)相關(guān)特征與弱相關(guān)特征對特征提取質(zhì)量好壞易產(chǎn)生較大的干擾。為了避免這種干擾，本文提出一個基于類別正相關(guān)和類別強相關(guān)的特征提取方法SP(StrongCorrelationandPos

3、itiveCorrelation，正相關(guān)與強相關(guān))，SP方法通過優(yōu)先選擇正相關(guān)特征和強相關(guān)特征，有效地減少了負(fù)相關(guān)特征和弱相關(guān)特征的干擾，從而保證高質(zhì)量文本特征的提取。
　?、谠O(shè)計與實現(xiàn)了一個中文文本分類系統(tǒng)，把文本分類的特征提取方法SP應(yīng)用到中文文本分類系統(tǒng)。文中對中文文本分類系統(tǒng)進(jìn)行了總體設(shè)計和功能模塊設(shè)計，分析研究漢語語法分析工具包ICTCLAS與全文檢索工具包Lucene，并將二者結(jié)合作為中文文本分類系統(tǒng)搭建解決方案，最終