基于SVM的中文文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)上的信息爆炸式的增長，其中海量的信息以文本形式存在，另外在企業(yè)、科研單位、高校等機構(gòu)組織中都積累了大量的文本文檔，為了管理和利用這些文本信息，文本處理技術(shù)應(yīng)運而生，其中的文本分類能將文本所屬的類別提取出來，為后續(xù)的文本處理打下基礎(chǔ)，所以研究文本分類有十分重要的意義。
　　 本文基于支持向量機設(shè)計并實現(xiàn)了中文文本分類系統(tǒng)，系統(tǒng)劃分為：訓(xùn)練、分類和結(jié)果展示三個部分。訓(xùn)練部分使用訓(xùn)練文檔進行分類器的構(gòu)建，分類部分使用分類器對測試

2、文檔進行分類處理，結(jié)果展示部分對分類結(jié)果進行評估和展示。
　　 系統(tǒng)包含的模塊如下：
　　 ①文本預(yù)處理模塊，包含中文分詞和停用詞處理，本文采用中科院ICTCLAS分詞工具實現(xiàn)。
　　 ②特征選擇模塊，實現(xiàn)了信息增益、互信息、期望交叉熵、x2統(tǒng)計量和文本證據(jù)權(quán)重五種特征選擇方法。
　　 ③重計算模塊，實現(xiàn)了TF*IDF和TF*IDF*IG兩種權(quán)重計算方法。
　　 ④文本表示模塊，采用向量空間模型對

3、文本進行表示。
　　 ⑤分類器構(gòu)建模塊，實現(xiàn)了線性、多項式、徑向基和兩層感知器核函數(shù)并基于“一對多”思想進行分類器的訓(xùn)練。
　　 ⑥分類處理模塊，使用訓(xùn)練好的分類器依次對文本進行分類處理。
　　 ⑦結(jié)果展示模塊，按照類別分組顯示分類結(jié)果，并采用查全率、查準(zhǔn)率和F1值評估各個類別的分類性能。
　　 本文基于Sogou語料進行實驗，對不同的概率估算方式、特征選擇方式、特征選擇方法、權(quán)重計算方法、核函數(shù)種類的分