基于支持向量機的中文文本分類系統(tǒng)研究.pdf

1、在信息技術日新月異的今天，多數(shù)人在日常工作學習中都會接觸到大量的中文信息，尤其是在互聯(lián)網上，存在的中文網頁更是數(shù)以萬計。如何利用計算機技術快速有效的獲取相關信息已經成為目前中文信息處理領域一個研究熱點。中文文本分類是中文信息處理的重要組成部分，對中文信息數(shù)字化的實現(xiàn)和推廣有重要意義，在文本識別、電子政務、搜索引擎、信息過濾等領域有著廣泛和深入的應用。 支持向量機是一種建立在統(tǒng)計學習理論基礎之上的模式識別方法，由Boser、Guy

2、on、Vapnik等人在COLT(ComputationalLearningTheory)-92上首次提出，在文本分類、圖像識別、生物信息處理等領域都取得了成功的應用。相比較傳統(tǒng)的分類方法，支持向量機在求解小樣本、非線性、高維空間等問題上表現(xiàn)出了較好的性能。支持向量機根據(jù)結構風險最小化原則，具有全局最優(yōu)解，同時提高了分類器的泛化能力。利用支持向量機得到的分類器具有很好的推廣能力，即使訓練樣本很少，分類系統(tǒng)也可以達到很高的準確率。

3、 本文首先對中文文本分詞進行了介紹，在常用分詞算法的基礎之上設計了一種雙向匹配分詞算法，有效的減少了歧義詞對正確分詞的影響。特征選擇是文本分類的重要環(huán)節(jié)，本文對分類問題中的若干傳統(tǒng)特征選擇評估算法進行了分析，對其中的互信息和X2等評估算法提出了改進策略。分類器設計是文本分類系統(tǒng)的核心部分，本文討論了目前主流的分類器設計方法，重點對支持向量機方法進行了研究，詳細闡述了線性可分、線性不可分、非線性等支持向量機方法的原理，比較了采用不同核函數(shù)

4、的支持向量機分類器的分類效果。通過對一般分類器訓練學習過程的分析，本文探討了訓練集選取對分類效果的影響，提出了動態(tài)訓練集的文本分類算法，加強了訓練集對分類器訓練學習過程中所起的作用。 最后，結合文本分類過程和支持向量機方法，設計并實現(xiàn)了一個基于支持向量機的中文文本分類系統(tǒng)。該系統(tǒng)分類效果的評價采用分類問題研究領域普遍采用的查準率、查全率和F測度值等指標。實驗結果表明，該系統(tǒng)的這些評判指標總體上的平均值都很高，具有較好的分類效果。