交叉覆蓋算法下文本分類的研究.pdf

1、文本自動分類，是將非結構化的文本依據其內容指派到一個或多個預先定義的類別中去的一項技術，近10年來受到了人們越來越多的關注。這主要因為大量機器可讀的電子文本的出現，迫切需要對文本進行有效地分類，以提高查找、閱讀速度的結果。目前盡管己有許多技術和算法用于文本的自動分類，但是，對這些技術和算法本身效力的挖掘還遠遠不夠，仍留有很大的改進空間。另外，還有新的分類方法尚待深入研究，特別是對于中文文本的自動分類，之前相關的研究工作相對較少，有名氣的

2、中文文本分類器更少。 文本分類器對于學習算法和分類的結果都是至關重要的一步。在學習算法和分類系統(tǒng)能夠處理文本之前，文本必須轉換成一種適當的表示形式。這種表示形式要在一定程度上能夠捕獲文本本身的語義內容。依據前面的要求，可以把中文文本分類技術過程描述為：文本數據集的搜集，中文文本的分詞，高維的原始特征空間的降維計算，分類器的選擇，分類結果的評價等。 本文所做工作如下： 1、介紹了文本分類相關概念，對現有文本分類方法

3、進行了介紹； 2、為了從分詞結果中獲取對分類有用的信息，本文中使用不同的特征降維方法：互信息方法、相關系數法、文檔頻率法，及期望交叉熵法對分詞結果進行降維處理，實驗顯示相關系數法對分類最為有效，期望交叉熵與互信息方法稍差，文檔頻率法效果最差； 3、本文還通過實驗，對使用交叉覆蓋算法作為分類器與使用SVM方法作為分類器進行比較，通過比較可以看出，交叉覆蓋算法作為分類器對中文文本進行分類，在適當的維數和特征降維法下，具有較好

4、的分類效果； 本文對中文文本分類進行了一些工作，但在本論文的基礎上，還有需要改進和提高之處。因此，對中文文本分類的進一步研究工作可從如下三個方面展開： 1、本文文本表示模型采用的是向量空間模型，在向量空間模型方面，結合計算語言學，使用概念空間代替詞空間；沒有考慮到漢語詞義之間的影響：中文分詞采用的是中國計算所的ICTCLAS的分詞結果，以后可以進一步研究如何提高分詞的精確度； 2、對交叉覆蓋算法進行改進，提高其分