文本分類中特征提取和特征加權(quán)方法研究.pdf

1、隨著近年來互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的飛速發(fā)展，人們可獲取的數(shù)據(jù)量迅速增長。如何快速、準確、全面地從浩瀚的信息資源中尋找到所要的狹小領(lǐng)域內(nèi)的相關(guān)信息內(nèi)容，已經(jīng)成為了一項十分有意義的課題。文本分類技術(shù)作為解決這一問題的關(guān)鍵技術(shù)之一，也成為了研究的熱點。
　　 文本分類是一個復雜的系統(tǒng)工程，一般包括文本預處理、特征降維、特征加權(quán)、分類器訓練和分類器性能評估等幾個過程。本文在對這些過程進行詳細了解和研究的基礎(chǔ)之上，重點探討了特征降維和特征加

2、權(quán)過程。
　　 對高維的特征集進行降維是文本分類過程中的一個重要環(huán)節(jié)，它不僅可以提高分類器的速度，節(jié)省存儲空間，還能夠過濾一些無關(guān)屬性，減少無關(guān)信息對文本分類過程的干擾，從而提高文本分類的精度和防止過擬合。特征降維可以分為兩類：特征抽取和特征提取。特征提取因其方法簡單、計算速度快，適合用來處理大規(guī)模的文本數(shù)據(jù)，在文本分類中得到了廣泛的應用。本文詳細研究了目前常用的特征提取方法，包括文檔頻數(shù)、互信息、信息增益、期望交叉熵、統(tǒng)計量和

3、文本證據(jù)權(quán)。本文分析了這些方法的各自的特點，針對這些方法的不足之處，結(jié)合類間集中度、類內(nèi)分散度和類內(nèi)平均頻度，提出了一種新的特征提取方法。該方法突出了特征與文本類別的正相關(guān)關(guān)系，避免了考慮負相關(guān)情況所帶來的干擾，綜合考慮了特征和類別之間的聯(lián)系，以及特征在類內(nèi)出現(xiàn)的平均頻度，是一種簡單有效的特征提取方法。
　　 特征加權(quán)過程，能夠改善文本集合在向量空間中的分布狀態(tài)，使得同類文本的空間結(jié)構(gòu)更加緊湊，異類文本的空間結(jié)構(gòu)更加松散，從而簡

4、化了從文本到類別的映射關(guān)系，有利于提高文本分類器的分類性能。本文研究了經(jīng)典的特征加權(quán)方法——TF-IDF，分析了它由于未考慮特征項在類間和類內(nèi)的分布情況而導致對稀有特征賦予較大權(quán)值，而對類別區(qū)分貢獻大的特征賦予較小權(quán)值的不足之處。進而結(jié)合了類間集中度、類內(nèi)分散度，提出一種TF-IDF公式的改進形式，來彌補原始TF-IDF方法的缺陷。
　　 本文在中文文本分類實驗平臺上，通過多組對比實驗來考察本文提出的新的特征提取方法和改進的TF