文本分類特征選擇與分類算法的改進(jìn).pdf

1、文本分類是數(shù)據(jù)挖掘中一個(gè)常見的研究熱點(diǎn)方向，K-最近鄰分類方法是一種用實(shí)例解決問(wèn)題的分類方法，在向量空間模型下，是一種比較好的文本分類方法。其主要步驟有：文本預(yù)處理，特征選擇（計(jì)算特征詞的權(quán)重和選擇特征詞），表示文本的特征模型的建立，訓(xùn)練分類器，用分類器進(jìn)行分類。其中特征選擇是文本分類中最重要的，能否利用特征選擇選出合適的特征詞對(duì)分類的效果有重要影響。
　　能否利用特征選擇選出合適的特征詞會(huì)直接影響分類的效率和效果。許多研究表明，

2、互信息特征選擇方法是很好的特征選擇度量算法之一。任意兩個(gè)隨機(jī)變量的統(tǒng)計(jì)相關(guān)性可以用互信息是加以衡量。在文本分類中，互信息特征選擇存在以下三點(diǎn)不足:(l)只考慮了特征詞出現(xiàn)的文檔頻率，即特征詞在幾篇文檔中出現(xiàn)過(guò)，而沒有考慮特征詞在文本中出現(xiàn)的頻度，即特征詞出現(xiàn)了多少次。(2)互信息方法沒有考慮特征詞之間的統(tǒng)計(jì)關(guān)聯(lián)性，只考慮了特征詞與類別之間的統(tǒng)計(jì)關(guān)聯(lián)性。(3)文本訓(xùn)練集中各個(gè)類別中的文本數(shù)量會(huì)影響對(duì)計(jì)算特征詞互信息，但這點(diǎn)沒有想辦法解決。

3、
　　如上所述互信息方法的缺點(diǎn)，針對(duì)以上不足，本文通過(guò)引入最小特征冗余度量法，加入特征類頻度和特征類內(nèi)分散度兩個(gè)參數(shù)，同時(shí)在計(jì)算特征詞文檔頻時(shí)設(shè)置其在文本中需要出現(xiàn)的最小詞頻，提出了一種基于特征詞詞頻的互信息特征選擇方法。
　　此外，K-最近鄰分類算法中如何確定合適的K值以達(dá)到最佳分類效果，采取預(yù)先確定固定的K值的算法有著明顯的缺陷，它沒考慮到訓(xùn)練文本集合各個(gè)類別的文檔數(shù)目對(duì) K值選取會(huì)產(chǎn)生影響，如果 K值選擇太大，在選擇

4、K個(gè)近鄰的時(shí)候，容易使分類結(jié)果趨向于含有文檔數(shù)較多的類別，分類效果不好；而如果 K值選擇太小，得到的相近文檔數(shù)太少，會(huì)使分類精度降低，而且會(huì)放大噪聲數(shù)據(jù)的干擾作用。
　　針對(duì) K-最近鄰分類算法采用固定 K值的缺陷，本文提出一種動(dòng)態(tài)獲取K值的策略，實(shí)驗(yàn)表明，動(dòng)態(tài)獲取K值的K-最近鄰分類算法具有較高分類性能。本文將基于文本詞頻的互信息特征選擇算法運(yùn)用到動(dòng)態(tài)獲取K值的K-最近鄰分類算法中，在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了特征提取算法的改進(jìn)與