基于內(nèi)容的垃圾郵件過濾系統(tǒng)研究.pdf

1、隨著電子郵件的普及，垃圾郵件問題日益凸顯，其數(shù)量急劇增長，內(nèi)容千變?nèi)f化，具有破壞性強，傳播速度快，危害范圍廣等特點，已經(jīng)成為全球化公害。如何有效地過濾和治理這些垃圾郵件成為當前的迫切要求?，F(xiàn)有的垃圾郵件過濾技術(shù)主要包括基于規(guī)則的過濾和基于內(nèi)容的過濾兩大類。基于規(guī)則的過濾方法加入的主觀因素較多，抗干擾能力較弱，規(guī)則制定的好壞將直接影響郵件的過濾效果?；趦?nèi)容的過濾作為當前垃圾郵件處理所采用的一種主要技術(shù)手段可以通過文本分類的相關(guān)算法針對郵

2、件內(nèi)容自動尋找規(guī)律，本文主要針對基于內(nèi)容的過濾方法進行相關(guān)研究。
　　 本文從郵件的預(yù)處理、特征選擇、權(quán)重計算和分類器的設(shè)計等方面對如何改善垃圾郵件的過濾性能進行了探索，并對現(xiàn)有的算法在垃圾郵件過濾中存在的問題進行了分析。針對基于內(nèi)容的垃圾郵件過濾算法存在的“維數(shù)災(zāi)難”等問題，預(yù)處理中加入詞頻和文檔頻度過濾，采取雙重特征選擇算法，有效的降低了冗余信息和噪聲數(shù)據(jù)對分類性能的影響。
　　 針對垃圾郵件與正常郵件在語義表述上存

3、在的差異性，本文提出一種基于類別信息的LDA特征選擇及加權(quán)算法Categories-LDA，在不同類型的郵件集中建立各自的生成模型，分別搜尋構(gòu)成各個主題的特征信息。該算法不但利用了LDA 模型基于隱含主題建模的優(yōu)點，而且還有效的克服了由于忽略類別主題差異性所造成的系統(tǒng)過濾性能下降的影響。
　　 本文將反饋學習與隨機森林算法相結(jié)合，繼承了決策樹集成與反饋學習的優(yōu)勢，針對垃圾郵件種類實時變化的特點和客戶群對郵件判別的差異性，實現(xiàn)郵件