基于文本分類技術(shù)的垃圾郵件過濾研究.pdf

1、隨著互聯(lián)網(wǎng)廣告技術(shù)的發(fā)展和E-mail的普及，垃圾郵件廣告越來越嚴重，如何準確過濾垃圾郵件直接影響用戶體驗。本論文是在前人的理論與研究基礎(chǔ)上，系統(tǒng)的學習了垃圾郵件分類的方法，主要分析的重點是樸素貝葉斯分類方法在垃圾郵件過濾上的研究。本文首先從定義、特征以及危害等方面對垃圾郵件進行了一個概述，分析了國內(nèi)外垃圾郵件研究的現(xiàn)狀，介紹了基于信件源以及基于內(nèi)容的兩種垃圾郵件過濾方法。其中基于內(nèi)容統(tǒng)計的樸素貝葉斯分類方法其比較高效、經(jīng)濟并且易于實現(xiàn)

2、的優(yōu)點，而在垃圾郵件過濾的研究中得到了廣泛的應(yīng)用。接著介紹了文本分類的關(guān)鍵技術(shù)，有文本預處理、文本特征選擇、文本表示方法以及文本分類算法。最后用實驗證明本文在傳統(tǒng)的樸素貝葉斯分類的基礎(chǔ)上提出的幾大改進地方使分類性能得到了提高。
　　鑒于保證郵件準確分類的重要性以及數(shù)據(jù)的真實性以及權(quán)威性，本文利用Apache SpamAssassin Project數(shù)據(jù)設(shè)計了五組對比實驗。實驗一用沒有經(jīng)過任何處理的數(shù)據(jù)直接建立伯努利樸素貝葉斯分類模

3、型，由于詞典單詞量大，從而聯(lián)合概率分布計算量大，超出了計算機現(xiàn)有的計算能力，在計算文本被判為某類別的概率的過程中很容易超出浮點數(shù)的范圍，使計算結(jié)果為零，影響分類準確率。故本文優(yōu)化了計算過程，轉(zhuǎn)而計算文本被判為正常郵件概率與被判為垃圾郵件概率之比，將分類正確率從88.3％提升到92.3％。雖然經(jīng)過巧妙的比值計算處理，最大限度的利用了浮點數(shù)的存取范圍，但該概率的比值還是會出現(xiàn)為零和為無窮大的情況，故需要降低文本特征維度。實驗二首先是按照傳統(tǒng)

4、方法去除停用詞，結(jié)果發(fā)現(xiàn)準確率反而降低了，說明有些停用詞對文本分類還是有一定的貢獻的，進而轉(zhuǎn)向特征提取方法。實驗三根據(jù)互信息特征提取方法作出了改進，提出“相對依存度、分類能力、綜合分類能力”等概念，提出另一種分類依據(jù)，并將其與互信息方法進行對比，發(fā)現(xiàn)當都選取一萬左右的特征詞時，準確率從87.8％提高到了96.6％。改進后的方法可以提取出綜合分類能力最大的特征集，但是對于給定的測試郵件，它的分類能力并不是最大的。故本文在此基礎(chǔ)上進行了深入