基于統(tǒng)計(jì)模型的垃圾郵件過(guò)濾技術(shù)研究.pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之一。但電子郵件給用戶帶來(lái)便利的同時(shí)，也遭到了一些人的濫用，結(jié)果就是有大量的垃圾郵件充斥Internet，給用戶和ISP造成了巨大的損失。因此，反垃圾郵件成為Internet目前亟待解決的問(wèn)題。 目前常用的反垃圾郵件技術(shù)主要有：基于信件源的技術(shù)和基于內(nèi)容的技術(shù)兩類。其中基于內(nèi)容的技術(shù)主要是將數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的理論引入到垃圾郵件內(nèi)容過(guò)濾中來(lái)，又可分為基于規(guī)則和基于統(tǒng)計(jì)兩類。在眾多

2、基于統(tǒng)計(jì)的方法中，樸素貝葉斯(Naive Bayes，NB)是一種簡(jiǎn)單的機(jī)器學(xué)習(xí)方法，它通過(guò)區(qū)分垃圾郵件(Spam)和正常郵件(Ham)的特征構(gòu)建統(tǒng)計(jì)模型進(jìn)行自學(xué)習(xí)。在新郵件到來(lái)時(shí)，由分類器根據(jù)訓(xùn)練學(xué)習(xí)的統(tǒng)計(jì)規(guī)律預(yù)測(cè)新郵件為垃圾郵件或正常郵件的可能性，將郵件歸入可能性最大的那一類。NB以其運(yùn)算速度快、易于實(shí)現(xiàn)等特點(diǎn)在垃圾郵件過(guò)濾中得到了廣泛的應(yīng)用。 NB垃圾郵件過(guò)濾模型(NBF)中的關(guān)鍵問(wèn)題有：郵件文本的形式化描述，特征詞選取方

3、法，概率計(jì)算模型等。本文針對(duì)這些問(wèn)題進(jìn)行了深入的研究，在分析傳統(tǒng)方法的基礎(chǔ)上，對(duì)其進(jìn)行了有效的改進(jìn)，并做出了一些大膽的嘗試。本文主要研究了以下內(nèi)容： 1)概述了垃圾郵件過(guò)濾問(wèn)題的研究現(xiàn)狀，包括垃圾郵件的定義、危害、特征分析以及常用的過(guò)濾技術(shù)； 2)介紹并詳細(xì)分析了通用的郵件語(yǔ)料庫(kù)以及評(píng)價(jià)體系； 3)詳細(xì)分析了傳統(tǒng)的NBF模型的實(shí)現(xiàn)方法及關(guān)鍵問(wèn)題； 4)將文本分類中常用的特征詞方法引入NBF模型中，綜合分析

4、各種方法的特點(diǎn)，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)在Ling-Spam語(yǔ)料上采用CHI方法能使NBF過(guò)濾效果最優(yōu)； 5)針對(duì)期望交叉熵(ECE)特征詞選取方法的不足，提出了改進(jìn)的期望交叉熵(AECE)選取方法； 6)綜合分析了NBF中現(xiàn)有的概率計(jì)算模型，通過(guò)實(shí)驗(yàn)比較，選出了最優(yōu)計(jì)算模型，在計(jì)算模型的最優(yōu)選擇和特征詞選取方法優(yōu)化的基礎(chǔ)上，提出了在分類時(shí)通過(guò)特征詞加權(quán)的方法，提高過(guò)濾精度，從而實(shí)現(xiàn)了改進(jìn)Naive Bayes的垃圾郵件過(guò)濾模型(A