基于Mahout分類器的異常流量檢測技術(shù)的研究.pdf

1、近年來，互聯(lián)網(wǎng)帶給人們豐富的共享信息資源，方便了人們的工作與生活，人們越來越離不開網(wǎng)絡(luò)，網(wǎng)絡(luò)在現(xiàn)代人們的生活中扮演者越來越重要的角色。另一方面，很多人針對網(wǎng)絡(luò)進(jìn)行惡意攻擊，從中獲取利益。對于大部分普通網(wǎng)民來說，網(wǎng)絡(luò)環(huán)境日益復(fù)雜，人們不僅需要加強(qiáng)自身保護(hù)意識，更加需要網(wǎng)絡(luò)安全人員對網(wǎng)絡(luò)流量進(jìn)行維護(hù)與監(jiān)管，檢測異常網(wǎng)絡(luò)流量，從而保證網(wǎng)絡(luò)使用者的上網(wǎng)安全。因此，網(wǎng)絡(luò)異常流量檢測技術(shù)具有重大意義，也是文本的主要研究課題。
　　本文針對網(wǎng)絡(luò)

2、中數(shù)據(jù)源多維化的特點，將數(shù)據(jù)源多維數(shù)據(jù)的信息熵投影到不同的分類支撐向量，由于機(jī)器學(xué)習(xí)容易產(chǎn)生過度訓(xùn)練或訓(xùn)練不足這些問題，本文對比EWMA、Entropy、K-means、GMM、SVDD等異常流量檢測方法，選擇支持多維數(shù)據(jù)統(tǒng)計的非監(jiān)督式SVDD分類方法，訓(xùn)練可采用的數(shù)據(jù)集。針對訓(xùn)練分類器成本消耗大與分類檢測效果佳的沖突問題，本文選擇一種異常實時響應(yīng)訓(xùn)練的學(xué)習(xí)模式，只在有異常檢測點加入時，才進(jìn)行重新訓(xùn)練。不僅如此，對于訓(xùn)練數(shù)據(jù)集中異常點的

3、選取，采用貝葉斯網(wǎng)絡(luò)模型推理預(yù)測下一節(jié)點的異常概率，隨即判斷是否將異常點加入到訓(xùn)練集中繼續(xù)訓(xùn)練，以此整體提高異常流量檢測的效率與精度。本文主要針對的問題以及研究的創(chuàng)新點如下：
　?。?）針對研究過程中，異常數(shù)據(jù)集來源困難、數(shù)據(jù)分析過程復(fù)雜的客觀條件，本文選擇大數(shù)據(jù)分布式平臺環(huán)境進(jìn)行數(shù)據(jù)的處理分析。為分析分類器異常檢測能力的表現(xiàn)效果，本文對比EWMA、Entropy、K-means、GMM、SVDD等主流的異常檢測方法，最終實驗選定

4、在多維信息熵構(gòu)建支撐向量基礎(chǔ)上，由SVDD方法對異常流量進(jìn)行檢測，能夠有優(yōu)于其他幾種方法的檢測效果。
　　（2）針對分類器數(shù)據(jù)量、訓(xùn)練地與實際應(yīng)用地點的不同，原始的訓(xùn)練集檢測效果不能很好地檢測新數(shù)據(jù)，且當(dāng)前重新訓(xùn)練所需要的資源消耗量大等等這些問題，本文采用異常實時響應(yīng)訓(xùn)練方法。只有在加入異常點時，才進(jìn)行訓(xùn)練集的重訓(xùn)練，將檢測窗口平行移動至異常點，剔除最開始的檢測點，增加當(dāng)前適用的檢測點。這種方法既能提高訓(xùn)練集的適應(yīng)性與準(zhǔn)確率，還能