基于數(shù)據(jù)流的相關(guān)挖掘方法研究.pdf

1、科技的進(jìn)步使得數(shù)據(jù)的產(chǎn)生和搜集更加容易，如何從大量數(shù)據(jù)中獲取有用的信息，以指導(dǎo)人類的某些生產(chǎn)過程和行為是數(shù)據(jù)分析領(lǐng)域的重要研究課題。作為數(shù)據(jù)分析的一種有效手段，數(shù)據(jù)挖掘技術(shù)能夠發(fā)現(xiàn)隱含在大量數(shù)據(jù)中的有趣知識，而數(shù)據(jù)流的出現(xiàn)給相關(guān)處理技術(shù)提出了更高的要求。數(shù)據(jù)流具有流動性、無限性和高速性等一系列不同于傳統(tǒng)數(shù)據(jù)的新特點，這要求相關(guān)的挖掘算法必須是高速增量的，并且能夠利用有限的內(nèi)存在一定誤差范圍內(nèi)得到有效的挖掘結(jié)果。
　　本文針對數(shù)據(jù)流

2、分析處理中的幾個基本問題，在廣泛查閱國內(nèi)外文獻(xiàn)的基礎(chǔ)上進(jìn)行了研究和分析。主要內(nèi)容集中在以下兩點。
　　首先，針對數(shù)據(jù)流環(huán)境，提出了一種有效的最大頻繁模式挖掘算法DSM-Miner。算法中使用事務(wù)滑動窗口來指定每次處理的事務(wù)個數(shù)，并以衰減方式對新舊事務(wù)加以區(qū)別和對待，同時，在改進(jìn)經(jīng)典FP-Tree結(jié)構(gòu)的基礎(chǔ)上提出了一種滑動窗口最大頻繁模式樹SWM-Tree，并通過動態(tài)更新SWM-Tree對模式進(jìn)行增量存儲與維護。在最大頻繁模式挖掘過

3、程中采用了以對應(yīng)節(jié)點為根的枚舉樹作為搜索空間，加之適當(dāng)?shù)募糁臀豁椊M運算方式，以及“深度優(yōu)先”搜索策略。通過多個不同數(shù)據(jù)集下的測試，證明了DSM-Miner算法在時間復(fù)雜度、空間復(fù)雜度以及可擴展性這三個方面的有效性。
　　其次，提出了一種基于密度網(wǎng)格的數(shù)據(jù)流聚類算法DSCBDG。DSCBDG借鑒了經(jīng)典算法CluStream的兩層架構(gòu)，將聚類過程劃分成在線和離線兩個子過程。在線部分采用密度網(wǎng)格實時維護數(shù)據(jù)流概要信息，利用動態(tài)劃分網(wǎng)格