基于粗糙集理論-神經(jīng)網(wǎng)絡(luò)集成的數(shù)據(jù)流分類方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、通信技術(shù)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,許多信息系統(tǒng)在運(yùn)行過程中都會產(chǎn)生大量的流式數(shù)據(jù)。典型的例子包括電信呼叫數(shù)據(jù)、股票交易數(shù)據(jù)、互聯(lián)網(wǎng)通信數(shù)據(jù)、搜索引擎數(shù)據(jù)等。這種新的數(shù)據(jù)類型——數(shù)據(jù)流,是一種實(shí)時(shí)的、連續(xù)到達(dá)且速度快、規(guī)模宏大的數(shù)據(jù)有序序列。
　　數(shù)據(jù)流上的分類就是通過單遍掃描數(shù)據(jù)流,提出一個(gè)分類模型或函數(shù),并利用該模型將數(shù)據(jù)對象映射到某一個(gè)給定的類別中。對數(shù)據(jù)流數(shù)據(jù)進(jìn)行分類時(shí)主要的困難在于:數(shù)據(jù)包含大量的冗余屬性,過

2、多的屬性會影響模型的構(gòu)建速度和分類精度;同時(shí),由于數(shù)據(jù)連續(xù)不斷地持續(xù)到達(dá),分類模型必須隨著數(shù)據(jù)的快速流入而實(shí)現(xiàn)高效地更新,從而達(dá)到分類模型能夠正確地映射當(dāng)前數(shù)據(jù)中的分類信息的目的。數(shù)據(jù)流數(shù)據(jù)的特殊性,決定了對數(shù)據(jù)流分類所采用的方法必須有別于傳統(tǒng)的數(shù)據(jù)挖掘分類方法,同時(shí)分類方法和技術(shù)在不同的學(xué)科領(lǐng)域都有著非常廣闊的應(yīng)用前景,因此,研究穩(wěn)定的、快速的、準(zhǔn)確的數(shù)據(jù)流分類方法具有巨大的理論價(jià)值和應(yīng)用價(jià)值。
　　本文將粗糙集理論和神經(jīng)網(wǎng)絡(luò)方

3、法相結(jié)合,充分發(fā)揮了二者的優(yōu)勢互補(bǔ)性來應(yīng)對數(shù)據(jù)流的高維性、數(shù)據(jù)量大等特點(diǎn)。粗糙集理論具有較強(qiáng)的不確定、不完整信息處理能力,并且只通過數(shù)據(jù)本身而無需任何多余的信息,就可以獲得數(shù)據(jù)之間的相關(guān)性并約簡屬性個(gè)數(shù);神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性映射能力,在處理非線性模式時(shí)其精確度優(yōu)于其他的數(shù)據(jù)挖掘方法,尤其適合處理大數(shù)據(jù)集數(shù)據(jù),并且具有良好的容錯(cuò)性、自適應(yīng)性和抗噪聲干擾的能力。將二者的優(yōu)勢充分結(jié)合起來,能夠有效地降低神經(jīng)網(wǎng)絡(luò)輸入端的節(jié)點(diǎn)數(shù),極大地簡化神

4、經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu),從而提高神經(jīng)網(wǎng)絡(luò)模型的分類預(yù)測精度。
　　另外,本文采用了滑動(dòng)窗口技術(shù)來應(yīng)對數(shù)據(jù)流流速快的問題,將數(shù)據(jù)流劃分成若干個(gè)大小相同的數(shù)據(jù)塊,每個(gè)數(shù)據(jù)塊訓(xùn)練一個(gè)個(gè)體分類器,多個(gè)個(gè)體分類器組成一個(gè)集成分類器,利用集成方法能夠有效地降低模型的泛化誤差;并且,個(gè)體分類器的訓(xùn)練速度一般要高于單一模型的更新速度,也更加適合處理高速產(chǎn)生的數(shù)據(jù)流。
　　根據(jù)粗糙集理論、神經(jīng)網(wǎng)絡(luò)方法和集成學(xué)習(xí)理論,本文提出了一種基于粗糙集約簡、神