構(gòu)造性神經(jīng)網(wǎng)絡(luò)的集成分類模型及應(yīng)用

1、安徽大學(xué)碩士學(xué)位論文摘要I摘要摘要神經(jīng)網(wǎng)絡(luò)集成是目前機(jī)器學(xué)習(xí)的熱門研究方向之一，在許多領(lǐng)域有著廣泛的應(yīng)用，如數(shù)據(jù)挖掘、模式識(shí)別、文本分類、預(yù)測(cè)等方面。神經(jīng)網(wǎng)絡(luò)集成通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進(jìn)行合成，可以顯著地提高學(xué)習(xí)系統(tǒng)的泛化能力。它加深了學(xué)者們對(duì)于機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究，并且利于工程技術(shù)人員利用神經(jīng)網(wǎng)絡(luò)技術(shù)解決實(shí)際問(wèn)題。神經(jīng)網(wǎng)絡(luò)集成實(shí)現(xiàn)的方法主要集中在兩個(gè)方面，即怎樣將多個(gè)神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行結(jié)合和如何產(chǎn)生集成中的個(gè)體網(wǎng)絡(luò)。因

2、此要增強(qiáng)神經(jīng)網(wǎng)絡(luò)集成的泛化能力，一方面應(yīng)盡可能提高個(gè)體網(wǎng)絡(luò)的泛化能力，另一方面應(yīng)盡可能增大集成中各網(wǎng)絡(luò)之間的差異?，F(xiàn)在常用的神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)方法都是通過(guò)擾動(dòng)訓(xùn)練數(shù)據(jù)來(lái)獲得差異較大的個(gè)體網(wǎng)絡(luò)，使個(gè)體學(xué)習(xí)器的誤差分布于不同的輸入空間而取得較好效果，其中Bagging和Boosting是目前比較流行的兩種集成學(xué)習(xí)方法。而本文主要討論如何將擾動(dòng)數(shù)據(jù)集和擾動(dòng)輸入屬性結(jié)合起來(lái)，來(lái)生成精度更高且差異度更大的個(gè)體學(xué)習(xí)器，再將這多個(gè)學(xué)習(xí)器構(gòu)建成集成分類模

3、型來(lái)解決分類問(wèn)題。具體的做法是在Bagging方法的基礎(chǔ)上，將特征選擇技術(shù)Relief算法引入集成學(xué)習(xí)模型的構(gòu)建中；采用一種構(gòu)造性的神經(jīng)網(wǎng)絡(luò)即覆蓋算法作為基礎(chǔ)分類器。并且在論文中對(duì)傳統(tǒng)的Relief算法進(jìn)行了改進(jìn)，引入了抽樣選擇的思想。為了驗(yàn)證所提出的集成分類模型的分類能力，論文中選擇了UCI上的一些公共數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，本文提出的方法能有效提高普通覆蓋集成的泛化能力和分類精度。最后本文將所提出的方法應(yīng)用到手寫體的0到9的數(shù)字