基于貪婪優(yōu)化和投影變換的集成分類器算法研究.pdf

1、隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展,人們對(duì)機(jī)器學(xué)習(xí)的性能精度要求越來越高,同時(shí)需要處理的問題也越來越復(fù)雜,這意味著單一的學(xué)習(xí)模式已經(jīng)不能完全滿足人們對(duì)更高性能的需求。因此,集成學(xué)習(xí)作為一種新的機(jī)器學(xué)習(xí)算法被提出,即通過結(jié)合多個(gè)學(xué)習(xí)器來改善單個(gè)學(xué)習(xí)器的性能。由于集成學(xué)習(xí)能夠明顯地改善單個(gè)學(xué)習(xí)器的性能,因此從20世紀(jì)90年代起,集成學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn),而分類器集成相當(dāng)于集成學(xué)習(xí)在有監(jiān)督分類中的一個(gè)典型應(yīng)用,其通過結(jié)合多個(gè)分類器的輸出來

2、改善單個(gè)分類器的性能。目前,分類器集成已被成功應(yīng)用到人臉檢測(cè)、遙感數(shù)據(jù)分類、醫(yī)學(xué)圖像處理、網(wǎng)絡(luò)數(shù)據(jù)處理等眾多實(shí)際應(yīng)用問題中。
　　對(duì)于分類器集成,個(gè)體分類器間的差異性和個(gè)體分類器自身的準(zhǔn)確率是決定集成系統(tǒng)泛化誤差的兩個(gè)重要因素。簡(jiǎn)言之,同時(shí)增強(qiáng)個(gè)體間差異性和提高個(gè)體自身性能能降低集成系統(tǒng)的泛化誤差。然而研究表明:在一個(gè)集成系統(tǒng)中,增強(qiáng)個(gè)體間差異性是以降低個(gè)體自身性能為代價(jià)的。這意味著平衡差異性和準(zhǔn)確率兩個(gè)因素不僅是構(gòu)造集成算法的出

3、發(fā)點(diǎn)也是難點(diǎn)。因此,為了構(gòu)造一種有效的分類器集成系統(tǒng),本文圍繞著差異性、準(zhǔn)確率和集成誤差三個(gè)因素對(duì)如何結(jié)合多個(gè)分類器的輸出進(jìn)行了深入的研究,提出了幾種分類器集成算法,主要的研究成果有:
　　1.為了通過平衡差異性和準(zhǔn)確率來提高集成性能,提出了一種貪婪優(yōu)化選擇集成算法。該算法同時(shí)從差異性和準(zhǔn)確率兩個(gè)因素出發(fā),采用匹配追蹤算法來尋找集成系統(tǒng)中個(gè)體分類器的最優(yōu)組合。受啟發(fā)于匹配追蹤算法的原理,將集成系統(tǒng)中個(gè)體分類器的輸出看作為基字典中的

4、基函數(shù),同時(shí)將正確標(biāo)記看作為優(yōu)化的目標(biāo)值。然后,通過最小化基函數(shù)的線性組合和目標(biāo)值之間的殘差尋找到個(gè)體分類器的最優(yōu)加權(quán)向量。理論分析表明:在每次迭代中,該算法能夠通過給予相似的個(gè)體分類器接近零值的系數(shù)來去除該個(gè)體,同時(shí)在初次迭代中能夠選擇性能較好的個(gè)體分類器,并賦予其較大權(quán)重。實(shí)驗(yàn)結(jié)果表明該章提出的貪婪優(yōu)化選擇集成算法的性能優(yōu)于其他集成算法。
　　2.針對(duì)差異性和準(zhǔn)確率兩個(gè)因素,提出了一種變換選擇分類器集成算法。該算法分別從差異性

5、和準(zhǔn)確率兩個(gè)角度出發(fā)有效地平衡了兩個(gè)因素,同時(shí)避免了平衡兩個(gè)因素產(chǎn)生的困難。首先,為了增強(qiáng)集成系統(tǒng)的差異性,對(duì)個(gè)體分類器進(jìn)行投影變換,獲得新的個(gè)體分類器;然后,為了保證變換后集成系統(tǒng)中個(gè)體的性能,設(shè)計(jì)了一種基于兩種性能評(píng)判準(zhǔn)則的選擇策略;最后,結(jié)合被選擇的變換個(gè)體分類器的輸出。實(shí)驗(yàn)結(jié)果表明該算法能夠通過變換和選擇有效地平衡差異性和準(zhǔn)確率,從而獲得更好的集成分類性能。
　　3.為了避免基于差異性和準(zhǔn)確率構(gòu)造集成算法的困難,提出了一種

6、基于二次型最大化的加權(quán)分類器集成算法。從集成分類器的最終目的出發(fā),該算法直接對(duì)集成誤差進(jìn)行分析,代替了分析差異性和準(zhǔn)確率兩個(gè)因素。通過最小化集成系統(tǒng)的誤差,尋找到對(duì)應(yīng)集成個(gè)體分類器的最優(yōu)加權(quán)向量。在該算法中,基于兩個(gè)約束條件構(gòu)造了最小化集成誤差的目標(biāo)函數(shù),并通過引入一個(gè)已知加權(quán)向量將最小化目標(biāo)函數(shù)的問題轉(zhuǎn)換為最大化二次型的問題。理論分析表明:二次型值越大,使用其對(duì)應(yīng)的加權(quán)向量獲得的集成誤差比已知加權(quán)向量獲得的集成誤差更小。實(shí)驗(yàn)結(jié)果表明該

7、算法獲得的集成分類性能優(yōu)于其他加權(quán)集成算法。
　　4.基于加權(quán)分類器集成框架出發(fā),提出一種基于線性變換的集成算法。受啟發(fā)于線性變換的原理,加權(quán)分類器集成的過程被認(rèn)為相當(dāng)于個(gè)體分類器線性變換的過程。因此,將線性變換的思想引入集成學(xué)習(xí)中,采用線性變換算法來尋找集成個(gè)體的最優(yōu)加權(quán)向量。由于線性變換方法和集成學(xué)習(xí)出發(fā)點(diǎn)不同,因此針對(duì)集成學(xué)習(xí)的最終目的,使用正確標(biāo)記代替線性變換算法中的均值來構(gòu)造一個(gè)表示集成個(gè)體的相關(guān)矩陣,并且基于該相關(guān)矩陣

8、獲得了一個(gè)優(yōu)化目標(biāo)函數(shù),并通過最大化該目標(biāo)函數(shù)獲得最優(yōu)加權(quán)向量。理論分析表明:該算法構(gòu)造的目標(biāo)函數(shù)相當(dāng)于個(gè)體分類器的準(zhǔn)確率的加權(quán)和,目標(biāo)函數(shù)值越大,則整個(gè)集成系統(tǒng)的準(zhǔn)確率加權(quán)和就越大。實(shí)驗(yàn)結(jié)果表明本章算法相比其他加權(quán)算法能獲得更好的分類性能。
　　5.為了改善集成系統(tǒng)的性能,提出一種基于0-1矩陣分解的加權(quán)分類器集成算法。該算法使用0-1矩陣來表示集成系統(tǒng)的個(gè)體分類器,并通過對(duì)0-1矩陣進(jìn)行奇異值分解獲得集成個(gè)體的加權(quán)向量。根據(jù)分

9、析可得:0-1矩陣的最大奇異值對(duì)應(yīng)的右奇異向量的平方作為該算法的最優(yōu)加權(quán)向量。理論表明,通過對(duì)0-1矩陣進(jìn)行奇異值分解,其獲得的奇異值越大,則對(duì)應(yīng)該奇異值的加權(quán)向量獲得的集成分類誤差就越小。實(shí)驗(yàn)結(jié)果表明該算法相比其他加權(quán)算法即簡(jiǎn)單又有效。
　　6.為了增強(qiáng)集成系統(tǒng)的差異性,提出一種異構(gòu)分類器集成算法。該算法采用旋轉(zhuǎn)森林策略結(jié)合兩種不同模型分類器。在該算法中,首先采用旋轉(zhuǎn)森林對(duì)原始樣本集進(jìn)行劃分變換,獲得新的樣本集;然后通過特定的比