不平衡小樣本數(shù)據(jù)的特征提取與分類方法研究.pdf

1、近年來(lái),隨著機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等應(yīng)用領(lǐng)域的擴(kuò)展,人們遇到越來(lái)越多的不平衡小樣本數(shù)據(jù)。所謂的不平衡小樣本數(shù)據(jù)是指相對(duì)樣本維度而言,樣本數(shù)目過(guò)少,而且不同類別的樣本數(shù)目及分布相差很多。高維小樣本數(shù)據(jù)給傳統(tǒng)的機(jī)器學(xué)習(xí)算法帶來(lái)很大的挑戰(zhàn),模型建立所需的時(shí)間和空間資源要求很高。此外樣本的不平衡性給傳統(tǒng)模式識(shí)別算法也帶來(lái)了很大的困難。傳統(tǒng)的學(xué)習(xí)算法都是建立在平衡數(shù)據(jù)集的基礎(chǔ)之上的,當(dāng)樣本出現(xiàn)不平衡時(shí),這些學(xué)習(xí)算法的性能往往會(huì)明顯下降。
　　本

2、文主要針對(duì)樣本出現(xiàn)不平衡性和小樣本性的學(xué)習(xí)問(wèn)題展開研究:
　　首先,對(duì)于小樣本數(shù)據(jù)本文采用經(jīng)典的特征提取算法先對(duì)數(shù)據(jù)進(jìn)行特征提取,將維度降低。對(duì)于特征提取算法某些參數(shù)的設(shè)置問(wèn)題,本文摒棄現(xiàn)有的根據(jù)經(jīng)驗(yàn)值設(shè)定的方法,引入粒子群優(yōu)化算法來(lái)實(shí)現(xiàn)對(duì)參數(shù)的自動(dòng)尋優(yōu)。特征提取算法往往有線性、非線性、有監(jiān)督和無(wú)監(jiān)督之分,本文提出在決策級(jí)將不同的特征提取算法進(jìn)行融合,充分利用各特征提取算法的優(yōu)點(diǎn),揚(yáng)長(zhǎng)避短。對(duì)于特征提取算法的評(píng)估方法,本文采用特征

3、提取結(jié)果在支持向量機(jī)分類器上獲得的識(shí)別率作為評(píng)估算法的指標(biāo)。
　　然后,在數(shù)據(jù)層面上對(duì)不平衡數(shù)據(jù)集進(jìn)行平衡化處理,包含對(duì)正例樣本的過(guò)抽樣處理以及對(duì)負(fù)例樣本的欠抽樣處理。利用改進(jìn)的SMOTE算法對(duì)正例樣本進(jìn)行過(guò)抽樣處理,人工注入樣本使得正例樣本的數(shù)目增加。在負(fù)例樣本的欠抽樣處理中,本文將譜聚類算法引入其中,選取負(fù)例樣本的子集以使數(shù)據(jù)集在正負(fù)例樣本的數(shù)目上趨于平衡。
　　最后,在算法層面上對(duì)樣本的不平衡性進(jìn)行處理,通過(guò)引入基于權(quán)

4、重的支持向量機(jī)和AdaBoost算法對(duì)分類算法進(jìn)行改進(jìn)。算法訓(xùn)練出多個(gè)基分類器,然后將多個(gè)基分類器組合成強(qiáng)分類器。對(duì)于不平衡數(shù)據(jù)集上建立的分類器的性能度量指標(biāo),本文不采用通常的識(shí)別率作為算法的性能度量值,而是采用ROC曲線下方的面積AUC值,以兼顧正負(fù)例樣本的分類效果。這樣,通過(guò)數(shù)據(jù)層面和算法層面的雙重處理,就可以應(yīng)用傳統(tǒng)的學(xué)習(xí)方法來(lái)對(duì)不平衡數(shù)據(jù)集進(jìn)行挖掘有用信息并加以分析。此外,處理過(guò)的不平衡小樣本數(shù)據(jù)集能夠利用較少的時(shí)間和空間建立模