面向不平衡數(shù)據(jù)的特征選擇與半監(jiān)督分類算法研究.pdf

1、不平衡數(shù)據(jù)在現(xiàn)實世界中廣泛存在。由于人們更為關(guān)注的是稀有的小類，所以選出更有利于識別小類的特征是很有必要的。而且在很多實際應(yīng)用當(dāng)中，獲取標(biāo)記樣本比較困難，因此如何有效利用少量的標(biāo)記樣本和大量的未標(biāo)記樣本是很有意義的。
　　本文主要對不平衡數(shù)據(jù)的特征選擇和標(biāo)記樣本少的不平衡數(shù)據(jù)分類算法展開研究。研究了基于ReliefF和聚類的不平衡數(shù)據(jù)過濾型特征選擇方法、基于遺傳算法的不平衡數(shù)據(jù)封裝型特征選擇方法、基于證據(jù)理論和Biased-SVM

2、的不平衡數(shù)據(jù)半監(jiān)督分類算法、基于遺傳算法和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督特征選擇方法。主要取得了以下四個方面的研究成果:
　　第一部分，針對無線電信號識別問題，首先提出一種基于ReliefF和聚類的特征選擇方法。在此基礎(chǔ)上，借鑒Bagging算法，進(jìn)而提出一種基于ReliefF和聚類的不平衡數(shù)據(jù)特征選擇方法。該方法采用Bagging算法從大類樣本集中隨機抽取多個樣本子集，使每個抽取的樣本子集的樣本數(shù)量與小類樣本數(shù)量一致，然

3、后將抽取的樣本子集分別與小類樣本組成多個新的訓(xùn)練集，再在這些新的訓(xùn)練集上采用基于ReliefF和聚類的特征選擇方法進(jìn)行特征選擇得到多個特征子集，最后通過集成投票的方式得到最終的特征子集。實驗結(jié)果顯示，提出的方法在地空通信信號識別中表現(xiàn)出良好的性能，不僅有效地降低了特征維數(shù)，而且提高了干擾信號的識別率。
　　第二部分，首先針對兩類不平衡數(shù)據(jù)提出一種基于遺傳算法的特征選擇方法。該方法改進(jìn)了遺傳算法中的適應(yīng)度函數(shù)，并采用分類性能較好的S

4、VM作為分類器。該方法首先在公共數(shù)據(jù)庫里的幾個數(shù)據(jù)集上進(jìn)行試驗，結(jié)果顯示該方法優(yōu)于傳統(tǒng)的基于遺傳算法的特征選擇方法，它不僅有效地縮減了特征維數(shù)，而且提高了小類的識別率。最后將其應(yīng)用到地空通信信號識別當(dāng)中，表現(xiàn)出良好的性能。然后將兩類推廣到多類，針對多類不平衡數(shù)據(jù)提出一種基于遺傳算法的特征選擇方法。該方法通過采用多類不平衡數(shù)據(jù)評價準(zhǔn)則EG-mean代替總的分類準(zhǔn)確率以改進(jìn)遺傳算法中的適應(yīng)度函數(shù)。在一些UCI數(shù)據(jù)集上的實驗結(jié)果表明，與傳統(tǒng)的

5、基于遺傳算法的特征選擇方法相比，提出的方法在特征子集大小和小類識別率兩個方面均有一定的優(yōu)勢。
　　第三部分，針對標(biāo)記樣本少的不平衡數(shù)據(jù)，首先提出了一種基于Biased-SVM的不平衡半監(jiān)督分類算法。該方法首先利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，然后用訓(xùn)練好的Biased-SVM模型為未標(biāo)記樣本加上標(biāo)簽，再把新標(biāo)記樣本加入到初始標(biāo)記樣本集中，重新訓(xùn)練Biased-SVM模型，最后在測試集上進(jìn)行測試。然后為了提高標(biāo)注的穩(wěn)

6、定性，引入證據(jù)理論，提出一種基于證據(jù)理論和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督分類算法。該算法先采用隨機子空間法得到不同的視圖，然后在各個視圖上利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，并將其應(yīng)用于未標(biāo)記樣本集，從而得到未標(biāo)記樣本的類概率輸出，最后引入證據(jù)理論進(jìn)行信息融合來提高標(biāo)注的穩(wěn)定性。通過在一些公共數(shù)據(jù)集上的實驗結(jié)果表明，與其他方法相比，在不同的標(biāo)記樣本率下，所提方法均具有較高的數(shù)據(jù)集整體的G-mean值和小類的F-va

7、lue值，并具有較高的穩(wěn)定性。
　　第四部分，針對標(biāo)記樣本缺乏的高維不平衡數(shù)據(jù)，提出了一種基于遺傳算法和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督特征選擇算法。該方法首先利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，然后用訓(xùn)練好的Biased-SVM模型為未標(biāo)記樣本加上標(biāo)簽，再把新標(biāo)記樣本加入到初始標(biāo)記樣本集中得到新標(biāo)記樣本集，最后再采用基于遺傳算法的不平衡數(shù)據(jù)特征選擇方法選出最優(yōu)的特征子集。在公共數(shù)據(jù)集上的實驗結(jié)果表明，所提方法