維數(shù)約簡研究及其在特征提取中的應用.pdf

1、面對日益增長的海量數(shù)據(jù),人們越來越多地依賴計算機智能化地從數(shù)據(jù)中得到問題解決所需要的有用信息。作為智能化數(shù)據(jù)分析的重要手段,維數(shù)約簡技術(shù)不僅有效減低了處理過程的計算復雜度,也顯著提高了數(shù)據(jù)分析的準確性和有效性。維數(shù)約簡技術(shù)廣泛應用于模式識別和計算機視覺領(lǐng)域,其中基于維數(shù)約簡的特征提取已成為解決諸多相關(guān)問題的關(guān)鍵因素。盡管關(guān)于維數(shù)約簡的研究已取得豐富的成果,但當前數(shù)據(jù)呈現(xiàn)出的高維數(shù)和多模態(tài)特點帶來了新的挑戰(zhàn)。在人臉圖像識別、視頻序列分析、

2、文本與圖像檢索等實際應用的驅(qū)動下,維數(shù)約簡技術(shù)通過對現(xiàn)有方法進行完善或探索新的理論方法獲得了進一步的發(fā)展。
　　 本文立足于當前的數(shù)據(jù)形勢,深入研究了關(guān)于向量數(shù)據(jù)和高階數(shù)據(jù)的維數(shù)約簡技術(shù)及其在特征提取中的應用問題。作為維數(shù)約簡研究的一些新成果,本文提出的算法在數(shù)據(jù)可視化和人臉識別中得到了較好的應用。流形嵌入是目前非監(jiān)督向量數(shù)據(jù)降維的研究熱點,在探索數(shù)據(jù)的潛在結(jié)構(gòu)上該方法具有優(yōu)勢。然而流形嵌入方法無法獲得數(shù)據(jù)空間到低維特征空間的顯

3、式映射關(guān)系,故難于對新數(shù)據(jù)進行維數(shù)約簡。針對這個問題,本文提出了面向流形的隨機近鄰投影(MSNP)用于非監(jiān)督特征提取。MSNP算法在隨機近鄰嵌入(SNE)算法的啟發(fā)下提出,基本想法是改善SNE算法的非線性流形展開能力和用顯式的線性投影近似流形嵌入的非線性映射以適于特征提取任務。
　　 本文分析了SNE算法的不足,在以下三個方面進行了改進和完善：⑴提出在數(shù)據(jù)空間中用測地線距離代替歐氏距離構(gòu)建隨機近鄰選擇概率,從而提高了描述數(shù)據(jù)相似

4、關(guān)系的準確性。⑵提出在低維特征空間使用柯西分布代替學生t分布構(gòu)建隨機近鄰選擇概率,以增強算法對數(shù)據(jù)的適應性。⑶在近鄰概率分布保持的原則下引入線性投影得解決了新樣本的維數(shù)約簡問題,同時基于共軛梯度的迭代解法簡明直觀并具有比SNE更快的收斂速度。本文通過數(shù)據(jù)可視化、人臉識別和掌紋識別實驗考察了MSNP的算法性能,包括投影基的性質(zhì)、算法收斂性和特征提取能力。實驗結(jié)果證明本文所提出的MSNP算法是一種有效的非監(jiān)督向量數(shù)據(jù)降維方法,具有挖掘數(shù)據(jù)復

5、雜模式的能力。在監(jiān)督化向量數(shù)據(jù)降維方面,局部化線性鑒別分析方法考慮了數(shù)據(jù)的局部結(jié)構(gòu)信息,提取鑒別特征的能力強于傳統(tǒng)的全局線性鑒別方法。經(jīng)過深入研究,本文發(fā)現(xiàn)已有的局部化線性鑒別方法普遍存在模型參數(shù)多且不易設置的問題。針對此問題,本文對局部線性鑒別分析的自適應問題進行了探索研究。
　　 本文提出了由同類局部近鄰樣本確定的局部鄰域概念,其中的異類近鄰樣本能夠自動被確定。在新的局部鄰域內(nèi),同類和異類樣本的分布反映了數(shù)據(jù)集不同局部的數(shù)據(jù)

6、特性。據(jù)此,本文發(fā)展出了一種自適應的局部線性鑒別方法。該方法采用差分鑒別模型,模型中反映同類樣本和異類樣本權(quán)重的參數(shù)由局部近鄰的特性自動設置。由于只需要同類近鄰樣本數(shù)這一個參數(shù),本文提出的算法大大提高了局部線性鑒別分析在特征提取上的可用性。通過對人臉識別實驗結(jié)果的分析,本文發(fā)現(xiàn)與已有的局部線性鑒別算法相比,所提出的自適應算法多數(shù)情況下能提升所得特征的鑒別能力,即便在訓練數(shù)據(jù)極端少的情況下也取得了與已有方法相當?shù)淖R別效果。對于如圖像和視頻

7、這一類的高階數(shù)據(jù),近幾年興起的張量化維數(shù)約簡方法基于數(shù)據(jù)的張量模型利用多重線性投影以獲得數(shù)據(jù)的線性結(jié)構(gòu)。盡管也出現(xiàn)了如張量LPP和張量NPE這樣的方法試圖獲取張量數(shù)據(jù)的非線性結(jié)構(gòu)信息,但基于多重線性投影的降維方式導致非線性結(jié)構(gòu)信息在降維過程中不可避免地遭到損失。本文從張量數(shù)據(jù)采樣自低維非線性流形的假設出發(fā),提出了一種直接獲得張量數(shù)據(jù)的低維嵌入(即參數(shù)化坐標)的非監(jiān)督降維算法。該算法利用局部秩一張量投影所得到的低維向量來刻畫張量數(shù)據(jù)的局部

8、線性結(jié)構(gòu),然后在局部坐標全局化排列的原則下由局部仿射變換得到張量的全局性低維表示。由于維數(shù)約簡過程依賴于一個非線性映射,本文提出的算法能有效挖掘張量數(shù)據(jù)的非線性結(jié)構(gòu)。
　　 本文基于數(shù)值插值方法給出了張量嵌入的一種泛化方案。數(shù)據(jù)可視化的實驗結(jié)果表明,本文提出的張量嵌入方法能有效發(fā)現(xiàn)張量數(shù)據(jù)流形的潛在結(jié)構(gòu),而人臉圖像識別上的實驗結(jié)果證明所提算法經(jīng)過泛化擴展后能從張量數(shù)據(jù)中提取出有效的模式特征。針對張量數(shù)據(jù)的監(jiān)督化特征提取問題,提出

9、了一種新的張量化降維算法一“局部鑒別化正交秩-張量投影”(LDOROTP)。該算法的目標是從張量數(shù)據(jù)中提取出緊湊的特征并同時賦予特征相當?shù)蔫b別能力。LDOROTP算法通過正交秩一張量投影獲得張量數(shù)據(jù)的向量形式的特征,并通過局部鑒別分析求取最優(yōu)的投影張量基。與已有的算法相比,本文所提出的算法創(chuàng)新點在于：⑴局部鑒別分析采用所有的同類樣本和適當數(shù)量的異類近鄰樣本;⑵在局部鄰接圖中引入新的加權(quán)函數(shù)對局部鑒別信息進行編碼。LDOROTP算法的目標