基于稀疏時空特征的人體行為識別研究.pdf

1、人體行為識別是計(jì)算機(jī)視覺研究熱點(diǎn)之一，同時也是實(shí)現(xiàn)人工智能的重要手段，在運(yùn)動分析、智能視頻監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)、醫(yī)療看護(hù)等領(lǐng)域都具有十分廣泛的應(yīng)用前景。
　　為了從海量視頻數(shù)據(jù)中自動獲取與人體行為相關(guān)的信息，本文以機(jī)器學(xué)習(xí)領(lǐng)域最新方法——深度學(xué)習(xí)作為技術(shù)手段，著重研究深度學(xué)習(xí)中多尺度輸入數(shù)據(jù)、時空深度置信網(wǎng)絡(luò)的改進(jìn)以及不同的池化策略，并將所研究的深度學(xué)習(xí)框架應(yīng)用到人體行為識別中。具體如下：
　　1）針對現(xiàn)有深度學(xué)習(xí)方法輸

2、入局限于單一尺度數(shù)據(jù)，而現(xiàn)實(shí)場景中目標(biāo)對象往往呈現(xiàn)尺度多樣性的這一實(shí)際，考慮到不同尺度間的信息交流，基于 Chen提出的ST-DBN模型，將時空Gabor濾波后形成3個不同尺度的數(shù)據(jù)作為ST-DBN模型不同通道的值，聯(lián)合學(xué)習(xí)多尺度的特征。在KTH數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明多尺度學(xué)習(xí)的特征要優(yōu)于單一尺度學(xué)習(xí)的特征。
　　2）針對 Chen的ST-DBN模型采用空間信息優(yōu)先于時間信息的學(xué)習(xí)方式，并不適合于行為分析的情況，基于大量的運(yùn)動分析

3、問題中時間信息優(yōu)于空間信息這一先驗(yàn)，改進(jìn)原始 ST-DBN模型為TS-DBN模型。實(shí)驗(yàn)結(jié)果表明，無論是單尺度還是多尺度數(shù)據(jù)下的特征學(xué)習(xí)，改進(jìn)后的TS-DBN模型的行為識別效果均優(yōu)于ST-DBN模型。
　　3）針對神經(jīng)網(wǎng)絡(luò)訓(xùn)練時容易出現(xiàn)過擬合的問題，也為了提高行為特征的尺度不變性，提出了稀疏金字塔池化策略。該方法引入空間金字塔思想對空間域CRBM的池化輸出進(jìn)行多級擴(kuò)充，并采用重疊池化操作調(diào)整池化參數(shù)，在一定程度上提高了池化方法的性能

4、。同時為了降低特征描述的復(fù)雜度，采用稀疏編碼從高層語義上進(jìn)行金字塔多級特征的融合。實(shí)驗(yàn)結(jié)果表明，稀疏的金字塔池化策略要優(yōu)于傳統(tǒng)的概率最大值池化策略，而且從寬度上進(jìn)行的網(wǎng)絡(luò)結(jié)構(gòu)拓展，其識別效果完全不亞于更深一層網(wǎng)絡(luò)結(jié)構(gòu)的識別結(jié)果。
　　4）基于前面三個方面的研究，分別在KTH數(shù)據(jù)庫和UCF體育數(shù)據(jù)庫上進(jìn)行了基于稀疏時空特征學(xué)習(xí)的行為識別應(yīng)用。實(shí)驗(yàn)結(jié)果表明基于深度學(xué)習(xí)方法可以自動提取稀疏時空特征，獲得與人工設(shè)計(jì)特征相匹配的識別效果，而