行為識別中基于局部時空關(guān)系的特征模型研究.pdf

1、視頻人體行為識別作為模式識別和計算機(jī)視覺領(lǐng)域的熱點(diǎn)研究方向之一，在智能視頻監(jiān)控、人機(jī)交互、異常行為檢測、視頻檢索等方面具有廣泛的應(yīng)用前景。行為識別研究的目的是利用現(xiàn)有的計算機(jī)技術(shù)使機(jī)器能夠像人類一樣具有識別、分析、理解以及預(yù)測人體行為的能力。視頻人體行為識別技術(shù)盡管已取得了長足的進(jìn)步與發(fā)展，但是，當(dāng)前仍然面臨如何高效、準(zhǔn)確地獲取、描述人體行為特征，進(jìn)而學(xué)習(xí)特征之間的關(guān)系、融合特征以及行為建模等各個方面的問題。
　　為了解決上述問題

2、，以局部特征作為切入點(diǎn)研究人體行為模型的識別算法?？偟膩碚f，本文的研究內(nèi)容和創(chuàng)新性工作總結(jié)如下:
　　1)有效的局部特征和描述符由于成像設(shè)備的運(yùn)動，基于跟蹤興趣點(diǎn)提取的局部特征包含了來自運(yùn)動場景的不相關(guān)信息，同時單一模式的方向量化致使方向被誤劃分。針對這一問題，我們提出了跟蹤相對運(yùn)動點(diǎn)和多方向模式量化軌跡方向的行為模型。該方法采用超像素分割和能夠抑制相機(jī)勻速運(yùn)動的運(yùn)動邊緣檢測器選擇有效的軌跡起點(diǎn)。對于軌跡形狀的表示，采用預(yù)定義的多

3、重方向模式量化軌跡的方向信息，經(jīng)過每個模式的量化，串聯(lián)組合作為軌跡形狀的描述符。在KTH（瑞典皇家理工學(xué)院）和UCF-sports行為數(shù)據(jù)庫（美國University of Central Florida）上，實(shí)驗結(jié)果證明，提取的相對運(yùn)動點(diǎn)軌跡能夠描述感興趣對象的運(yùn)動變化，多模式方向統(tǒng)計描述符增強(qiáng)了軌跡形狀特征的魯棒性。與相關(guān)文獻(xiàn)的識別結(jié)果比較，選擇軌跡起點(diǎn)提取的特征在MKL融合框架下獲得了較好的識別性能。
　　2)基于分層樹結(jié)構(gòu)

4、字典的稀疏編碼稀疏編碼能夠自適應(yīng)地表示信號。然而，學(xué)習(xí)的字典缺少原子之間的關(guān)聯(lián)，信號的相似性在編碼后缺失?？紤]到結(jié)構(gòu)化稀疏表示的魯棒性，我們提出了樹結(jié)構(gòu)的字典學(xué)習(xí)和編碼方法。該方法以分層的方式，逐層學(xué)習(xí)字典原子，并建立上下層的子字典原子之間的關(guān)聯(lián)。具體來說，以標(biāo)準(zhǔn)的字典學(xué)習(xí)為基礎(chǔ)，凸優(yōu)化算法引入數(shù)據(jù)點(diǎn)編碼路徑約束，即上層編碼選擇的字典原子索引規(guī)劃下層字典選擇的原子。實(shí)驗結(jié)果表明，局部特征的稀疏表示具有較好的魯棒性。在KTH數(shù)據(jù)庫上，與其

5、他相似文獻(xiàn)的識別結(jié)果相比，基于樹結(jié)構(gòu)字典編碼建立的行為模型獲得了較好的識別結(jié)果，樹結(jié)構(gòu)的編碼模型優(yōu)于標(biāo)準(zhǔn)稀疏表示的方法。
　　3)分層特征組的行為模型在復(fù)雜的人體行為識別領(lǐng)域，空時關(guān)系在描述行為原型時顯示出了較強(qiáng)的判別性。然而，在歐式距離度量下，采用不穩(wěn)定的時空興趣點(diǎn)構(gòu)造組合特征如凝集統(tǒng)計、特征對等可能導(dǎo)致同類行為的描述符缺失語義意義和魯棒性。針對這一問題，考慮人體運(yùn)動具有層次化和結(jié)構(gòu)性，在分層框架下我們提出了分層特征組的行為模型

6、。該方法利用運(yùn)動補(bǔ)償和人體部位屬性抑制運(yùn)動場景信息，采用自適應(yīng)尺度核的密度聚類算法產(chǎn)生人體部位特征。具體來說，運(yùn)動補(bǔ)償ROI后，依據(jù)人體運(yùn)動部位的空域局部共生和時域持續(xù)的屬性，選擇時域差分的殘差信息，之后采用自適應(yīng)尺度核Mean-Shift密度聚類算法標(biāo)定底層特征、學(xué)習(xí)人體部位的特征組。在人體部位表示的基礎(chǔ)上，累積視頻窄切片的視覺詞響應(yīng)描述人體對象。在基準(zhǔn)的KTH和UCF-sports行為數(shù)據(jù)庫上，實(shí)驗表明基于特征組建立的行為模型增強(qiáng)了

7、行為表示的判別能力，提高了識別性能。
　　4)基于人體部位特征樹的行為模型基于傳統(tǒng)方法學(xué)習(xí)的時空內(nèi)容缺乏語義意義和時間關(guān)系。針對這一不足，我們提出了不同時間分辨率人體部位之間的樹結(jié)構(gòu)關(guān)系模型。該方法采用超像素標(biāo)定興趣點(diǎn)，產(chǎn)生空域語義共生點(diǎn)集。在空域共生點(diǎn)集合的基礎(chǔ)上，以遞歸的方式構(gòu)建特征樹。為了產(chǎn)生特征樹的高層節(jié)點(diǎn)，采用圖像塊匹配的方法融合時間近鄰的節(jié)點(diǎn)?；诔袼亟⒌墓采虮硎救梭w部位具有較好的靈活性。另外，通過圖像塊匹配關(guān)聯(lián)

8、時間近鄰節(jié)點(diǎn)降低了點(diǎn)集合之間匹配的難度。在KTH、UCF-YT和HOHA行為數(shù)據(jù)庫，實(shí)驗證明學(xué)習(xí)的特征樹模型能夠建立人體部位之間的關(guān)系，提高了行為描述符的判別能力，同時在多核學(xué)習(xí)框架下獲得了期望的識別結(jié)果。
　　5)判別共生統(tǒng)計特征的概念特征對行為模型K-means量化局部特征容易產(chǎn)生較大的量化誤差，同時傳統(tǒng)的共生統(tǒng)計忽略了特征對的方向和相對距離信息。針對這些問題，在共生統(tǒng)計框架下我們提出了判別共生統(tǒng)計特征的概念特征對行為模型。為

9、了學(xué)習(xí)概念特征，采用局部流形約束的稀疏子空間聚類算法量化STIPs。為了增強(qiáng)局部共生統(tǒng)計的判別性，特征對的方向和相對距離信息嵌入到概念特征對共生矩陣。另外，考慮到人體行為風(fēng)格的多樣性，多時間尺度時空體的內(nèi)容信息被用來描述行為。在特征融合階段，采用多核學(xué)習(xí)融合多時間粒度的共生統(tǒng)計和點(diǎn)特征的行為表示作為SVM分類器的最終輸入。在KTH和UCF-sport行為數(shù)據(jù)庫上，通過實(shí)驗驗證，與點(diǎn)特征行為模型相比，學(xué)習(xí)共生統(tǒng)計特征的概念特征對具有較好的