基于多層特征融合的人體行為識別.pdf

1、基于視頻的人體行為識別在人機交互、視頻分析和社會公共安全等應用中具有廣泛的發(fā)展前景與潛在的商業(yè)價值，使得它成為計算機視覺領域的一個熱點話題。人體行為識別的主要任務是通過分析和處理圖像序列，學習和理解人體行為。人體行為識別主要涉及兩個方面的研究:行為表示和行為分類。行為表示即為從視頻中提取有效的特征來表示人體的行為,而行為分類則是利用訓練視頻中提取到的有效特征構建分類器模型，從而完成對測試視頻的行為識別。行為表示主要有3類方法：基于人體模

2、型的方法、基于全局特征的方法和基于局部特征的方法。目前比較流行的將局部特征與詞袋模型相結合的表示方法在行為識別中取得了較好的結果。人體行為識別的首要任務是行為表示即視頻特征的提取與描述，它們對識別的結果有至關重要的影響。為此，本文的研究主要關注視頻特征的提取與描述，包括基于多層特征融合的人體行為識別和基于骨架的人體行為識別兩個部分工作。
　　本研究主要內(nèi)容包括：⑴在基于多層特征融合的人體行為識別中，提出了一個有效的多層特征融合的描

3、述子。該描述子將底層特征（包含有軌跡特征，光流特征和SIFT特征）和中層特征進行融合形成本文行為識別的特征，然后使用支持向量機（SVM）對人體行為進行識別。⑵在底層特征提取階段，提取了軌跡，光流和SIFT三種特征。受目前流行的稠密軌跡在圖像識別中的啟發(fā)，我們將它引用到人體行為識別中，通過在光流場中跟蹤稠密采樣點獲得軌跡。因為梯度直方圖（HOG）和運動邊界直方圖（MBH）兩種描述符在多個視頻庫中都取得較好的識別效果，所以本文將這兩描述符應

4、用到軌跡的描述中。為了更準確全面地描述行為以取得更好的識別結果，本文還提取了光流特征和對背景噪聲保持一定程度穩(wěn)定性的SIFT特征。⑶在中層特征提取階段，觀察到一些不同類型的人體行為有時候看起來非常相似，而不同行為類之間的這種相似關系有助于提高行為識別的準確率。引入了中層特征，通過計算視頻與不同行為之間的相似關系來描述中層特征。中層特征的計算過程中，首先，用每一種特征對每一類行為訓練一個SVM模型，然后分別計算每個視頻用上述提取到的五種底

5、層特征表示時屬于每個行為類的概率以此得到中層特征。⑷在特征層融合階段，本文利用特征層融合方法進行特征融合即直接將上述提取的五種底層特征和中層特征向量級聯(lián)形成維度更高的特征向量。⑸在基于骨架的人體行為識別中，首先對實驗所用的視頻庫進行分析，發(fā)現(xiàn)視頻中背景變化相對較少，利用背景差分法就能很好地檢測出視頻中的人體。然后通過細化人體圖像方法得到人體的骨架，為了描述骨架信息，本文使用了 Hu矩描述符，并根據(jù)詞袋模型思想，利用視覺單詞的頻率直方圖表