基于Kinect傳感器的動(dòng)態(tài)手勢(shì)識(shí)別.pdf

1、隨著計(jì)算機(jī)領(lǐng)域技術(shù)的不斷發(fā)展，尤其是人機(jī)交互領(lǐng)域日新月異的飛速進(jìn)步，往日出現(xiàn)在各類科幻大片中的新穎的人機(jī)交互形式已經(jīng)逐步地出現(xiàn)在人們的日常生活中來。其中對(duì)于手勢(shì)識(shí)別技術(shù)的相關(guān)研究變得十分活躍。人們?cè)谌粘５纳罱浑H中常常用到各種手勢(shì)，與聽力障礙人士交流或者其他的安靜場(chǎng)合時(shí)也都會(huì)用到手勢(shì)語言，手勢(shì)識(shí)別的研究具有十分重要的實(shí)際的應(yīng)用意義。手勢(shì)識(shí)別的研究就是要讓計(jì)算機(jī)設(shè)備能夠“看懂”用戶的手勢(shì)肢體語言，將其轉(zhuǎn)換為相應(yīng)的文本信息或者相應(yīng)的語義指令

2、，從而進(jìn)一步達(dá)到各種控制的目的。該研究領(lǐng)域涵蓋模式識(shí)別、計(jì)算機(jī)視覺和圖形圖像等多方面，這也使得該領(lǐng)域的研究富有挑戰(zhàn)性。
　　本文的研究對(duì)象為人體的動(dòng)態(tài)手勢(shì)，研究目標(biāo)是提出一種基于微軟的深度攝像設(shè)備Kinect傳感器且能實(shí)時(shí)的識(shí)別人體動(dòng)態(tài)手勢(shì)的系統(tǒng)框架。本文將運(yùn)動(dòng)的手勢(shì)分解為兩大組成部分，分別為手的運(yùn)動(dòng)軌跡和手勢(shì)中關(guān)鍵的手部形態(tài)。文中針對(duì)這兩大部分，詳細(xì)的給出了從Kinect傳感器捕獲兩種數(shù)據(jù)的解決方案:1.利用重要的關(guān)鍵人體關(guān)節(jié)點(diǎn)

3、的球形坐標(biāo)數(shù)據(jù)代表手勢(shì)軌跡信息;2.利用基于膚色掩膜和深度掩膜結(jié)合的方法分割手部區(qū)域得到手部區(qū)域數(shù)據(jù)。與此同時(shí)提出對(duì)捕獲到的軌跡數(shù)據(jù)進(jìn)行正規(guī)化處理方法，具體包含有對(duì)用戶的遠(yuǎn)近距離和用戶間個(gè)體大小差異的正規(guī)化;同時(shí)還給出了利用運(yùn)動(dòng)能量函數(shù)進(jìn)行手部數(shù)據(jù)關(guān)鍵幀提取方案。
　　文中針對(duì)軌跡和關(guān)鍵幀手部數(shù)據(jù)分別構(gòu)建其特征描述子:多維數(shù)據(jù)的幀軌跡特征描述子和Hu矩特征描述子。同時(shí)針對(duì)多維數(shù)據(jù)的幀軌跡序列的匹配問題，提出了一種在全局約束條件下的

4、權(quán)重化多維數(shù)據(jù)的動(dòng)態(tài)時(shí)間扭曲算法(WM-DTW)，利用該算法可以高效處理不同權(quán)重下多維數(shù)據(jù)序列間匹配問題。最終的識(shí)別結(jié)果由軌跡和關(guān)鍵幀匹配結(jié)果綜合得出，其中軌跡的匹配結(jié)果占主導(dǎo)，關(guān)鍵幀手形數(shù)據(jù)的識(shí)別結(jié)果作為輔助信息占少量權(quán)重。最后，文中給出了平臺(tái)模塊設(shè)計(jì)方案和整個(gè)系統(tǒng)的流程，并針對(duì)具體的界面設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)。并根據(jù)三個(gè)不同手勢(shì)模板庫建立測(cè)試數(shù)據(jù)集進(jìn)行驗(yàn)證實(shí)驗(yàn)，通過詳細(xì)的實(shí)驗(yàn)對(duì)比和結(jié)果分析表明，該框架能在消耗較小時(shí)間成本的情況下達(dá)到高識(shí)別率