基于RGB-D數(shù)據(jù)的頭部姿態(tài)估計(jì)研究.pdf

1、增強(qiáng)現(xiàn)實(shí)旨在將計(jì)算機(jī)生成的虛擬物體實(shí)時(shí)地疊加到真實(shí)場(chǎng)景中，使用戶(hù)觀察到虛實(shí)融合的場(chǎng)景，進(jìn)而增強(qiáng)對(duì)現(xiàn)實(shí)環(huán)境的感知。增強(qiáng)現(xiàn)實(shí)的首要任務(wù)是需要所疊加的虛擬物體與真實(shí)場(chǎng)景保持幾何一致性，即將虛擬物體的坐標(biāo)系與世界坐標(biāo)系對(duì)齊。因此，三維注冊(cè)是實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界之間幾何一致性的重要手段，需要滿(mǎn)足實(shí)時(shí)性、精確性和魯棒性要求。由于人類(lèi)活動(dòng)的重要性，人體頭部姿態(tài)估計(jì)是三維注冊(cè)中的關(guān)鍵技術(shù)，在增強(qiáng)現(xiàn)實(shí)、人機(jī)交互、醫(yī)療康復(fù)、游戲娛樂(lè)等均有重要應(yīng)用。

2、>　　頭部姿態(tài)估計(jì)需要定位其空間位置和朝向，增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)三維注冊(cè)的在線實(shí)時(shí)性要求而具有挑戰(zhàn)性。傳統(tǒng)的頭部姿態(tài)估計(jì)方法更多地基于彩色圖像，因?yàn)椴噬珗D像容易采集并且可以保證較高的分辨率。但是，基于圖像的姿態(tài)估計(jì)方法對(duì)光照變化、部分遮擋和特征點(diǎn)缺失非常敏感，導(dǎo)致算法的精度不高。近年來(lái)，隨著深度采集技術(shù)的發(fā)展，例如微軟Kinect的出現(xiàn)，深度圖越來(lái)越體現(xiàn)了其在視覺(jué)問(wèn)題中的優(yōu)越性。由于深度圖包含了三維信息，可以有效克服彩色圖像在逆向問(wèn)題中面臨的

3、求解病態(tài)性。目前，深度圖分辨率低，并有較為嚴(yán)重的噪聲和信息缺失，導(dǎo)致算法魯棒性較差，使得彩色圖像和深度圖相結(jié)合的方法具有優(yōu)越性，其核心問(wèn)題是如何結(jié)合彩色與深度信息的。頭部姿態(tài)估計(jì)依然面臨許多技術(shù)的挑戰(zhàn)。
　　本文主要研究基于微軟Kinect傳感器采集的RGB-D數(shù)據(jù)的頭部姿態(tài)估計(jì)。首先，研究了三維注冊(cè)中目標(biāo)函數(shù)無(wú)法解析表達(dá)的優(yōu)化求解問(wèn)題;其次，研究了基于深度圖的頭部姿態(tài)估計(jì);最后，研究了彩色圖像與深度圖相結(jié)合的頭部姿態(tài)估計(jì)。

4、>　　本文的主要貢獻(xiàn)如下:
　　1.提出一種目標(biāo)函數(shù)無(wú)法解析表達(dá)的優(yōu)化求解策略。已有的基于模型的三維注冊(cè)方法都需要解決外觀特征點(diǎn)的對(duì)應(yīng)性問(wèn)題，且求解計(jì)算量較大。在優(yōu)化求解時(shí)通常要求目標(biāo)函數(shù)是可以解析表達(dá)的。但是，當(dāng)目標(biāo)函數(shù)無(wú)法解析表達(dá)時(shí)，算法結(jié)果較差。針對(duì)具有三維模型，但缺失紋理信息的不規(guī)則物體的注冊(cè)問(wèn)題，本文提出一種基于輪廓匹配的三維注冊(cè)優(yōu)化求解方法。該方法利用物體在圖像上的輪廓線匹配來(lái)估計(jì)姿態(tài)，匹配誤差可以表示為位置與角度參數(shù)

5、的函數(shù)。由于該函數(shù)不能解析表達(dá)與求解，本文提出通過(guò)離散采樣計(jì)算導(dǎo)數(shù)及目標(biāo)函數(shù)值。實(shí)驗(yàn)結(jié)果表明，該方法可以快速收斂，并具有很高的精確性和魯棒性。
　　2.提出一種基于深度圖的實(shí)時(shí)頭部姿態(tài)估計(jì)方法。傳統(tǒng)的基于彩色圖像的頭部姿態(tài)估計(jì)方法由于對(duì)光照、陰影和特征的缺失非常敏感，面臨嚴(yán)重的魯棒性和精確性問(wèn)題。深度圖具有更高維度的信息，從而可以提高參數(shù)估計(jì)的精確性和魯棒性。為了更好地保證算法的實(shí)時(shí)性，本文提出一種僅使用深度圖進(jìn)行頭部姿態(tài)估計(jì)的方

6、法。該方法結(jié)合卡爾曼濾波和隨機(jī)回歸森林方法準(zhǔn)確估計(jì)頭部姿態(tài)。使用卡爾曼濾波的預(yù)測(cè)模型，提高隨機(jī)回歸森林的計(jì)算速率，降低分類(lèi)錯(cuò)誤率，提高姿態(tài)估計(jì)的準(zhǔn)確率。結(jié)合卡爾曼濾波的修正模型保證算法的魯棒性和精確性。
　　3.提出一種結(jié)合彩色圖像和深度圖的實(shí)時(shí)準(zhǔn)確頭部姿態(tài)估計(jì)方法。深度圖一般解像度較低，并有嚴(yán)重噪聲，直接用深度圖估計(jì)頭部姿態(tài)導(dǎo)致算法精度較差。針對(duì)此問(wèn)題，本文提出一種結(jié)合彩色圖像和深度圖的準(zhǔn)確三維頭部姿態(tài)估計(jì)方法。該方法可以同時(shí)利