基于單目視覺(jué)的非剛體三維運(yùn)動(dòng)分析.pdf

1、三維運(yùn)動(dòng)視覺(jué)分析是計(jì)算機(jī)視覺(jué)中十分活躍的研究領(lǐng)域之一。它以圖像處理研究成果為基礎(chǔ)，主要研究空間中物體的運(yùn)動(dòng)情況，通過(guò)測(cè)量與計(jì)算物體特征在圖像平面上的坐標(biāo)變化，分析場(chǎng)景中運(yùn)動(dòng)物體的三維結(jié)構(gòu)，估計(jì)物體的運(yùn)動(dòng)參數(shù)。目前，它已成為運(yùn)動(dòng)圖像處理的重要組成部份。 相對(duì)剛體運(yùn)動(dòng)而言，現(xiàn)實(shí)世界中非剛體運(yùn)動(dòng)是一種更常見(jiàn)、更普遍的運(yùn)動(dòng)形式。由于非剛體運(yùn)動(dòng)的普遍性和多樣性，近年來(lái)非剛體運(yùn)動(dòng)視覺(jué)分析已在許多領(lǐng)域得到了應(yīng)用，如：農(nóng)業(yè)信息智能處理領(lǐng)域、農(nóng)業(yè)

2、機(jī)械智能化領(lǐng)域、農(nóng)業(yè)和食品工業(yè)應(yīng)用場(chǎng)合、醫(yī)學(xué)領(lǐng)域、生物特征識(shí)別技術(shù)領(lǐng)域等。非剛體運(yùn)動(dòng)視覺(jué)分析技術(shù)不僅可用于農(nóng)業(yè)、農(nóng)業(yè)機(jī)械或與農(nóng)業(yè)相關(guān)的領(lǐng)域，在別的領(lǐng)域也同樣具有非常廣泛的應(yīng)用前景。 考慮到農(nóng)業(yè)領(lǐng)域中，連接型和彈性型非剛體運(yùn)動(dòng)是更為普遍的非剛體運(yùn)動(dòng)形式，因此本文的工作主要面向連接型和彈性型非剛體運(yùn)動(dòng)展開(kāi)，以人體、手指和合成單目動(dòng)態(tài)圖像序列為研究對(duì)象，提出了一些相應(yīng)的模型和算法，期望為雙足機(jī)器人行走步態(tài)控制、多指靈巧手的設(shè)計(jì)以及其他

3、一些與非剛體運(yùn)動(dòng)相關(guān)的研究工作提供有效的理論和方法。 全文共分三篇，主要圍繞三維運(yùn)動(dòng)分析的基本概念和方法、連接型非剛體運(yùn)動(dòng)及結(jié)構(gòu)參數(shù)估計(jì)、彈性型非剛體運(yùn)動(dòng)及結(jié)構(gòu)參數(shù)估計(jì)三方面內(nèi)容展開(kāi)，主要內(nèi)容安排如下： 第1章闡述了非剛體運(yùn)動(dòng)視覺(jué)的研究意義，介紹了常見(jiàn)的非剛體運(yùn)動(dòng)形式分類方法，分析了現(xiàn)有的連接型非剛體和彈性型非剛體運(yùn)動(dòng)分析方法及其存在的不足，提出了本文主要的研究?jī)?nèi)容和研究方法。 第2章介紹了與本文三維運(yùn)動(dòng)分析相關(guān)

4、的一些基本概念和方法，給出了三維運(yùn)動(dòng)分析的主要求解參數(shù)，分析說(shuō)明了本文以下章節(jié)采用透視投影模型和基于特征對(duì)應(yīng)運(yùn)動(dòng)估計(jì)方法的理論依據(jù)。 第3章以單目人體運(yùn)動(dòng)圖像序列為實(shí)驗(yàn)對(duì)象，提出了一種人體三維運(yùn)動(dòng)信息恢復(fù)方法，該方法分為兩部分：基于遺傳算法和Kalman濾波的二維特征點(diǎn)跟蹤和基于多約束融合的關(guān)節(jié)點(diǎn)三維運(yùn)動(dòng)分析。在二維特征點(diǎn)跟蹤算法中，將基于Kalman濾波理論的特征點(diǎn)跟蹤方法與遺傳算法有機(jī)地結(jié)合在一起，以遺傳算法的運(yùn)算流程為基本

5、框架，在遺傳算法的個(gè)體及適應(yīng)度函數(shù)設(shè)計(jì)中，綜合考慮特征點(diǎn)的預(yù)測(cè)跟蹤結(jié)果、偽特征點(diǎn)、特征點(diǎn)的遮擋以及運(yùn)動(dòng)平滑性等因素。在關(guān)節(jié)點(diǎn)三維運(yùn)動(dòng)軌跡估計(jì)方面，綜合考慮了二維圖像坐標(biāo)與三維空間坐標(biāo)的透視投影關(guān)系、人體運(yùn)動(dòng)的局部剛性和平滑性、人體骨骼的生理解剖學(xué)知識(shí)等因素。實(shí)驗(yàn)結(jié)果表明，利用本章提出的方法可以有效地去除圖像中的偽特征點(diǎn)，恢復(fù)出被遮擋特征點(diǎn)的位置，實(shí)現(xiàn)圖像序列中特征點(diǎn)的正確匹配，在透視投影模型下，基于剛體約束、結(jié)構(gòu)約束和運(yùn)動(dòng)平滑性約束能有

6、效恢復(fù)出尺度意義下人的手臂和腿的三維運(yùn)動(dòng)軌跡。 第4章以單目手指運(yùn)動(dòng)圖像序列為實(shí)驗(yàn)對(duì)象，主要研究了基于小平面對(duì)應(yīng)模型的非剛體三維運(yùn)動(dòng)估計(jì)方法。結(jié)合手指骨架模型的運(yùn)動(dòng)特性分析，給出了手指三維運(yùn)動(dòng)估計(jì)中的運(yùn)動(dòng)約束、深度約束和剛體約束方程，利用懲罰方法建立了三維運(yùn)動(dòng)估計(jì)目標(biāo)函數(shù)。為解決特征點(diǎn)匹配問(wèn)題，結(jié)合第3章的特征點(diǎn)Kalman濾波器設(shè)計(jì)方法，給出了改進(jìn)的基于塊匹配和Kalman濾波的特征點(diǎn)跟蹤算法。實(shí)驗(yàn)結(jié)果表明，本章提出的方法可以

7、實(shí)現(xiàn)圖像序列中特征點(diǎn)的正確匹配，通過(guò)對(duì)目標(biāo)函數(shù)的優(yōu)化求解，能有效恢復(fù)出手指的三維運(yùn)動(dòng)軌跡。 第5章和第6章以彈性型非剛體合成運(yùn)動(dòng)圖像序列為研究對(duì)象，在假設(shè)幀間特征點(diǎn)匹配關(guān)系已確立的前提下，將非剛體三維運(yùn)動(dòng)參數(shù)求解問(wèn)題轉(zhuǎn)化為非剛體上特征點(diǎn)的三維運(yùn)動(dòng)參數(shù)求解問(wèn)題，給出了透視投影方式下非剛體的局部仿射運(yùn)動(dòng)模型。需要指出的是，該模型也可以用其它合理的運(yùn)動(dòng)模型來(lái)代替。 第5章探討了基于正則化的非剛體局部三維運(yùn)動(dòng)估計(jì)方法。將非剛體運(yùn)

8、動(dòng)的先驗(yàn)知識(shí)融入到運(yùn)動(dòng)估計(jì)過(guò)程中，分析了正則化運(yùn)動(dòng)估計(jì)中目標(biāo)函數(shù)的建立方法。最后，通過(guò)Levenberg-Marquart非線性最優(yōu)化方法實(shí)現(xiàn)了非剛體的局部運(yùn)動(dòng)參數(shù)求解。實(shí)驗(yàn)結(jié)果表明，與不采用正則化的最小二乘估計(jì)方法相比，本章提出的方法可以更魯棒地估計(jì)出非剛體的局部三維運(yùn)動(dòng)參數(shù)。 為了解決正則化方法只能分析非剛體局部三維運(yùn)動(dòng)的缺點(diǎn)，第6章在基于MAP-MRF的分析框架中建立了與特征點(diǎn)運(yùn)動(dòng)估計(jì)相對(duì)應(yīng)的非規(guī)則MRF模型，構(gòu)造了非規(guī)則

9、MRF模型中反映非剛體局部三維運(yùn)動(dòng)參數(shù)之間約束關(guān)系和運(yùn)動(dòng)參數(shù)聯(lián)合概率分布的能量函數(shù)，通過(guò)能量函數(shù)最小化估計(jì)運(yùn)動(dòng)參數(shù)。為提高求解效率并解決解的唯一性問(wèn)題，建立了分層MRF模型，在較粗層使用最小二乘法，在更細(xì)化的層中采用SA算法，并根據(jù)非剛體三維運(yùn)動(dòng)估計(jì)的特點(diǎn)提出了模擬退火算法的改進(jìn)方案。實(shí)驗(yàn)結(jié)果表明，本章提出的方法可以魯棒地估計(jì)出彈性型非剛體的三維運(yùn)動(dòng)參數(shù)。 第7章總結(jié)了本文的研究?jī)?nèi)容，指出了本文的創(chuàng)新點(diǎn)，提出了進(jìn)一步的研究方向。