虛擬空間會(huì)議立體圖像匹配技術(shù)及應(yīng)用研究.pdf

1、虛擬空間會(huì)議(Virtual Space Teleconferencing，VST)系統(tǒng)是虛擬現(xiàn)實(shí)技術(shù)與計(jì)算機(jī)網(wǎng)絡(luò)和多媒體相結(jié)合的產(chǎn)物，它突破了傳統(tǒng)的地域觀念，利用虛擬現(xiàn)實(shí)技術(shù)，將不同地點(diǎn)與會(huì)終端的局部會(huì)場(chǎng)合成一個(gè)共同的虛擬空間，與會(huì)者以化身(avatar)的形式在這個(gè)虛擬空間中，通過(guò)化身在虛擬空間中定位、觀察、操縱虛擬空間的實(shí)體、與其他用戶進(jìn)行交互等方式“共享同一空間”，具有身臨其境之感。因而又被稱為“終極會(huì)議系統(tǒng)(Ultimate

2、Teleconferencing System)”。為了達(dá)到具有眼神接觸、凝視感知的真實(shí)會(huì)議系統(tǒng)，構(gòu)建具有實(shí)時(shí)性和逼真感的與會(huì)者的化身是VST的研究熱點(diǎn)。本文著重研究了VST中與會(huì)者的化身建模、三維重建、立體圖像匹配等演示技術(shù)，運(yùn)用了超小波、隨機(jī)數(shù)學(xué)和偏微分方程等理論，提出了多種立體圖像匹配方法并構(gòu)建一個(gè)虛擬空間會(huì)議的原型系統(tǒng)。主要研究?jī)?nèi)容如下： 首先針對(duì)立體圖像的區(qū)域匹配中，遮掩、區(qū)域變形及光照條件會(huì)對(duì)匹配算法造成很大的影響，

3、傳統(tǒng)的順序性約束、惟一性約束、外極線約束和鄰域約束并不能很好地解決這些問(wèn)題，而近幾年提出的相對(duì)位置約束卻能解決其中大部分問(wèn)題，但對(duì)于區(qū)域的遮掩情況依然效果不佳。并且當(dāng)對(duì)多個(gè)候選區(qū)域進(jìn)行最佳匹配選擇時(shí)，通常依靠區(qū)域的單一參量進(jìn)行判別，但受到視點(diǎn)的變換時(shí)效果并不理想。本文提出一種結(jié)合已匹配區(qū)域參量構(gòu)造視差梯度函數(shù)的立體圖像區(qū)域匹配方法，該方法摒棄了現(xiàn)有算法中單一參量不穩(wěn)定的特性；此外提出了基于Zernike矩、中心環(huán)投影曲線相關(guān)、小波變換及

4、分形維的立體圖像區(qū)域匹配方法。實(shí)驗(yàn)結(jié)果證明，針對(duì)于區(qū)域的半遮掩、變形和細(xì)微差別等情況，本文的算法都具備更好的識(shí)別性能，是一種行之有效的區(qū)域匹配算法。 其次基于曲波變換是繼小波變換后的一種新型的多尺度分析方法，它能夠更好的描述圖像中曲線狀和超平面的奇異性問(wèn)題，本文把曲波變換系數(shù)作為圖像匹配中的基元，并結(jié)合圖像分割原理和馬爾可夫隨機(jī)場(chǎng)(MRF)模型，提出了一種新的基于Markov模型和曲波的立體圖像匹配方法，該方法克服了基于圖像灰度

5、的匹配方法在平滑區(qū)域或細(xì)節(jié)匱乏處無(wú)法得到正確視差的弊端，并使得視差圖在物體內(nèi)部平滑并保持邊緣處的不連續(xù)性。實(shí)驗(yàn)結(jié)果表明，本文提出的算法無(wú)論從視覺(jué)評(píng)價(jià)上還是視差圖客觀指標(biāo)來(lái)看，都取得更優(yōu)的結(jié)果。 再次本文運(yùn)用偏微分方程理論提出一種改進(jìn)的立體圖像匹配的正則化方法。先分析了匹配點(diǎn)對(duì)在不同相對(duì)位置下對(duì)匹配項(xiàng)產(chǎn)生的影響；接著提出了適用于視差圖的各向異性的熱擴(kuò)散方程，它不僅繼承了Alvarez定義的正則項(xiàng)對(duì)初始視差圖內(nèi)部平滑和保持邊緣不連續(xù)

6、的特性，還引入了圖像的噪聲屏蔽函數(shù)和二階方向?qū)?shù)來(lái)分別控制對(duì)應(yīng)視差圖中不同區(qū)域的擴(kuò)散速度和角點(diǎn)處的擴(kuò)散方向；通過(guò)本文定義的正則項(xiàng)和匹配項(xiàng)構(gòu)造新的能量函數(shù)，并把基于區(qū)域匹配算法得到的視差圖作為初始值，數(shù)值求解相應(yīng)的最小能量泛函。實(shí)驗(yàn)結(jié)果表明無(wú)論從視覺(jué)效果上還是重構(gòu)深度圖的判別上，本文的算法均為優(yōu)秀。由于視差圖反映了圖像中各個(gè)景物的深度信息量，因此視差圖的邊緣并非是對(duì)應(yīng)圖像的邊緣。而現(xiàn)有的正則化方法中能量函數(shù)的正則項(xiàng)都依照?qǐng)D像梯度場(chǎng)對(duì)初始視

7、差圖內(nèi)部進(jìn)行平滑并保持邊緣的不連續(xù)性，這導(dǎo)致最終獲取的密集視差圖不僅不能準(zhǔn)確分辨物體邊緣且平滑區(qū)域具有較多的圖像邊界殘留痕跡。光流反映了目標(biāo)物體的運(yùn)動(dòng)狀態(tài)且包含的運(yùn)動(dòng)邊界與物體邊界相吻合，但光流計(jì)算中的正則項(xiàng)使其在邊界上是模糊不準(zhǔn)確的，因此本文采用了多分辨率框架下由粗到精的分級(jí)策略來(lái)計(jì)算大基線時(shí)左右圖像中的光流場(chǎng)，并結(jié)合圖像邊界和光流來(lái)確定準(zhǔn)確的運(yùn)動(dòng)邊界，提出了一種融合光流信息的正則化方法，該方法利用攜帶景物深度信息的光流場(chǎng)構(gòu)造了融合光