3D視頻編碼中深度信息優(yōu)化及場(chǎng)景背景編碼技術(shù)研究.pdf

1、隨著科技的進(jìn)步，網(wǎng)絡(luò)通信技術(shù)、數(shù)字多媒體技術(shù)以及計(jì)算機(jī)視覺(jué)技術(shù)都得到快速的發(fā)展，進(jìn)而促進(jìn)了圖像采集水平的不斷提高以及多媒體應(yīng)用中數(shù)字視頻業(yè)務(wù)的不斷擴(kuò)大?，F(xiàn)如今,多媒體應(yīng)用終端顯示的內(nèi)容也越來(lái)越豐富，基于國(guó)內(nèi)外各種標(biāo)準(zhǔn)的視頻應(yīng)用早已成為人們?nèi)粘Ｉ睢⒐ぷ?、學(xué)習(xí)、娛樂(lè)、交際等方面不可缺少的東西，其中最為普遍的是三維（3D，3Dimensional）視頻應(yīng)用。3D視頻因其恢弘的場(chǎng)景、逼真的視覺(jué)效果以及強(qiáng)烈的視覺(jué)沖擊而深受消費(fèi)者喜愛(ài)。3D視頻主

2、要是基于多視點(diǎn)視頻紋理加深度圖(Multi-view texture image plus depth map，MVD)的格式進(jìn)行編碼的，因此，數(shù)據(jù)量非常龐大。而當(dāng)前有限的網(wǎng)絡(luò)傳輸帶寬和硬件存儲(chǔ)資源都無(wú)法承受如此大的數(shù)據(jù)量，進(jìn)而對(duì)3D視頻的存儲(chǔ)、傳輸以及播放造成很大的困難。因而采用多視點(diǎn)視頻紋理加深度圖信息編碼格式編碼的3D視頻序列的高效率壓縮，就成了當(dāng)前3D視頻編碼的一個(gè)關(guān)鍵因素。因此本文針對(duì)3D視頻編碼，開(kāi)展了兩項(xiàng)工作，意在提升3D

3、視頻編碼效率。本文的主要研究工作是：
　　1.提出了基于四叉樹(shù)劃分方式的深度-紋理間的運(yùn)動(dòng)矢量繼承
　　當(dāng)前3D-AVS2.0編碼標(biāo)準(zhǔn)中對(duì)紋理圖和深度圖是分別進(jìn)行獨(dú)立編碼的，但是，紋理圖和其相對(duì)應(yīng)的深度圖都是同一相機(jī)在同一時(shí)間同一位置同一角度對(duì)同一地點(diǎn)捕獲到的相同場(chǎng)景圖像，它們的運(yùn)動(dòng)特征是相似的。當(dāng)前3D-AVS2.0編碼平臺(tái)并沒(méi)有考慮它們之間的相關(guān)性，進(jìn)而造成編碼比特的浪費(fèi)。因此，針對(duì)3D-AVS2.0編碼標(biāo)準(zhǔn)平臺(tái)的不足，

4、本文提出了一種基于四叉樹(shù)劃分的方式用于實(shí)現(xiàn)深度圖紋理圖之間的運(yùn)動(dòng)矢量繼承，減少了信息存儲(chǔ)冗余，提升了視頻編碼效率。實(shí)踐表明，我們提出的方法加入平臺(tái)標(biāo)準(zhǔn)與未加入平臺(tái)標(biāo)準(zhǔn)相比，取得較好的編碼性能。
　　2.提出了輔助視頻壓縮與分割的場(chǎng)景背景編碼方法
　　現(xiàn)今，3D-HEVC編碼標(biāo)準(zhǔn)平臺(tái)HTM10.0采用的是多視點(diǎn)紋理視頻加深度的編碼格式。但是，多視點(diǎn)紋理視頻加深度格式編碼的序列是通過(guò)多個(gè)不同位置的攝像機(jī)同時(shí)對(duì)同一場(chǎng)景物體進(jìn)行拍攝

5、得到的。因此，相鄰視點(diǎn)的紋理圖有大量重疊的背景信息，即存在嚴(yán)重的背景冗余。為了減少存在的背景冗余信息，本文提出基于3D-HEVC視頻編碼的輔助視頻壓縮和分割的場(chǎng)景背景合成編碼技術(shù)。也就是說(shuō)，對(duì)每個(gè)視點(diǎn)進(jìn)行視頻分割，分離前景和背景，根據(jù)相機(jī)參數(shù)以及各個(gè)視點(diǎn)相應(yīng)深度圖的關(guān)系，將所有視點(diǎn)的背景進(jìn)行合成，消除了背景原有的冗余信息。合成的背景圖以及分離出來(lái)的三個(gè)前景圖替代多個(gè)視點(diǎn)本來(lái)的紋理圖進(jìn)行編碼。與3D-HEVC原參考軟件HTM10.0相比較