基于顯著分析的立體圖像視覺(jué)舒適度及質(zhì)量評(píng)價(jià)研究.pdf

1、立體視頻憑借其逼真的深度感以及全新的交互式體驗(yàn)正在變得越來(lái)越受到人們的關(guān)注。為了保證提供高視覺(jué)體驗(yàn)質(zhì)量的立體視頻服務(wù)，迫切需要建立符合人眼主觀感知的立體圖像視覺(jué)舒適度和質(zhì)量評(píng)價(jià)模型，為立體視頻系統(tǒng)各處理環(huán)節(jié)的優(yōu)化提供指導(dǎo)。視覺(jué)注意機(jī)制作為最重要的人眼視覺(jué)特性之一，是人類視覺(jué)系統(tǒng)能夠智能處理海量視覺(jué)信息的生理基礎(chǔ)。本學(xué)位論文通過(guò)分析各種視覺(jué)特征（包括低層次視覺(jué)特征，深度感知特征等）對(duì)人類視覺(jué)注意力分布的影響，建立能夠反映人眼視覺(jué)注意機(jī)制的

2、立體視覺(jué)顯著計(jì)算模型，并探索其在立體圖像視覺(jué)舒適度和感知質(zhì)量評(píng)價(jià)領(lǐng)域中的應(yīng)用。主要從以下三個(gè)方面展開(kāi)研究：
　　1)針對(duì)目前圖像/視頻視覺(jué)顯著性檢測(cè)研究領(lǐng)域主要集中在二維圖像/視頻這一問(wèn)題，本學(xué)位論文綜合考慮各種低層次視覺(jué)特征和深度感知特征，提出了一種基于監(jiān)督學(xué)習(xí)的立體圖像視覺(jué)顯著計(jì)算模型。首先從二維圖像入手，針對(duì)二維圖像視覺(jué)顯著對(duì)象的檢測(cè)問(wèn)題展開(kāi)研究，提出了一種基于超像素顏色對(duì)比和相似性分布的視覺(jué)顯著對(duì)象提取方法。本辦法定義潛在

3、的視覺(jué)顯著對(duì)象應(yīng)該同時(shí)具有以下兩個(gè)方面特性：較高的顏色對(duì)比度和緊湊的相似性分布特性。在MSRA1000數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，相比于經(jīng)典的二維圖像顯著計(jì)算模型，本方法能夠更好地提取視覺(jué)顯著對(duì)象同時(shí)很好地抑制背景區(qū)域。不同于二維圖像的視覺(jué)顯著對(duì)象提取，立體圖像特有的深度感知特征也會(huì)直接影響人眼視覺(jué)注意力關(guān)注的分布。因此，為了更準(zhǔn)確地檢測(cè)立體圖像視覺(jué)顯著區(qū)域，需同時(shí)考慮各種低層次視覺(jué)特征和深度感知特征對(duì)視覺(jué)注意關(guān)注分布的影響。本文提出一種基

4、于監(jiān)督學(xué)習(xí)的立體圖像視覺(jué)顯著計(jì)算模型，其基本思想是將視覺(jué)顯著性檢測(cè)看成是有監(jiān)督學(xué)習(xí)回歸問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文提出的立體顯著模型計(jì)算得到的立體顯著圖與3D眼動(dòng)密度圖像具有較高的一致性。
　　2)針對(duì)現(xiàn)有的立體圖像質(zhì)量客觀評(píng)價(jià)方法性能較差無(wú)法滿足實(shí)際應(yīng)用需求的問(wèn)題，本學(xué)位論文深入分析各種視覺(jué)特性對(duì)立體圖像視覺(jué)感知質(zhì)量的影響，提出兩種高效的立體圖像質(zhì)量客觀評(píng)價(jià)方法：a)基于視差空間圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法；b)基于立體顯著模型的立

5、體圖像質(zhì)量評(píng)價(jià)方法。本文首先通過(guò)構(gòu)造立體圖像的視差空間圖（DSI，disparity space image），提出一種基于視差空間圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法。從DSI中提取出立體圖像特征信息，結(jié)合（SVR，support vector machine）技術(shù)進(jìn)行高維樣本的非線性回歸，避免了對(duì)人類視覺(jué)系統(tǒng)的相關(guān)特征與機(jī)理的復(fù)雜模擬過(guò)程，且能較好地反映立體圖像質(zhì)量。由于人眼在觀看立體圖像的過(guò)程中對(duì)于不同區(qū)域的失真的感知程度并非一致的，而是

6、表現(xiàn)出一定的選擇性。一般來(lái)說(shuō)，人眼對(duì)于視覺(jué)顯著性較高區(qū)域的失真敏感度較高，而對(duì)于視覺(jué)顯著性較低的背景區(qū)域的失真敏感度較低。本文將人眼立體視覺(jué)注意特性應(yīng)用于立體圖像感知質(zhì)量客觀評(píng)價(jià)，提出一種基于立體顯著模型的立體圖像質(zhì)量評(píng)價(jià)方法。實(shí)驗(yàn)結(jié)果表明，本文提出的評(píng)價(jià)方法無(wú)論從準(zhǔn)確性、單調(diào)性都優(yōu)于傳統(tǒng)的基于結(jié)構(gòu)相似性（SSIM，structure similarity index metric）圖像質(zhì)量評(píng)價(jià)方法，證明了視覺(jué)注意力在質(zhì)量評(píng)價(jià)領(lǐng)域的合理

7、性以及有效性。
　　3)針對(duì)現(xiàn)有的立體圖像視覺(jué)舒適度評(píng)價(jià)主要基于全局的視差統(tǒng)計(jì)特征預(yù)測(cè)視覺(jué)舒適度，沒(méi)有很好地反映人眼視覺(jué)注意機(jī)制，無(wú)法取得令人滿意的評(píng)價(jià)性能這一問(wèn)題，本學(xué)位文充分考慮視覺(jué)注意機(jī)制對(duì)視覺(jué)舒適度評(píng)價(jià)的重要影響，提出兩種有效的立體圖像視覺(jué)舒適度評(píng)價(jià)方法：a)基于視覺(jué)重要區(qū)域的立體圖像視覺(jué)舒適度評(píng)價(jià)模型；b)基于顯著性分析的立體圖像視覺(jué)舒適度預(yù)測(cè)模型。通過(guò)提取能夠反映視覺(jué)舒適度的視差統(tǒng)計(jì)特征，結(jié)合立體視覺(jué)顯著模型得到舒適度