基于矩陣低秩與稀疏分解的視頻圖像融合研究.pdf

1、隨著傳感器技術(shù)的快速發(fā)展，視頻傳感器被廣泛應(yīng)用于視頻監(jiān)控系統(tǒng)和機(jī)器視覺(jué)領(lǐng)域中。在實(shí)際應(yīng)用中，通常會(huì)同時(shí)利用多個(gè)不同種類的視頻傳感器來(lái)拍攝同一場(chǎng)景的內(nèi)容以獲得該場(chǎng)景的完整信息。為了充分利用不同視頻傳感器捕捉到的信息，可以通過(guò)視頻融合的方法將不同傳感器拍攝的視頻融合到一個(gè)視頻中，融合視頻綜合了不同視頻傳感器獲得的重要信息，能夠更加準(zhǔn)確地反映該場(chǎng)景的內(nèi)容。
　　本文的主要研究工作及貢獻(xiàn)如下：
　　首先，較為詳細(xì)地討論了幾種常用的視

2、頻融合算法，即：基于時(shí)空能量匹配、基于時(shí)空結(jié)構(gòu)張量、基于脈沖耦合神經(jīng)網(wǎng)絡(luò)和基于高階奇異值分解的視頻融合算法?；跁r(shí)空能量匹配的視頻融合算法把視頻當(dāng)做一個(gè)整體進(jìn)行融合，在時(shí)間一致性方面相比于基于單幀的視頻融合算法有一定的提升，但是該算法采用相同的融合規(guī)則對(duì)輸入視頻中的空間信息和時(shí)間信息進(jìn)行融合，在一定程度上降低了融合視頻的時(shí)空一致性。為了提高融合視頻的時(shí)空一致性，基于時(shí)空結(jié)構(gòu)張量的視頻融合算法采用不同的融合規(guī)則對(duì)輸入視頻中的空間信息和時(shí)間

3、信息分別進(jìn)行融合，但是卻增加了運(yùn)算復(fù)雜度。上述兩種算法在輸入視頻包含噪聲的情況下，無(wú)法獲得令人滿意的融合效果?；诿}沖耦合神經(jīng)網(wǎng)絡(luò)的視頻融合算法能夠在噪聲強(qiáng)度較小情況下獲得不錯(cuò)的融合效果，但是當(dāng)噪聲強(qiáng)度很大時(shí)，該算法獲得的融合視頻中仍然包含較多噪聲，并且該算法的計(jì)算復(fù)雜度較高?；诟唠A奇異值分解的視頻融合算法很好地解決了噪聲環(huán)境下的視頻融合問(wèn)題，同時(shí)其具有較高的運(yùn)算效率，但是該算法利用高階奇異值的分解結(jié)果表示空間背景信息，對(duì)所有幀采用相

4、同的空間特征圖，這在一定程度上降低了融合視頻的時(shí)空一致性。
　　其次，針對(duì)上述算法存在的問(wèn)題，提出了一種基于三維 Surfacelet變換(three-dimensional surfacelet transform,3D-ST)和矩陣低秩與稀疏分解(也稱魯棒主成分分析，robust principal component analysis，RPCA)的視頻融合算法。該算法的步驟如下：(1)對(duì)輸入視頻進(jìn)行三維Surfacelet變

5、換，獲得相應(yīng)的低頻子帶和帶通方向子帶；(2)利用RPCA對(duì)獲得的帶通方向子帶進(jìn)行進(jìn)一步分解，分別得到具有低秩特性的背景信息部分和具有稀疏特性的運(yùn)動(dòng)目標(biāo)信息部分；(3)分別對(duì)上述步驟中獲得的低頻子帶系數(shù)、背景信息部分和運(yùn)動(dòng)目標(biāo)信息部分進(jìn)行組合，得到融合視頻的Surfacelet變換系數(shù)；(4)對(duì)獲得的Surfacelet變換系數(shù)進(jìn)行三維Surfacelet逆變換得到融合視頻。
　　最后，大量的實(shí)驗(yàn)表明，本文提出的視頻融合算法在時(shí)空信