基于多模態(tài)特征融合的圖像重排序研究.pdf

1、隨著計算機軟硬件水平的快速發(fā)展以及各種移動終端智能設(shè)備，如智能手機、數(shù)碼相機等的出現(xiàn)，人們在互聯(lián)網(wǎng)上上傳和分享圖片變得越來越容易，這就導(dǎo)致了互聯(lián)網(wǎng)上多媒體數(shù)據(jù)總量爆炸地增長。由于文本檢索的巨大成功，目前大部分主流的圖像檢索系統(tǒng)仍采用基于文本的圖像檢索方式?？墒牵瑘D像的文本信息通常含有很多噪聲而且圖像文本信息對于圖像的描述能力不足，因此基于文本的圖像檢索方法通常得不到令人滿意的檢索結(jié)果。為了解決這個問題，圖像搜索重排序的思想被提出并且受到

2、大量的關(guān)注。圖像搜索重排序是指在初始檢索結(jié)果基礎(chǔ)上，通過挖掘檢索結(jié)果中的文本特征、視覺特征等潛在信息或者利用外部輔助知識來對圖像重新進(jìn)行排序，從而提高檢索性能。現(xiàn)存的圖像重排序算法在重排序過程中僅僅使用圖像的一種特征，如文本特征或視覺特征，結(jié)果仍然不太令人滿意，一些研究者試圖在重排序過程中使用圖像的多種模態(tài)特征并且取得了不錯的效果?？墒撬麄兙鶝]有考慮到圖像多模態(tài)特征之間的相互關(guān)系對重排序結(jié)果的影響，而且圖像的多模態(tài)特征是從不同角度對圖像

3、進(jìn)行的描述，它們本質(zhì)上是異構(gòu)的，這就對于直接度量它們之間的相似性帶來了很大的挑戰(zhàn)?；谏鲜隹紤]，本文提出了兩種基于圖框架的重排序方法:典型相關(guān)分析隨機游走重排序CCA-RW(Canonical Correlation Analysis Random Walk Reranking)和潛在語義稀疏哈希隨機游走重排序方法LSSH-RW(Latent Semantic Sparse Hashing Random WalkReranking)。<

4、br>　　典型相關(guān)分析隨機游走重排序方法中，通過線性映射將圖像的異構(gòu)特征表示映射到同一抽象空間中，從而可以方便的度量圖像不同特征之間的相似度。然后，我們構(gòu)建同構(gòu)完全圖來表示圖像集合，在計算得到圖像的相似度矩陣后，我們采用隨機游走算法來對圖像進(jìn)行重排序。
　　潛在語義稀疏哈希隨機游走重排序方法中，我們認(rèn)為在潛在語義空間中對圖像多模態(tài)特征之間的相互關(guān)系建模以及圖像的高層抽象表示對于改善重排序結(jié)果是有幫助的。該方法首先分別通過稀疏編碼和

5、矩陣分解的方式將圖像的視覺特征和文本特征映射到兩個等同的潛在語義空間中，然后通過線性映射將這兩個潛在語義空間映射到同一高層抽象空間中。然后在該高層抽象空間中直接度量圖像不同模態(tài)特征之間的相似性，然后構(gòu)建同構(gòu)完全圖，計算圖像的相似性矩陣，通過圖上的隨機游走來對圖像進(jìn)行重排序。這兩種方法均解決了圖像多模態(tài)之間的異構(gòu)問題，從而更方便更準(zhǔn)確地度量圖像多模態(tài)特征之間的相似度。通過與其他幾種算法進(jìn)行對比，我們在數(shù)據(jù)集上的實驗驗證了這兩種方法的有效性