互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合.pdf

1、面對互聯(lián)網(wǎng)圖像搜索的海量、多模態(tài)的信息特征，現(xiàn)有圖像搜圖像、文本搜圖像、圖文結(jié)合搜圖像的系統(tǒng)都有不盡如人意之處。為了搜到盡可能多、全面的圖像，很有必要研究互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合。互聯(lián)網(wǎng)圖像搜索本質(zhì)上是一種多模態(tài)學(xué)習(xí)問題。在以往對它們的研究中，涌現(xiàn)出許多算法和思想流派:矢量量化或共生模型、機(jī)器翻譯模型、相關(guān)模型、加入類別信息的結(jié)構(gòu)模型、多標(biāo)注學(xué)習(xí)、互補(bǔ)的多模態(tài)融合、基于矩陣分解的多模態(tài)融合、基于調(diào)和場模型的多模態(tài)融合、基于對齊學(xué)習(xí)的

2、多模態(tài)融合、多模態(tài)聯(lián)合學(xué)習(xí)、一致性的多模態(tài)學(xué)習(xí)、大數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)學(xué)習(xí)?？偨Y(jié)其優(yōu)缺點(diǎn)，我們提出了要構(gòu)建的多模態(tài)學(xué)習(xí)模型的設(shè)計(jì)需求。一種用文檔-詞條關(guān)系矩陣傳播、疊加兩者的相關(guān)度矩陣以學(xué)習(xí)文檔語義相似度的模型被用在了多模態(tài)相似度矩陣的互相增強(qiáng)上。
　　本文分析了其用在多模態(tài)學(xué)習(xí)上的不同之處，提出了加入模態(tài)內(nèi)高階相似度增強(qiáng)的多模態(tài)融合模型;分析了現(xiàn)有既考慮多數(shù)據(jù)域互相增強(qiáng)又考慮數(shù)據(jù)域間相關(guān)關(guān)系增強(qiáng)的多數(shù)據(jù)域相似度融合算法，結(jié)合多模態(tài)相

3、似度融合的加性特點(diǎn)，提出了用模態(tài)間對齊去增強(qiáng)模態(tài)間相關(guān)關(guān)系;為了得到多模態(tài)之間匹配的相關(guān)關(guān)系，提出一種以模態(tài)間對齊為優(yōu)化目標(biāo)的統(tǒng)計(jì)模型，并把它和典型相關(guān)分析做了類比分析。大量實(shí)驗(yàn)用于探究它們在多模態(tài)圖像搜索應(yīng)用中的表現(xiàn)和有效性。核矩陣可以描述流形，可以把多個(gè)模態(tài)的數(shù)據(jù)投影到相似度空間相互比較。核矩陣代表的馬爾可夫場的傳播、對齊、流形特征都可以用引入電勢概念的電路網(wǎng)絡(luò)描述。單模態(tài)搜索可以表示為有源電路網(wǎng)絡(luò)，等價(jià)于譜聚類。電路網(wǎng)絡(luò)模型有其希

4、爾伯特空間解釋。網(wǎng)頁排名、流形排序算法都可以表示為電路網(wǎng)絡(luò)模型，由此可以反推出有源電路網(wǎng)絡(luò)的快速迭代算法。建立了基于電路網(wǎng)絡(luò)的多圖融合模型。該模型可以用正則化優(yōu)化式來表達(dá)并進(jìn)一步擴(kuò)展。實(shí)驗(yàn)驗(yàn)證了用電路網(wǎng)絡(luò)做多模態(tài)融合的有效性和優(yōu)勢。用泊松方程理論上解釋了電路網(wǎng)絡(luò)模型，用非齊次熱傳導(dǎo)方程解釋了電路網(wǎng)絡(luò)模型的快速迭代算法、模態(tài)內(nèi)高階相似度增強(qiáng)的合理性;在擴(kuò)散的多尺度分析基礎(chǔ)上，分析了流形上的多尺度空間;借鑒傳統(tǒng)信號處理中克服信號截短的缺點(diǎn)的