基于深度神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的圖像問答研究.pdf

1、圖像問答是一個(gè)很有挑戰(zhàn)性的任務(wù)，它的目標(biāo)是把計(jì)算機(jī)視覺和自然語言處理聯(lián)系起來。在這個(gè)任務(wù)中，給定一張圖片和一個(gè)相關(guān)的問題，我們要求機(jī)器能根據(jù)圖像內(nèi)容，再加上一些常識(shí)來推理得到問題的答案。因此，為了完成圖像問答這個(gè)任務(wù)，機(jī)器必須具有跨模態(tài)的理解能力（視覺和語言），而這一點(diǎn)比那些在單一模態(tài)下的任務(wù)（圖像識(shí)別，文檔分類等）要求更高。
　　圖像問答這個(gè)任務(wù)的意義體現(xiàn)在多個(gè)方面。首先，從計(jì)算機(jī)視覺這個(gè)研究領(lǐng)域看，為了讓機(jī)器能夠充分理解圖片的

2、內(nèi)容,繼圖片識(shí)別和描述這兩個(gè)任務(wù)之后，圖像問答是一個(gè)很自然的后續(xù)，因?yàn)檫@個(gè)任務(wù)要求對(duì)圖像的內(nèi)容有更精細(xì)的理解。其次，從自然語言處理這個(gè)領(lǐng)域看，為了能夠真正理解人類的語言，如何把語言對(duì)應(yīng)到視覺世界這一步是必不可少的。雖然計(jì)算機(jī)視覺和自然語言處理同屬人工智能的范疇，但是從歷史上看，這兩個(gè)領(lǐng)域的發(fā)展是分開的。圖像問答任務(wù)的提出表明這兩個(gè)領(lǐng)域逐漸開始融合，而它們的融合是構(gòu)建真正的通用人工智能的必經(jīng)之路。
　　近幾年內(nèi)，圖像問答發(fā)展迅速，受

3、到來自計(jì)算機(jī)視覺和自然語言處理領(lǐng)域的廣泛關(guān)注，提出了很多解決這項(xiàng)任務(wù)的方法。大多數(shù)方法采取了一個(gè)端到端的流程，用一個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取圖片特征，用一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)來表征問題，然后把圖片特征和問題特征連結(jié)起來預(yù)測(cè)答案。盡管這種端到端的方法的準(zhǔn)確率還行，但是整個(gè)圖像問答的系統(tǒng)變成了一個(gè)黑箱，我們只知道輸入和輸出，卻不知道中間發(fā)生了什么。因此，我們首先提出把這種端到端的系統(tǒng)分解成兩步:解釋和推理，通過對(duì)中間結(jié)果的可視化來實(shí)現(xiàn)一個(gè)解釋性更

4、高的圖片問答模型。我們的這個(gè)模型達(dá)到了目前最高的準(zhǔn)確率，并且具有一定程度的可解釋性。
　　此外，大多數(shù)圖片問答的方法都致力于提高預(yù)測(cè)答案的準(zhǔn)確性，但是忽略了對(duì)答案的解釋。我們認(rèn)為，與答案本身相比，答案的解釋同樣甚至更加重要，因?yàn)樗箚柎疬^程更易于理解和跟蹤。為此，我們提出了“帶解釋的圖像問答”的新任務(wù)，其中模型不僅需要預(yù)測(cè)問題的答案，同時(shí)也解釋所預(yù)測(cè)的答案。我們首先構(gòu)造一個(gè)新的數(shù)據(jù)集，然后在多任務(wù)學(xué)習(xí)架構(gòu)中解決帶解釋的圖像問答問題