面向主題的多文檔自動(dòng)文摘關(guān)鍵技術(shù)研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的迅速崛起，用戶經(jīng)常使用移動(dòng)終端在大批量文本信息中快速查找并獲取有用的信息。這就要求信息服務(wù)供應(yīng)商具備能夠提供對(duì)大批量文本內(nèi)容快速并且有效的挖掘，并且用簡潔概括的方式向用戶呈現(xiàn)重要的信息的能力。用戶可以使用手機(jī)訂閱自動(dòng)文摘服務(wù)。該服務(wù)就可以自動(dòng)從多篇文檔中抽取出重要信息，并按照主題將信息呈現(xiàn)給用戶。高質(zhì)量的自動(dòng)文摘內(nèi)容脈絡(luò)清晰，可讀性強(qiáng)，能夠多角度向用戶呈現(xiàn)事件的來龍去脈，節(jié)省用戶瀏覽信息的時(shí)間，同時(shí)能夠減輕用戶需要從多個(gè)

2、信息源獲取完整信息的負(fù)擔(dān)。本文正是在這種技術(shù)趨勢下，對(duì)面向主題的多文檔自動(dòng)文摘關(guān)鍵技術(shù)進(jìn)行了探索性研究。
　　 本文的研究提出了以下創(chuàng)新性的理論和方法:
　　 1.提出一種新穎的基于LDA的建模方法來捕獲文檔集中的主題。為了能夠定量評(píng)估該建模方法的有效性，本文使用該建模方法從大批量同類型文本集合中生成面向主題的文摘描述模板。首先提出一種基于LDA的實(shí)體主題模型，該模型用來同時(shí)對(duì)句子和句子中的詞進(jìn)行語義標(biāo)注和聚類。其次，在

3、已經(jīng)聚類并且標(biāo)注好的句子的依存解析樹上利用頻繁子樹模式挖掘算法來構(gòu)建面向主題的文摘描述模板。為了進(jìn)一步驗(yàn)證生成模板的有效性，本文實(shí)現(xiàn)了一種基于模板的面向主題的自動(dòng)文摘生成方法。
　　 2.提出一種非監(jiān)督機(jī)器學(xué)習(xí)方法去生成面向主題的多文檔自動(dòng)文摘。在該方法中，提出了基于LDA的事件-主題模型，該模型擴(kuò)展了的傳統(tǒng)的LDA模型，通過計(jì)算單詞在領(lǐng)域中出現(xiàn)的概率分布，以及在特定事件文檔中出現(xiàn)的概率分布，有利于改善句子聚類的效果。其次使用擴(kuò)

4、展的LexRan算法對(duì)每個(gè)聚類簇中的句子進(jìn)行排序，接著從每個(gè)聚類簇中使用整數(shù)線性規(guī)劃生成能反映主題的代表性句子用來作為文摘。該方法的主要優(yōu)勢是把句子聚類，排序和選擇有機(jī)地串聯(lián)在一起。同時(shí)我們又改進(jìn)了基于依存解析樹句子壓縮算法，使壓縮效果顯著提高。
　　 3.提出一種新穎的基于語言生成模型的自動(dòng)文摘生成方法。該方法首先從句子的依存解析樹中抽取重要的片段信息，其次利用這些片段信息同時(shí)結(jié)合英語句法知識(shí)對(duì)原始句子進(jìn)行重構(gòu)。句子重構(gòu)的實(shí)現(xiàn)

5、是利用英語句法結(jié)構(gòu)把片段信息翻譯成語言生成模型的輸入，然后通過自然語言生成模型，生成包含片段信息的簡單句子。最后使用整數(shù)線性規(guī)劃方法從重構(gòu)后的句子集合中選擇出與主題最相關(guān)的句子集合。
　　 4.提出一種新穎的ccTAM(Cross collection topic aspect model)模型來對(duì)文檔集中的主題和方面建模。然后利用該模型的輸出，在二分圖上使用迭代互增強(qiáng)來抽取互補(bǔ)式文摘。
　　 5.實(shí)現(xiàn)了兩種有監(jiān)督機(jī)器學(xué)