基于內(nèi)容的多源新聞聚合關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、在當(dāng)今信息大爆炸的時(shí)代，用戶(hù)如何在浩如煙海的信息中高效地篩選并整合對(duì)自己有利的信息成了難題。而另一方面，隨著網(wǎng)絡(luò)的不斷發(fā)展，網(wǎng)絡(luò)新聞的盛行，傳統(tǒng)媒體與網(wǎng)絡(luò)這一“第四媒體”之間的界限將越來(lái)越模糊。
　　 所以在新聞?lì)I(lǐng)域，為了跨越傳統(tǒng)媒體與網(wǎng)絡(luò)媒體之間的界限，同時(shí)又可以幫助用戶(hù)快速地將所需的新聞聚合在一起，本文對(duì)多形式多來(lái)源的新聞聚合技術(shù)進(jìn)行了研究。
　　 作者研究了多形式新聞聚合所需關(guān)鍵技術(shù)，在現(xiàn)在盛行的信息聚合工具RSS

2、技術(shù)的基礎(chǔ)上，提出了應(yīng)用于新聞?lì)I(lǐng)域的，基于內(nèi)容的多形式新聞自動(dòng)聚合解決方案。本文的關(guān)鍵研究?jī)?nèi)容概括如下：
　　 利用Agent的自治能力和合作能力，本文將不同新聞源不同形式的新聞的處理交由不同的功能Agent完成，同時(shí)又結(jié)合了關(guān)鍵詞自動(dòng)抽取技術(shù)以及特征向量相似度匹配技術(shù)，提出了基于內(nèi)容的多形式多來(lái)源新聞聚合系統(tǒng)架構(gòu)C-NSSA(Content Based News Syndication System Architecture)

3、，用于指導(dǎo)多源多形式新聞的自動(dòng)聚合。該架構(gòu)采用Multi-Agent結(jié)構(gòu)，實(shí)現(xiàn)了新聞的采集、預(yù)處理、關(guān)鍵詞提取、匹配集合、與用戶(hù)交互等功能，具有高并行性、高可靠性和高可擴(kuò)展性。
　　 在系統(tǒng)架構(gòu)C-NSSA的指導(dǎo)下，本文對(duì)新聞自動(dòng)聚合的核心技術(shù)，包括新聞頁(yè)面解析技術(shù)、新聞文檔關(guān)鍵詞自動(dòng)提取技術(shù)以及表示新聞內(nèi)容的關(guān)鍵詞集合匹配技術(shù)，進(jìn)行了深入的研究。
　　 在新聞頁(yè)面解析階段，本文提出了基于新聞頁(yè)面結(jié)構(gòu)特征的頁(yè)而解析方法。

4、該方法在HTML DOM技術(shù)的基礎(chǔ)之上，首先將html文本轉(zhuǎn)化成DOM樹(shù)，然后通過(guò)新聞頁(yè)面的結(jié)構(gòu)特征研究結(jié)果，根據(jù)文本節(jié)點(diǎn)分組總大小，以及一個(gè)分組內(nèi)文本節(jié)點(diǎn)大小分析，來(lái)實(shí)現(xiàn)新聞標(biāo)題以及正文的提取。使得頁(yè)面解析算法更適用于本系統(tǒng)架構(gòu)的實(shí)際應(yīng)用情況。在新聞關(guān)鍵詞提取階段，本文利用詞的共現(xiàn)性原理，對(duì)原有的TF*IDF方法進(jìn)行了改進(jìn)。該方法以傳統(tǒng)的關(guān)鍵詞權(quán)重計(jì)算方法TF*IDF為基礎(chǔ)，綜合考慮了新聞的內(nèi)容分類(lèi)，又結(jié)合新聞的特點(diǎn)得出詞語(yǔ)的位置信息

5、特征，以及詞與詞之間的共現(xiàn)性特征，使得該關(guān)鍵詞權(quán)重訃算方法更適用于針對(duì)新聞文檔的關(guān)鍵詞提取。而在最后的新聞密切度匹配上，本文借鑒了應(yīng)用廣泛的向量空間模型(VSM)以及余弦系數(shù)的算法用來(lái)計(jì)算特征向量的相似性。同時(shí)又考慮到本系統(tǒng)的特殊情況，視頻新聞沒(méi)有文本，只基于內(nèi)容的多源新聞聚合關(guān)鍵技術(shù)研究與實(shí)現(xiàn)有個(gè)數(shù)有限的關(guān)鍵詞，若獨(dú)獨(dú)采用相似度計(jì)算的方法可能會(huì)影響匹配效果，于是再次加入詞共現(xiàn)性特征的計(jì)算。綜合考慮了詞的相似度以及關(guān)聯(lián)度兩個(gè)因素，得到了