垂直搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著Web上的信息愈來愈大,獲取更加準(zhǔn)確,詳細(xì),深層的專業(yè)信息,成為通用搜索引擎在信息采集方面的嚴(yán)峻挑戰(zhàn)。垂直搜索引擎的出現(xiàn),使得問題迎刃而解。垂直搜索引擎的網(wǎng)絡(luò)機器人在爬行時要不斷地計算當(dāng)前網(wǎng)頁的主題相關(guān)度數(shù)值,并根據(jù)數(shù)值評價網(wǎng)頁的主題相關(guān)度,因此,它可以有效地避開大量無關(guān)主題區(qū)域,只檢索出Web中與特定主題領(lǐng)域內(nèi)的相關(guān)網(wǎng)頁信息。所以,垂直搜索引擎的準(zhǔn)確率、召回率和效率都遠(yuǎn)勝于通用搜索引擎。同時,因為網(wǎng)頁數(shù)目的劇減,垂直搜索引擎系統(tǒng)維

2、護的代價也遠(yuǎn)遠(yuǎn)低于通用搜索引擎。
　　 本文首先論述了垂直搜索引擎的研究意義,然后基于全文檢索Lucene框架介紹了搜索引擎的三大核心技術(shù):索引,搜索和中文分詞技術(shù)。通過與通用的搜索引擎進行比較,深入研究了垂直搜索引擎關(guān)鍵技術(shù)。本文的主要研究內(nèi)容包括以下幾點:
　　 (1)指出了搜索策略中的HITS算法容易產(chǎn)生漂移和隧道現(xiàn)象的不足,并對其算法做了改進,使得一定程度上避免了主題漂移問題,引入超鏈接的預(yù)測權(quán)值參數(shù),使得對隧道

3、鏈接的判別具有了更高的準(zhǔn)確性。
　　 (2)應(yīng)用在主題相關(guān)度判別中的向量空間模型算法,此算法在應(yīng)用前,假設(shè)文檔中的詞條相互獨立的,與實際不符,從而造成不能很準(zhǔn)確地判斷其主題相關(guān)度的缺點,本文對此算法進行了改進,即將文檔中各個層次中的詞條重要性賦予不同的權(quán)值,然后將此因素也加入到主題相關(guān)性判別算法中,從而使得其算法更加準(zhǔn)確。
　　 (3)同時提出了一種新的網(wǎng)頁消重策略,經(jīng)過大量實驗表明取得了較好的效果。應(yīng)用Java+Luc