主題搜索引擎設(shè)計與研究.pdf

1、由于Web上海量的信息處于不斷的變化中，通用搜索引擎己經(jīng)很難再為用戶提供一個準(zhǔn)確并且更新及時的信息搜索服務(wù)，其局限性在于它試圖索引全部Web并且試圖服務(wù)于所有主題的查詢請求。而主題搜索引擎只覆蓋與特定主題相關(guān)的Web區(qū)域，這樣它搜索的可以更深，搜索的周期可以更短，因此能滿足用戶對獲取信息資源快速、準(zhǔn)確的性能要求。面向主題的搜索研究正成為越來越熱門的課題。 本文首先對搜索引擎的歷史、分類、發(fā)展現(xiàn)狀及其趨勢做了概要介紹：然后以搜索引

2、擎的體系結(jié)構(gòu)、工作原理為主線在全文展開我們的研究工作。我們分別對爬蟲技術(shù)、HTML解析技術(shù)、分詞技術(shù)做了詳細(xì)的分析與研究。對頁面鏈接、頁面分布的特征也做了分析。 本文設(shè)計和實現(xiàn)了一個頁面主題相關(guān)性判定系統(tǒng)。它的系統(tǒng)結(jié)構(gòu)植根于開源軟件Nutch，在健壯性與簡單易用性上得到了保證。其核心思想是：把關(guān)鍵詞加權(quán)和頁面進(jìn)行主題相關(guān)性判定。其中運用到了向量空間模型與關(guān)鍵詞集技術(shù)。 本文還提出了一個較為新穎的概念：關(guān)鍵詞和頁面間的Ω-