搜索引擎中網(wǎng)絡(luò)爬蟲的研究.pdf

1、搜索引擎作為信息檢索技術(shù)在互聯(lián)網(wǎng)時代的應(yīng)用，使人們能夠更有效的從互聯(lián)網(wǎng)獲取各種資源。但隨著互聯(lián)網(wǎng)的發(fā)展，傳統(tǒng)的搜索引擎，即通用搜索引擎漸漸不能滿足人們對信息檢索服務(wù)日益增長的需求。近年來，面向主題的搜索引擎應(yīng)運而生。本文圍繞主題搜索引擎，對主題搜索引擎中占有重要地位的主題爬蟲相關(guān)技術(shù)進行了研究和討論。
　　 網(wǎng)絡(luò)爬蟲用來從互聯(lián)網(wǎng)上抓取頁面。通用爬蟲會從一些種子鏈接開始，目標(biāo)是獲取互聯(lián)網(wǎng)上所有的頁面。而主題爬蟲的目標(biāo)是獲取與特定主

2、題內(nèi)容相關(guān)的頁面，因此除了具有通用爬蟲的基本功能外，還需要對頁面的內(nèi)容和鏈接進行分析從而能夠?qū)ε老x爬行的路徑進行指導(dǎo)和預(yù)測。主題網(wǎng)絡(luò)爬蟲選擇什么樣的爬行策略對互聯(lián)網(wǎng)進行訪問，直接影響著其爬行的效率。本文著重研究并改進了基于Context Graph的主題爬行算法，研究工作主要有以下幾個方面：
　　 (1)研究了搜索引擎中通用網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲的技術(shù)原理、工作流程，著重分析了主題網(wǎng)絡(luò)爬蟲的主題爬行策略，對主題網(wǎng)絡(luò)爬蟲常用的基于

3、鏈接分析的爬行策略和基于內(nèi)容分析的爬行策略進行分析比較。
　　 (2)針對傳統(tǒng)的主題爬行算法不能很好解決“隧道現(xiàn)象”的問題，本文詳細(xì)介紹了一種基于Context Graph的主題爬行算法，它通過預(yù)測新抓取頁面在ContextGraph中所處的層次，能夠指導(dǎo)網(wǎng)絡(luò)爬蟲沿著最有可能找到目標(biāo)頁面的路徑爬行，進而較好地解決“隧道現(xiàn)象”的問題。
　　 (3)使用一種基于詞頻差異的特征選擇方法和改進的TF-IDF公式對基于Contex