主題搜索引擎中網(wǎng)絡(luò)蜘蛛信息采集策略的研究.pdf

1、隨著網(wǎng)絡(luò)信息量的急劇膨脹和信息的多元化發(fā)展，傳統(tǒng)的通用搜索引擎越來越難以滿足用戶對特定信息的查詢需求，主題搜索引擎應(yīng)運(yùn)而生。主題搜索引擎以分類精確、數(shù)據(jù)深入、更新及時等特點(diǎn)，成為搜索引擎的發(fā)展趨勢和研究熱點(diǎn)。
　　 主題網(wǎng)絡(luò)蜘蛛是主題搜索引擎的核心部分，其工作性能好壞和運(yùn)行效率高低均會對整個主題搜索引擎系統(tǒng)產(chǎn)生重大影響。本文以提高主題網(wǎng)絡(luò)蜘蛛信息采集的效率和準(zhǔn)確性為目標(biāo)，對主題搜索引擎中網(wǎng)絡(luò)蜘蛛的信息采集策略進(jìn)行研究。
　

2、　 主題相關(guān)性算法是主題搜索引擎中網(wǎng)絡(luò)蜘蛛信息采集策略的關(guān)鍵部分，是提高主題網(wǎng)絡(luò)蜘蛛信息采集效率和準(zhǔn)確性的基礎(chǔ)。本文對基于網(wǎng)頁內(nèi)容的相關(guān)性算法進(jìn)行研究，在傳統(tǒng)的向量空間模型的基礎(chǔ)上，根據(jù)網(wǎng)頁結(jié)構(gòu)特征和概念間層次關(guān)系，對網(wǎng)頁特征項(xiàng)選取和權(quán)值進(jìn)行優(yōu)化，提高網(wǎng)頁主題相關(guān)性評價(jià)的效率和精度；對基于鏈接結(jié)構(gòu)的相關(guān)性算法進(jìn)行研究，在傳統(tǒng)的PageRank算法的基礎(chǔ)上，根據(jù)主題網(wǎng)頁的分布特征，引入主題預(yù)測相關(guān)度加權(quán)，使主題網(wǎng)絡(luò)蜘蛛對網(wǎng)頁中潛在的與主

3、題相關(guān)性大的鏈接優(yōu)先爬行。通過對主題相關(guān)性算法的研究，一方面提高了網(wǎng)頁過濾的準(zhǔn)確性，防止主題網(wǎng)絡(luò)蜘蛛做無效勞動；另一方面實(shí)現(xiàn)了對主題網(wǎng)絡(luò)蜘蛛爬行方向的前瞻性指導(dǎo)，防止“主題漂移”現(xiàn)象的發(fā)生。
　　 在主題搜索引擎中，網(wǎng)絡(luò)蜘蛛信息采集的目標(biāo)是盡可能多地發(fā)現(xiàn)并采集與主題相關(guān)的信息。本文對主題網(wǎng)絡(luò)蜘蛛信息采集技術(shù)進(jìn)行研究，在此基礎(chǔ)上提出了一個面向主題的信息采集模型，并深入分析了模型中網(wǎng)頁采集、網(wǎng)頁解析、網(wǎng)頁消重、網(wǎng)頁過濾和鏈接過濾等主