基于Agent的搜索引擎的研究與實(shí)現(xiàn).pdf

1、近幾年來(lái),隨著計(jì)算機(jī)和網(wǎng)絡(luò)的發(fā)展,互聯(lián)網(wǎng)信息成指數(shù)級(jí)增長(zhǎng),搜索引擎已經(jīng)成為用戶上網(wǎng)必不可少的工具。傳統(tǒng)搜索引擎的優(yōu)點(diǎn)是信息量大,更新及時(shí),無(wú)需人工干預(yù),但隨著網(wǎng)絡(luò)信息的成倍增長(zhǎng),海量搜索技術(shù)的弊端也日益明顯,返回信息過(guò)多,夾雜著大量重復(fù)或無(wú)關(guān)的信息,必須從檢索結(jié)果中自行進(jìn)行二次或多次篩選,無(wú)形中降低了搜索的準(zhǔn)確性。迫切需要能有新的技術(shù)來(lái)解決這些問(wèn)題。
　　 本文在深入分析網(wǎng)頁(yè)信息搜集、文件處理、中文分詞和索引模塊的基礎(chǔ)上,針對(duì)目

2、前專(zhuān)業(yè)搜索引擎熱點(diǎn)研究的專(zhuān)業(yè)網(wǎng)頁(yè)的定向獲取問(wèn)題,設(shè)計(jì)的一種專(zhuān)業(yè)搜索引擎。該引擎利用人工智能以及Agent技術(shù),通過(guò)對(duì)網(wǎng)站進(jìn)行相關(guān)度評(píng)估,實(shí)現(xiàn)了專(zhuān)業(yè)網(wǎng)頁(yè)的定向獲取,同時(shí)對(duì)分詞部分和索引部分架構(gòu)進(jìn)行了改進(jìn),實(shí)現(xiàn)了各部分之間的協(xié)同工作。其主要工作有三個(gè)方面:
　　 1)分析和研究了傳統(tǒng)搜索引擎的技術(shù)特點(diǎn)和主要的體系架構(gòu),對(duì)搜索引擎的發(fā)展歷程和未來(lái)的發(fā)展方向做了探討；
　　 2)分析與研究了Agent技術(shù)的主要類(lèi)別和各自的特點(diǎn),

3、結(jié)合搜索引擎的特點(diǎn)和實(shí)現(xiàn)因素的考慮,選擇了Multi-Agent模型來(lái)實(shí)現(xiàn)搜索引擎系統(tǒng)。
　　 3)在Agent模型和搜索引擎功能架構(gòu)的基礎(chǔ)上,引入并改進(jìn)了多個(gè)人工智能的算法和思想,結(jié)合HTML代碼自身的特點(diǎn),大力提高了搜索引擎系統(tǒng)的智能性和用戶個(gè)性分析度,其主要技術(shù)包括:通過(guò)標(biāo)記樹(shù)以及分層標(biāo)記符的劃分,提高了系統(tǒng)對(duì)于文檔核心意義判定的能力；采用了用戶興趣度研究、多用戶興趣協(xié)作等人工智能模型和思想,提高用戶界面Agent的智能性