Deep Web分類搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著World Wide Web(WWW)的飛速發(fā)展，整個Web信息已經(jīng)被各種各樣可搜索的在線數(shù)據(jù)庫所深化。這些信息被隱藏在Web查詢接口之后，由站點(diǎn)后臺數(shù)據(jù)庫動態(tài)產(chǎn)生，而傳統(tǒng)搜索引擎受技術(shù)限制無法對它們進(jìn)行索引，我們稱這類信息為Deep Web。 Deep Web信息獲取至今仍然是一個新興的研究領(lǐng)域，也受到越來越多研究人員的重視。為了方便用戶獲取使用某領(lǐng)域的Deep Web信息，本文提出了一個Deep Web分類搜索引擎的系統(tǒng)

2、架構(gòu)，依據(jù)這個系統(tǒng)架構(gòu)對Deep Web分類搜索引擎中若干關(guān)鍵問題進(jìn)行了分析研究，并提出了相關(guān)的算法和模型。本文主要研究的工作包括： (1)對中國Deep Web資源的規(guī)模、分布、結(jié)構(gòu)等進(jìn)行了調(diào)查研究。 (2)針對傳統(tǒng)搜索引擎爬蟲程序在Deep Web領(lǐng)域的缺陷，設(shè)計(jì)了一個面向DeepWeb的聚焦爬蟲，并提出了Deep Web查詢接口的判定方法。 (3)采用一種高效的Web數(shù)據(jù)庫內(nèi)容獲取算法，對Web數(shù)據(jù)庫內(nèi)容進(jìn)

3、行采樣，并對采樣得到的頁面進(jìn)行分析，去除了無關(guān)信息，最終得到Web數(shù)據(jù)庫的內(nèi)容摘要。 (4)依據(jù)雅虎的分類目錄，提出了一種將Deep Web站點(diǎn)接口頁面與數(shù)據(jù)庫內(nèi)容摘要相結(jié)合的方法，對Deep Web資源進(jìn)行分類。 本文最后設(shè)計(jì)和實(shí)現(xiàn)了一個針對中文的Deep Web分類搜索引擎原型系統(tǒng)DeepSearcher，并對文中提出的算法進(jìn)行了實(shí)驗(yàn)和分析。隨著World Wide Web(WWW)的飛速發(fā)展，整個Web信息已經(jīng)被各

4、種各樣可搜索的在線數(shù)據(jù)庫所深化。這些信息被隱藏在Web查詢接口之后，由站點(diǎn)后臺數(shù)據(jù)庫動態(tài)產(chǎn)生，而傳統(tǒng)搜索引擎受技術(shù)限制無法對它們進(jìn)行索引，我們稱這類信息為Deep Web。 Deep Web信息獲取至今仍然是一個新興的研究領(lǐng)域，也受到越來越多研究人員的重視。為了方便用戶獲取使用某領(lǐng)域的Deep Web信息，本文提出了一個Deep Web分類搜索引擎的系統(tǒng)架構(gòu)，依據(jù)這個系統(tǒng)架構(gòu)對Deep Web分類搜索引擎中若干關(guān)鍵問題進(jìn)行了分析

5、研究，并提出了相關(guān)的算法和模型。本文主要研究的工作包括： (1)對中國Deep Web資源的規(guī)模、分布、結(jié)構(gòu)等進(jìn)行了調(diào)查研究。 (2)針對傳統(tǒng)搜索引擎爬蟲程序在Deep Web領(lǐng)域的缺陷，設(shè)計(jì)了一個面向DeepWeb的聚焦爬蟲，并提出了Deep Web查詢接口的判定方法。 (3)采用一種高效的Web數(shù)據(jù)庫內(nèi)容獲取算法，對Web數(shù)據(jù)庫內(nèi)容進(jìn)行采樣，并對采樣得到的頁面進(jìn)行分析，去除了無關(guān)信息，最終得到Web數(shù)據(jù)庫