Hidden Web信息搜集系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和網(wǎng)絡應用的廣泛普及，用戶對網(wǎng)絡信息的覆蓋率和準確率都提出了更高的要求。傳統(tǒng)搜索引擎主要針對表層網(wǎng)絡數(shù)據(jù)進行處理，卻忽略了大部分存儲在站點數(shù)據(jù)庫中，隱藏在查詢接口后的HiddenWeb資源。這些資源具有面向領(lǐng)域和權(quán)威化的特點，有效地獲取這些資源將對提高網(wǎng)絡信息覆蓋率和準確率具有非常重要的作用。
　　本文按照訪問HiddenWeb資源的基本流程，在對HiddenWeb站點頁面特征進行分析的基礎上，從查詢接口檢

2、測，表單信息抽取和表單填充三個方面對HiddenWeb信息搜集系統(tǒng)的幾個關(guān)鍵技術(shù)進行了研究。
　　1.查詢接口檢測技術(shù)。查詢接口是訪問HiddenWeb數(shù)據(jù)庫的唯一接口。本文提出了一種將表單分類器與啟發(fā)式規(guī)則相結(jié)合的方法進行查詢接口的檢測。實驗證明該方法可以較準確地從普通頁面中檢測出HiddenWeb資源的入口。
　　2.表單信息抽取技術(shù)。本文對已知查詢接口表單構(gòu)建DOM樹，利用DOM樹結(jié)構(gòu)分析，對查詢表單中的信息進行抽取。