分布式網(wǎng)上信息實時監(jiān)控和動態(tài)采集系統(tǒng).pdf

1、隨著寬帶接入技術(shù)的發(fā)展，人們通過Internet查詢信息變得越來越方便快捷。作為全球最大的信息資源網(wǎng)，Internet為人們提供了取之不盡用之不竭的信息資源。IE的WWW瀏覽器為人們在網(wǎng)上搜索信息提供了方便，但它采用的是一種人工操作方式，無法實現(xiàn)實時動態(tài)自動獲取信息。在一些大中型企業(yè)、新聞機構(gòu)、政府部門以及一些門戶網(wǎng)站等，都很需要實現(xiàn)一種功能，即由計算機實時動態(tài)采集網(wǎng)上信息，并對所采集的信息進行審核處理。為此，本文作者提出了網(wǎng)上信息實時

2、動態(tài)采集系統(tǒng)這一課題。 系統(tǒng)建立在分布式多線程體系結(jié)構(gòu)上，采用先進的結(jié)構(gòu)化多模塊組合設(shè)計，使得在Internet這種大數(shù)據(jù)量、大訪問量的環(huán)境下，系統(tǒng)保持高速、穩(wěn)定，以滿足用戶對許多個網(wǎng)站同時實時動態(tài)采集的要求。整個系統(tǒng)由監(jiān)控子系統(tǒng)、采集子系統(tǒng)、分析審核子系統(tǒng)、高級檢索子系統(tǒng)和管理子系統(tǒng)等組成。系統(tǒng)可以靈活地配置為集中式或分布式方式，在用戶所監(jiān)控采集的信息量不大的場合下，可以采用集中式方式，即所有子系統(tǒng)運行在同一臺聯(lián)入Intern

3、et的機器上，同時完成監(jiān)控、采集和審核處理工作；在用戶所動態(tài)采集的信息量較大的場合下，可以采用分布式方式，其中監(jiān)控子系統(tǒng)和采集子系統(tǒng)運行在一臺或多臺聯(lián)入Internet的前臺機上，完成信息的監(jiān)控采集工作，而審核處理子系統(tǒng)、高級檢索子系統(tǒng)等則運行在后臺服務(wù)器上，處理來自前臺機的信息。 本系統(tǒng)對各類企事業(yè)單位進行網(wǎng)上信息的收集利用提供了一個高效的手段，如政府管理部門可以利用這一功能對互聯(lián)網(wǎng)上信息進行實時監(jiān)控；新聞媒體可用它實時收集一