垂直搜索引擎技術(shù)的研究和應(yīng)用.pdf

1、互聯(lián)網(wǎng)的信息量呈爆炸趨勢增長，增強了人們對搜索技術(shù)的依賴性。搜索引擎是開啟網(wǎng)絡(luò)知識殿堂的鑰匙，獲取知識信息的工具。但隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，獲取更加準(zhǔn)確、更加詳細(xì)、更加深層的專業(yè)信息，成為對搜索引擎提出的新要求。因此，面向主題的垂直搜索引擎系統(tǒng)應(yīng)運而生。 本文主要的研究工作分為兩個部分：第一部分通過理論研究分析，揭示垂直搜索引擎的現(xiàn)實意義；第二部分通過對垂直搜索擎的核心技術(shù)進(jìn)行剖析，結(jié)合對奧運信息的需求，設(shè)計并實現(xiàn)一個垂直搜索引

2、擎的原型系統(tǒng)。主要內(nèi)容為： (1)詳細(xì)介紹了垂直搜索引擎技術(shù)的研究意義，國內(nèi)外發(fā)展現(xiàn)狀、基本原理。提出了目前搜索引擎所面臨的問題以及解決問題的途徑，即本文所研究的方向：垂直搜索引擎。通過和搜索引擎在信息服務(wù)和關(guān)鍵技術(shù)上的比較分析，指出垂直搜索引擎的巨大優(yōu)勢。重點論述了垂直搜索引擎的基本原理和工作流程。 (2)垂直搜索引擎的關(guān)鍵問題研究，重點論述垂直搜索引擎設(shè)計與實現(xiàn)時的關(guān)鍵問題：信息采集技術(shù)，信息預(yù)處理技術(shù)等。

3、作為主題網(wǎng)絡(luò)蜘蛛搜索策略的核心部分，主題相關(guān)性判斷算法是網(wǎng)絡(luò)蜘蛛能夠圍繞設(shè)定主題進(jìn)行聚焦檢索的關(guān)鍵。對于網(wǎng)頁的主題相關(guān)性判別，使用目前較為常用的向量空間模型進(jìn)行判別。網(wǎng)絡(luò)機器人在爬行時要不斷地計算當(dāng)前網(wǎng)頁的主題相關(guān)度數(shù)值，并根據(jù)數(shù)值評價網(wǎng)頁的主題相關(guān)度，因此，它可以有效地避開大量無關(guān)主題區(qū)域，搜索出特定主題領(lǐng)域內(nèi)的相關(guān)網(wǎng)頁。所以，垂直搜索引擎的準(zhǔn)確率、召回率和效率都遠(yuǎn)勝于通用搜索引擎。 (3)具有垂直搜索引擎功能的奧運信息系統(tǒng)的