搜索引擎分類展示技術(shù)研究.pdf

1、隨著科學(xué)技術(shù)的進(jìn)步,互聯(lián)網(wǎng)技術(shù)和通信技術(shù)也得以蓬勃發(fā)展。網(wǎng)絡(luò)信息含量逐漸呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)。人們也越來(lái)越習(xí)慣通過(guò)網(wǎng)絡(luò)獲取自己所需的信息資源。但是,信息膨脹在為網(wǎng)絡(luò)用戶帶來(lái)便利的同時(shí),也在某種程度上增加了他們的困擾:要在浩瀚的信息海洋中快速定位目標(biāo)已經(jīng)變得越來(lái)越困難。為了解決這一問(wèn)題,本文對(duì)搜索引擎分類展示技術(shù)進(jìn)行了研究,試圖通過(guò)合適的類別體系為用戶提供指引,幫助其減少不必要的時(shí)間浪費(fèi)。
　　本文將搜索引擎分類展示的實(shí)現(xiàn)過(guò)程劃分

2、為兩部分:其一作為分類模塊,用來(lái)對(duì)網(wǎng)頁(yè)類別進(jìn)行標(biāo)識(shí);其二作為搜索引擎模塊,用來(lái)建立分類索引和分類檢索,為用戶實(shí)現(xiàn)最終的分類展示。在分類模塊中,首先要對(duì)網(wǎng)頁(yè)集合進(jìn)行預(yù)處理工作,將網(wǎng)頁(yè)由文本形式轉(zhuǎn)換為空間向量形式。本文提出了基于網(wǎng)頁(yè)分塊的正文抽取算法,通過(guò)判斷標(biāo)簽樹中的節(jié)點(diǎn)找到網(wǎng)頁(yè)正文,再利用基于文檔頻率的特征提取算法過(guò)濾文本中區(qū)分度過(guò)低的詞語(yǔ),來(lái)實(shí)現(xiàn)網(wǎng)頁(yè)向空間向量的轉(zhuǎn)化。然后是對(duì)文本分類器進(jìn)行訓(xùn)練,本文采取基于決策樹的方法對(duì)支持向量機(jī)二元

3、分類器進(jìn)行擴(kuò)展,以解決多類別分類問(wèn)題,并提出更加適用于層次分類的多重特征選擇技術(shù),文本在不同類別層次使用不同的特征向量表示,并且同一文本特征在不同層次分類器被賦予不同的權(quán)值,提高了層次體系中的分類精度。在搜索引擎模塊中,本文采用開源搜索引擎 Lucene作為系統(tǒng)實(shí)現(xiàn)的基礎(chǔ)架構(gòu),利用 Lucene索引文件中域的概念建立分類索引,在索引中存入網(wǎng)頁(yè)的類別信息。當(dāng)用戶希望查看某一類別搜索結(jié)果時(shí),通過(guò)對(duì)該類別層次所在的域進(jìn)行檢索,就可以為用戶提供