Web文本挖掘技術(shù)在網(wǎng)頁推薦中的應(yīng)用研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，目前Web成為了世界上最大的數(shù)據(jù)源。這些信息在頁面上的分布廣且無固定結(jié)構(gòu)，因此面對龐大復(fù)雜的信息，人們獲得有用的知識顯得越來越困難，同時也難以滿足用戶對感興趣的知識的渴求。在這種背景下，推薦系統(tǒng)應(yīng)運而生。它根據(jù)用戶的愛好或者瀏覽信息的相關(guān)性給用戶推薦對象。
　　 本文主要研究Web文本挖掘技術(shù)在網(wǎng)站文本推薦中的應(yīng)用。首先根據(jù)前人研究成果提出一種基于該技術(shù)的模型，然后按照該模型的流程依次剖析Web頁面主要內(nèi)容的

2、提取、Web文本的聚類和一種改進的推薦算法。推薦算法作為模型核心，內(nèi)容的提取作為文本聚類算法和改進推薦算法的輸入，文本聚類則作為推薦算法中的預(yù)處理步驟。本文研究內(nèi)容如下:
　　 1，基于經(jīng)典推薦模型，結(jié)合Web文本的特點，設(shè)計出一個針對網(wǎng)站中文本的推薦模型。
　　 2，研究了Web頁面結(jié)構(gòu)的解析及如何從結(jié)構(gòu)化樹中查找到本頁面的主要內(nèi)容。推薦內(nèi)容的總學(xué)習(xí)數(shù)據(jù)庫可以通過網(wǎng)絡(luò)爬蟲獲取，同時利用深度優(yōu)先算法構(gòu)建DOM（Docum

3、entObjectModel）樹。利用剪枝技術(shù)剔除無用節(jié)點，最后提取出頁面主要內(nèi)容。
　　 3，Web文本的聚類研究。針對歐氏距離等常用距離的不足，提出近似推土機距離(approximateEMD)。利用近似EMD(EarthMover'sDistance)距離代替常規(guī)距離，使得實體間的度量更加精確。實驗采用中國科學(xué)院計算技術(shù)研究所的文本數(shù)據(jù)，基于歐氏距離的DBSCAN算法聚類的平均正確率是78.9％，基于EMD的改進算法的平均