基于統(tǒng)計(jì)的網(wǎng)頁質(zhì)量評價(jià)技術(shù)研究與實(shí)現(xiàn).pdf

1、論隨著Internet/Intranet相關(guān)技術(shù)的發(fā)展，網(wǎng)上信息量迅速膨脹，但同時(shí)，網(wǎng)絡(luò)信息的質(zhì)量良莠不齊。為了更有效利用網(wǎng)絡(luò)信息資源，如何對網(wǎng)信息資源的質(zhì)量進(jìn)行評價(jià)越來越成為一個(gè)迫切的課題。目前，許多國內(nèi)外者，給出了網(wǎng)絡(luò)信息資源評價(jià)對象、評價(jià)指標(biāo)及評價(jià)方法等；同時(shí)，對網(wǎng)絡(luò)取得了顯資源的評價(jià)也取得一定的發(fā)展，其中基于鏈接關(guān)系的網(wǎng)頁質(zhì)量評價(jià)著的效果，并產(chǎn)生了經(jīng)典的方法，如PageRank，HITS等。然而并沒有針對壇這種用戶占主導(dǎo)性的網(wǎng)頁

2、的質(zhì)量評價(jià)，本文提出了基于統(tǒng)計(jì)的評價(jià)，采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)對論壇網(wǎng)頁的質(zhì)量評價(jià)。網(wǎng)頁質(zhì)量絡(luò)學(xué)
　　本文采用機(jī)器學(xué)習(xí)的方法，針對特定領(lǐng)域的論壇，進(jìn)行網(wǎng)頁質(zhì)量評價(jià)，主要從論壇網(wǎng)頁的瀏覽數(shù)、回復(fù)數(shù)、正文長度、正文包含關(guān)鍵詞的個(gè)數(shù)等方面來衡量一篇網(wǎng)頁的質(zhì)量。
　　表網(wǎng)頁的對列表網(wǎng)法實(shí)現(xiàn)網(wǎng)合的方法，提取網(wǎng)征，實(shí)現(xiàn)模型的訓(xùn)練和對網(wǎng)頁質(zhì)量的判斷，在模型的訓(xùn)練過程中，主要解決了特征詞的提用over-sampling方法解決非平衡數(shù)據(jù)集

3、問題。本文首先研究論壇網(wǎng)頁的抓取功能，包括列表網(wǎng)頁的識別和列內(nèi)容抽取，列表網(wǎng)頁的識別從網(wǎng)頁結(jié)構(gòu)和網(wǎng)頁內(nèi)容兩方面著手，而頁的內(nèi)容抽取則采用基于相似度的方法；其次，采用基于統(tǒng)計(jì)的方頁正文的抽取工作；再次，采用編碼范圍和n-gram語言模型相結(jié)實(shí)現(xiàn)對未指明編碼方式的網(wǎng)頁的編碼識別；最后，利用最大熵模型頁的內(nèi)容特取和非平衡數(shù)據(jù)集的訓(xùn)練兩個(gè)問題，其中提出投票法來實(shí)現(xiàn)特征詞的提取，而采用經(jīng)典的
　　本文的研究有利于實(shí)現(xiàn)論壇網(wǎng)頁的信息過濾，使網(wǎng)