個(gè)性化的Web信息采集技術(shù)研究.pdf

1、隨著Web信息的爆炸性增長(zhǎng)，如何快速、準(zhǔn)確地從浩瀚的信息資源中尋找到所需信息已經(jīng)成為困擾人們的一大難題。傳統(tǒng)搜索引擎技術(shù)滿足了人們一定的需要，但由于其通用的性質(zhì)，仍然不能滿足不同背景、不同目的和不同時(shí)期的用戶個(gè)性化的需求。個(gè)性化Web信息采集就是針對(duì)這個(gè)問題而提出來的。個(gè)性化Web信息采集的研究目標(biāo)在于充分利用用戶的個(gè)性化信息，通過用戶興趣制導(dǎo)或與用戶交互等靈活手段來采集’Web信息，充分利用網(wǎng)絡(luò)信息，以更好地服務(wù)于用戶的個(gè)性化需求。

2、 圍繞個(gè)性化Web信息采集系統(tǒng)PSearch，論文的主要工作包括以下幾個(gè)方面： (1)用戶興趣個(gè)性化信息的獲取。分析了用戶興趣個(gè)性化信息的收集和更新，重點(diǎn)從用戶需求擴(kuò)展、特征選擇，以及文本聚類分析三個(gè)方面來做了分析和實(shí)驗(yàn)。 當(dāng)捕獲用戶當(dāng)前的瀏覽行為時(shí)，根據(jù)用戶當(dāng)前瀏覽內(nèi)容的計(jì)算結(jié)果，選擇那些跟用戶需求關(guān)鍵詞相似度最大的詞擴(kuò)展進(jìn)來，從而保證了擴(kuò)展詞的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，通過這樣的需求擴(kuò)展確實(shí)獲得了用戶的當(dāng)前個(gè)性化興趣

3、。 隱式收集用戶興趣在本質(zhì)上與文本分類中的特征選擇問題相似。隱式收集用戶興趣可以借鑒文本特征選擇方法來實(shí)現(xiàn)用戶興趣的收集。實(shí)驗(yàn)結(jié)果表明在用戶興趣個(gè)性化信息的獲取中，信息增益方法效果較佳。 如果能夠?qū)τ脩魹g覽的頁面聚類，就能夠得到用戶具體感興趣的主題。隱式收集用戶興趣可以借鑒文本聚類分析來實(shí)現(xiàn)用戶興趣的收集。實(shí)驗(yàn)結(jié)果表明在用戶興趣個(gè)性化信息的獲取中，Bisecting K-means是一個(gè)合適的選擇。 (2)待采頁

4、面的選擇。根據(jù)頁面在Web上的分布特征，分析了個(gè)性化Web信息采集系統(tǒng)PSearch的種子URL設(shè)置、頁面采集過程、已采頁面與用戶興趣的相關(guān)度判定和待采URL與用戶興趣的相關(guān)度預(yù)測(cè)，提出了PSearch頁面選擇算法。實(shí)驗(yàn)結(jié)果表明PSearch頁面選擇算法的采集準(zhǔn)確性要明顯優(yōu)于廣度優(yōu)先算法。 (3)相關(guān)度的判定。借鑒了信息檢索中的分類過程，實(shí)驗(yàn)結(jié)果表明，在PSearch的相關(guān)度判定中kNN的性能較佳。提出了PSearch頁面推薦算