基于詞跨度的網(wǎng)頁關(guān)鍵詞提取方法研究.pdf

1、關(guān)鍵詞常用于標(biāo)引論文主要內(nèi)容，信息檢索系統(tǒng)利用關(guān)鍵詞搜集以供讀者查閱。而當(dāng)今社會(huì)是互聯(lián)網(wǎng)時(shí)代，網(wǎng)頁上的信息量巨大，網(wǎng)絡(luò)應(yīng)用也越來越豐富，關(guān)鍵詞的重要性更加突出。
　　國外對(duì)于網(wǎng)頁關(guān)鍵詞提取的研究起步較早，美國 IBM公司的 H.P.Luhn首先提出關(guān)鍵詞自動(dòng)標(biāo)引，時(shí)至今天，已有近60年的發(fā)展歷程。ADM公司的Turney首次將遺傳算法和C4.5決策樹機(jī)器學(xué)習(xí)方法應(yīng)用在關(guān)鍵短語的自動(dòng)提取。網(wǎng)頁關(guān)鍵詞自動(dòng)提取方法的研究圍繞網(wǎng)頁的特殊性

2、，依據(jù)網(wǎng)頁跟普通文本的不同，充分利用網(wǎng)頁自帶的各種標(biāo)記對(duì)網(wǎng)頁關(guān)鍵詞進(jìn)行自動(dòng)提取。
　　常用的關(guān)鍵詞提取算法有基于統(tǒng)計(jì)的方法、基于語義的方法和基于詞語網(wǎng)絡(luò)的方法，本文在已有算法的基礎(chǔ)上給出了一種基于詞跨度的網(wǎng)頁關(guān)鍵詞提取方法，依靠網(wǎng)頁面的特殊性，充分利用網(wǎng)頁中的各種標(biāo)識(shí)對(duì)文本進(jìn)行分析，然后利用詞語在文章內(nèi)容中第一次出現(xiàn)的位置和最后一次出現(xiàn)的位置以及該詞在文中出現(xiàn)過的段落數(shù)與全文段落總數(shù)的比值等因素，改進(jìn)了算法的權(quán)重計(jì)算公式，有利于降

3、低局部關(guān)鍵詞對(duì)提取結(jié)果的影響，同時(shí)本文算法還充分考慮了詞頻因子，詞性因子，詞位置因子，詞長因子，是否出現(xiàn)在提示詞之后等多種特征因子，通過對(duì)這些因子進(jìn)行權(quán)重計(jì)算提取關(guān)鍵詞。另外，本算法所生成的高頻組合詞的應(yīng)用也有利于提高算法的精確度。傳統(tǒng)的算法由于考慮的因素較少，考慮的特征項(xiàng)也不多，因而整體效果不如本文的算法。實(shí)驗(yàn)結(jié)果表明：與傳統(tǒng)算法相比，本文的算法在召回率和準(zhǔn)確率上有了明顯的提高，且隨著測(cè)試集數(shù)量的增多，測(cè)試效果越明細(xì)。同時(shí)對(duì)于不同長度