基于文本密度和頁(yè)面結(jié)構(gòu)的網(wǎng)頁(yè)信息抽取技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來，隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的普遍發(fā)展，智能移動(dòng)設(shè)備以其高便攜性、即時(shí)性和應(yīng)用輕便等特性受到了越來越多人的青睞，手機(jī)不再只是簡(jiǎn)單的通訊工具，越來越多的人通過手機(jī)、平板電腦等移動(dòng)設(shè)備獲取最新的資訊信息。web是互聯(lián)網(wǎng)上最豐富和最密集的信息來源，隨著信息量的逐漸膨脹，網(wǎng)站上不僅僅顯示有價(jià)值的文本信息，同時(shí)還包含著廣告、圖片、導(dǎo)航欄等大量無(wú)關(guān)的干擾信息。根據(jù)Tomkins等人的研究顯示，網(wǎng)頁(yè)上噪音大約占40％～50％，但是移動(dòng)設(shè)備屏幕尺寸和PC

2、端相比較小，無(wú)法在屏幕中完全的展示PC端網(wǎng)頁(yè)的所有內(nèi)容，用戶需要花費(fèi)較長(zhǎng)的時(shí)間來操作滾動(dòng)條去尋找正文文本，這樣既耗費(fèi)時(shí)間也不利于頁(yè)面瀏覽。如何自適應(yīng)的將PC端海量的信息抽取出有價(jià)值的部分，形成有利于在移動(dòng)設(shè)備中瀏覽的網(wǎng)頁(yè)，成為了信息抽取技術(shù)領(lǐng)域亟待解決的問題。
　　一方面，現(xiàn)階段基于文本密度的網(wǎng)頁(yè)信息抽取方法，都是通過數(shù)據(jù)挖掘方法來獲取網(wǎng)頁(yè)信息，然而傳統(tǒng)的基于密度的網(wǎng)頁(yè)信息提取方法并不能有效的管理那些包含少量文本和大量噪音的頁(yè)面。

3、另一方面，現(xiàn)有的將網(wǎng)頁(yè)分塊技術(shù):一種是通過HTML標(biāo)簽的啟發(fā)式規(guī)則將網(wǎng)頁(yè)分塊，這種方法只適合較少標(biāo)簽時(shí)使用，一旦在大量基于特定標(biāo)簽的研究中使用的啟發(fā)式規(guī)則，會(huì)降低這些方法的普遍適用性;另一種方法是利用視覺啟發(fā)式規(guī)則。然而視覺為基礎(chǔ)的分塊方法還需要下載和解析樣式表，這將顯著影響工作效率。
　　針對(duì)上述問題，本文提出了一種綜合文本密度和網(wǎng)頁(yè)分塊相結(jié)合的抽取技術(shù)。首先，通過Webpage Block(N)算法將網(wǎng)頁(yè)粗略分段。接著，根據(jù)C

4、alculTextDens(N)算法計(jì)算每一個(gè)塊級(jí)元素的密度，一般主題信息總是包含大量的文本字符和較少的標(biāo)簽字符，而在噪音文本總是包含少量的文本字符和較多的標(biāo)簽字符，根據(jù)文本字符長(zhǎng)度和標(biāo)簽字符長(zhǎng)度的冪次關(guān)系計(jì)算密度，最后，根據(jù)設(shè)定的閾值剔除噪音信息。這種算法的優(yōu)點(diǎn)是即使一個(gè)網(wǎng)頁(yè)中包含大量的噪音信息，本文也可以準(zhǔn)確的把其中的少量的主題信息提取出來，因?yàn)樵谝话愕膫鹘y(tǒng)網(wǎng)頁(yè)中，主題信息具有完整的結(jié)構(gòu)，不會(huì)分散的存在與網(wǎng)頁(yè)中，一旦將網(wǎng)頁(yè)分塊計(jì)算出

5、密度，就可以根據(jù)密度值，判斷塊級(jí)元素的屬性。
　　論文的創(chuàng)新點(diǎn)如下:
　　(1)通過對(duì)網(wǎng)頁(yè)結(jié)構(gòu)的分析，本文提出了一個(gè)Webpage Block(N)分塊的算法，該算法通過判斷頁(yè)面中標(biāo)簽的屬性，將頁(yè)面以最小塊級(jí)元素為單位分割，這種方法能夠快速的將網(wǎng)頁(yè)分塊。
　　(2)提出了一種結(jié)合文本密度和頁(yè)面結(jié)構(gòu)分析的網(wǎng)頁(yè)提取算法，該方法在頁(yè)面分塊的基礎(chǔ)上計(jì)算出每個(gè)塊級(jí)元素的密度，然后根據(jù)設(shè)定的閾值提取主題信息，這種網(wǎng)頁(yè)抽取算法具有9