基于DOM和網(wǎng)頁模板的信息抽取.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為一個巨大的知識庫。為了有效地利用互聯(lián)網(wǎng)上的信息，信息抽取技術(shù)應(yīng)運(yùn)而生。信息抽取技術(shù)屬于人工智能的一個分支。使用信息抽取技術(shù)可以人性化地從網(wǎng)頁中把人們需要的信息抽取出來。本文首先介紹了信息抽取技術(shù)的發(fā)展歷史，國內(nèi)外的研究狀況，并把信息抽取技術(shù)與幾種相關(guān)技術(shù)作比較。接著，本文對信息抽取技術(shù)進(jìn)行簡要的分析，闡述了信息抽取技術(shù)的關(guān)鍵任務(wù)、主要研究方法、體系結(jié)構(gòu)和評價(jià)標(biāo)準(zhǔn)。 本文研究的信息抽取技術(shù)是基于

2、DOM(文檔結(jié)構(gòu)模型)和網(wǎng)頁模板的。DOM是W3C的一個標(biāo)準(zhǔn)，它能夠很好的描述網(wǎng)頁結(jié)構(gòu)。參照DOM的定義，本文通過構(gòu)造HTML解析樹來描述網(wǎng)頁結(jié)構(gòu)。 考慮到互聯(lián)網(wǎng)上的網(wǎng)頁大多是通過網(wǎng)頁模板生成的，因此在參考前人的研究成果上，本文提出了一種歸納網(wǎng)頁模板的新方法，它能很好地對以表格為布局元素的網(wǎng)頁進(jìn)行模板歸納。通過歸納網(wǎng)頁模板，可以減少網(wǎng)頁中的噪音信息，從而能夠提高信息抽取的準(zhǔn)確率。 本文的抽取規(guī)則是基于DOM的路徑生成的。

3、與一般的基于絕對路徑的抽取規(guī)則不同，本文的抽取規(guī)則是基于相對路徑的?；谙鄬β窂降某槿∫?guī)則能減輕因?yàn)榫W(wǎng)頁結(jié)構(gòu)的變動而對信息抽取造成的影響。并且，基于相對路徑的抽取規(guī)則還有自適應(yīng)性。當(dāng)網(wǎng)頁結(jié)構(gòu)完全變化時，抽取規(guī)則也能重新的自動生成。 為了驗(yàn)證本文理論的可行性，本文開發(fā)了一個可視化的網(wǎng)頁抽取器，并就生成HTML解析樹、歸納網(wǎng)頁模板、生成基于相對路徑的抽取規(guī)則和使用抽取規(guī)則抽取網(wǎng)頁信息進(jìn)行詳細(xì)的介紹。最后，本文給出了歸納網(wǎng)頁模板和抽取