垂直搜索引擎中Web信息抽取技術(shù)研究.pdf

1、目前Web上的資源日益增多，為更有效地利用這些資源，近年來(lái)產(chǎn)生了垂直搜索引擎。它是面向?qū)I(yè)或主題的搜索引擎，只采集與專業(yè)或主題相關(guān)的信息，這樣就需要從Web頁(yè)面等資源中抽取出特定的主題信息，本文的研究重點(diǎn)正是從Web頁(yè)面中抽取與特定主題相關(guān)的信息。 針對(duì)目前Web信息抽取方法實(shí)現(xiàn)復(fù)雜等問(wèn)題，設(shè)計(jì)了一種基于標(biāo)簽序列的Web頁(yè)面主題信息抽取方法。該方法通過(guò)設(shè)定的策略和樣本建立抽取規(guī)則，構(gòu)建規(guī)則庫(kù)，借助規(guī)則庫(kù)實(shí)現(xiàn)對(duì)頁(yè)面主題信息抽取，這

2、樣降低了處理Web頁(yè)面過(guò)程的復(fù)雜性，并減少了頁(yè)面處理時(shí)間。通過(guò)應(yīng)用本方法抽取部分網(wǎng)站的手機(jī)參數(shù)頁(yè)面，表明該方法召回率和準(zhǔn)確率都比較高。 當(dāng)需要抽取的Web頁(yè)面結(jié)構(gòu)發(fā)生變化而出現(xiàn)主題的新屬性時(shí)，目前已有的方法建立的分裝器并不能隨著這種變化準(zhǔn)確地發(fā)現(xiàn)主題的新屬性。針對(duì)該問(wèn)題，提出了一種基于可信度的Web頁(yè)面主題新屬性發(fā)現(xiàn)方法，通過(guò)對(duì)待抽取屬性和已抽取屬性的特點(diǎn)進(jìn)行分析，引入可信度理論，通過(guò)一系列規(guī)則和證據(jù)，量化待抽取屬性需要抽取的可