基于統(tǒng)計(jì)的中文新聞網(wǎng)頁分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息資源呈爆炸式增長，萬維網(wǎng)已經(jīng)成為擁有幾十億個(gè)Web頁面的分布式信息空間。在這海量的數(shù)字資源中，信息大都以半結(jié)構(gòu)化或者是非結(jié)構(gòu)化的數(shù)據(jù)形式存在，信息的存儲(chǔ)組織雜亂無章，要從其中迅速有效地獲得所需信息是非常困難的事情。因此，設(shè)法對(duì)網(wǎng)頁按照類別進(jìn)行分類存儲(chǔ)，是對(duì)網(wǎng)頁進(jìn)行有效組織的重要手段。在已分類的網(wǎng)頁集合中，尋找所需的信息將會(huì)更加容易。而傳統(tǒng)的手工分類方式顯然無法應(yīng)對(duì)海量的在線文檔。因此，研究對(duì)網(wǎng)頁的自

2、動(dòng)分類便具有重要意義。 本文研究對(duì)中文新聞網(wǎng)頁進(jìn)行自動(dòng)分類的技術(shù)和方法，所涉及的工作有： 提出一種基于條件隨機(jī)域模型的中文新聞網(wǎng)頁信息自動(dòng)提取方法。首先對(duì)網(wǎng)頁中不規(guī)范的HTML標(biāo)簽組織進(jìn)行自動(dòng)修正，然后將網(wǎng)頁表示成DOM樹形式。在提取有用信息時(shí)，對(duì)DOM樹形式的網(wǎng)頁內(nèi)容進(jìn)行深度遍歷，得到一個(gè)格式整齊、并為線性結(jié)構(gòu)的多行文本，最后利用訓(xùn)練好的條件隨機(jī)域標(biāo)注模型，對(duì)文本的每一行進(jìn)行標(biāo)注，從而得到各種有用信息的邊界。