基于維基百科構(gòu)建語(yǔ)義知識(shí)庫(kù)及其在文本分類(lèi)領(lǐng)域的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展和互聯(lián)網(wǎng)的迅速普及，越來(lái)越多的人們開(kāi)始使用互聯(lián)網(wǎng)進(jìn)行信息獲取。在如今信息發(fā)達(dá)的時(shí)代，如何從海量的文本信息中獲取其豐富的語(yǔ)義知識(shí)、如何利用這些語(yǔ)義知識(shí)為現(xiàn)有的自然語(yǔ)言處理提供可靠的服務(wù)，成為了一個(gè)非常重要的研究課題。
　　 研究發(fā)現(xiàn)目前語(yǔ)義知識(shí)的來(lái)源大致可以分為兩類(lèi)：一類(lèi)是人工構(gòu)造的語(yǔ)義知識(shí)庫(kù)(如Hownet)；另一類(lèi)是大規(guī)模的真實(shí)文本，包括互聯(lián)網(wǎng)上的海量文本、各種離線文本集合(如各種規(guī)模的語(yǔ)料庫(kù))，各種百

2、科知識(shí)庫(kù)(如維基百科等)。研究表明：人工構(gòu)造的語(yǔ)義知識(shí)庫(kù)已經(jīng)很難滿足日益增長(zhǎng)的網(wǎng)絡(luò)信息處理的需求。因此，本文提出了從一定規(guī)模的維基百科語(yǔ)料庫(kù)中自動(dòng)構(gòu)建知識(shí)庫(kù)的方法。本文的主要工作包含以下幾個(gè)方面：
　　 ⑴本文在知識(shí)的形式化表示方面采用了以語(yǔ)義標(biāo)簽為指代，語(yǔ)義指紋來(lái)刻畫(huà)語(yǔ)義的方法。該表示方法認(rèn)為每一個(gè)概念(詞條)都是有一定的背景信息作為支撐，并且提出了以概率公式來(lái)量化語(yǔ)義指紋對(duì)語(yǔ)義標(biāo)簽的貢獻(xiàn)度。該表示方法借鑒了人工知識(shí)庫(kù)顯式表征

3、語(yǔ)義知識(shí)的策略，并引入了概率信息，從而更精準(zhǔn)的描述語(yǔ)義，并且可以很方便的融入到現(xiàn)有的文本計(jì)算模型中去。
　　 ⑵本文利用所提出的語(yǔ)義標(biāo)簽、語(yǔ)義指紋形式化表示知識(shí)單元的方法，針對(duì)一定規(guī)模的維基百科語(yǔ)料庫(kù)進(jìn)行了預(yù)處理、語(yǔ)義標(biāo)簽選取、相關(guān)概念抽取、貢獻(xiàn)度值的確定等操作，對(duì)維基百科頁(yè)面之間的豐富鏈接關(guān)系進(jìn)行挖掘，建立起了一個(gè)維基百科語(yǔ)義知識(shí)庫(kù)。
　　 ⑶為了證明該語(yǔ)義知識(shí)庫(kù)的有效性。結(jié)合之前對(duì)中文文本分類(lèi)的研究，本文提出了利用該