基于Wikipedia的中文命名實(shí)體識別研究.pdf

1、在中文自然語言處理中，命名實(shí)體識別(NER)是中文自動分詞的一個(gè)重要步驟：同時(shí)，由于命名實(shí)體的識別課題必須解決詞的邊界界定、上下文歧義的消除、未登錄詞的識別、實(shí)體本身的多種特征定義等問題，這讓它成為了一個(gè)不可回避的研究難點(diǎn)。在國內(nèi)外的眾多研究中，使用語料數(shù)據(jù)和概率機(jī)器學(xué)習(xí)模型的集合來解決命名實(shí)體識別問題，確定了比其他方法更好的效果。 Wikipedia是一個(gè)自由、免費(fèi)、內(nèi)容開放的多語言百科全書協(xié)作計(jì)劃。除了龐大數(shù)據(jù)量，Wikip

2、edia本身特殊的組織結(jié)構(gòu)具有更大的研究價(jià)值。Indri是一個(gè)優(yōu)秀的基于語言模型的開源實(shí)驗(yàn)搜索引擎，具有優(yōu)秀的檢索性能和多語言適應(yīng)能力。本文分析了Wikipedia的條目、分類、重定向、鏈接等結(jié)構(gòu)特點(diǎn)，并使用Indri 搜索引擎建立數(shù)據(jù)索引，作為命名實(shí)體識別系統(tǒng)的詞典索引及訓(xùn)練語料來源，通過檢索的方式為識別模型提供數(shù)據(jù)信息。 在解決序列標(biāo)注問題方面，條件隨機(jī)場(CRFs)是一個(gè)基于無向圖的機(jī)器學(xué)習(xí)模型，它的訓(xùn)練精度高于HMMs、

3、MEMMs等模型，能得到全局最優(yōu)結(jié)果，并避免了標(biāo)識偏向問題。 本文提出了一種基于Wikipedia數(shù)據(jù)庫得到的數(shù)據(jù)索引，使用CRFs作為識別模型的中文命名實(shí)體識別方法，即SYSUNER。我們使用了從Wikipedia數(shù)據(jù)庫抽取出的訓(xùn)練語料進(jìn)行序列標(biāo)注訓(xùn)練，并提出了最大匹配粗分詞算法進(jìn)行粗分詞，然后使用CRFs模型進(jìn)行命名實(shí)體標(biāo)注。在SYSUNER中，我們定義了人名(PN)、地名(LN)、組織機(jī)構(gòu)名(ON)、名詞縮寫(AN)等4中

4、命名實(shí)體，并定義了多種相關(guān)的文法特征和CRFs模型的特征模板。為了提高精度，我們還引入了N最佳標(biāo)注選取算法在多種標(biāo)注結(jié)果中選取最優(yōu)標(biāo)注序列，引入動態(tài)更新詞典機(jī)制把新詞加入系統(tǒng)詞典。開放性測試和對比測試的結(jié)果顯示，SYSUNER的平均召回率和準(zhǔn)確率分別都達(dá)到了83.20％和85.50％，處于領(lǐng)域的先進(jìn)水平。而我們引入的多種優(yōu)化機(jī)制也確實(shí)提高了系統(tǒng)的性能。同時(shí)，我們證實(shí)了，把中文Wikipedia數(shù)據(jù)庫用于中文命名實(shí)體識別研究是行之有效的。