中文命名實(shí)體識別的研究.pdf

1、中文命名實(shí)體識別是自然語言處理的基礎(chǔ)任務(wù)，是機(jī)器翻譯、信息檢索、問答系統(tǒng)等技術(shù)的基礎(chǔ)，研究并實(shí)現(xiàn)有效的中文命名實(shí)體識別方法是本文的主要研究內(nèi)容。 本文主要采用基于機(jī)器學(xué)習(xí)的方法完成命名實(shí)體識別任務(wù)。 首先，通過分析中文人名、地名的特點(diǎn)，以抽取合適的特征；定義科學(xué)的特征模板，并建立了一種基于條件隨機(jī)場(CRFs)的中文命名實(shí)體識別模型。通過對CRFs的識別結(jié)果進(jìn)行分析，發(fā)現(xiàn)CRFs模型中給出的錯(cuò)誤標(biāo)記大都擁有較小的邊緣概率

2、，用邊緣概率定位到CRFs模型中可能的錯(cuò)誤標(biāo)記，并分別引入了概率統(tǒng)計(jì)方法和邊界模板的方法對這部分標(biāo)記進(jìn)行修正，以優(yōu)化系統(tǒng)的識別效果。實(shí)驗(yàn)證明，這兩種混合模型的識別效果明顯好于單純的CRFs方法。 另外，提出一種基于Max-Margin Markov Networks模型的地名識別方法。Max-Margin Markov Networks模型將Max-Margin的思想應(yīng)用于馬爾可夫網(wǎng)絡(luò)。它綜合了支持向量機(jī)(Support vec

3、tor Machine，SVM)模型和無向圖模型的優(yōu)點(diǎn)。通過地名識別的實(shí)驗(yàn)證明，在相同的語料、特征和特征模板的條件下，基于Max-Margin Markov Networks模型的識別效果好于CRFs和SVM模型。 最后，提出了一種基于概率特征函數(shù)的CRFs模型。CRFs模型是目前最優(yōu)秀的機(jī)器學(xué)習(xí)模型之一，它定義的特征函數(shù)全部是0、1二值形式的，導(dǎo)致丟失一些有用的概率信息。本文在定義特征函數(shù)時(shí)融入了概率信息，以強(qiáng)化模型的學(xué)習(xí)能力