漢語并列結(jié)構(gòu)的自動(dòng)識(shí)別.pdf

1、并列結(jié)構(gòu)的自動(dòng)識(shí)別對(duì)提高自動(dòng)句法分析器的性能和工作效率具有重要意義，同時(shí)該識(shí)別結(jié)果可以直接應(yīng)用于機(jī)器翻譯、信息抽取等領(lǐng)域。以往對(duì)并列結(jié)構(gòu)的研究大部分是進(jìn)行理論探討，少部分的自動(dòng)識(shí)別研究也是針對(duì)比較簡(jiǎn)單的并列結(jié)構(gòu)。本文在為提高完全句法分析性能的前提下，利用大規(guī)模語料庫，分別展開了基于規(guī)則和基于機(jī)器學(xué)習(xí)方法的并列結(jié)構(gòu)自動(dòng)識(shí)別研究。 本文首先分析了賓州中文樹庫中并列結(jié)構(gòu)的語言學(xué)特征，主要從并列結(jié)構(gòu)內(nèi)部和外部?jī)蓚€(gè)方面進(jìn)行考察。內(nèi)部特征主

2、要考察了并列結(jié)構(gòu)中并列成分的詞性序列分布，并列結(jié)構(gòu)的平行性和嵌套并列結(jié)構(gòu)；外部特征主要考察了并列結(jié)構(gòu)的左邊界特征詞和右邊界特征詞。這些統(tǒng)計(jì)和分析結(jié)果可以為計(jì)算機(jī)自動(dòng)識(shí)別并列結(jié)構(gòu)提供豐富的語言學(xué)知識(shí)。 本文分析了并列結(jié)構(gòu)的相似性，以及邊界特征詞分布的規(guī)則性，探索了基于規(guī)則方法的并列結(jié)構(gòu)自動(dòng)識(shí)別。具體地，根據(jù)并列成分中心詞詞性，將并列結(jié)構(gòu)分為五大類，分別針對(duì)每類并列結(jié)構(gòu)特點(diǎn)實(shí)現(xiàn)自動(dòng)識(shí)別。 本文實(shí)現(xiàn)了基于最大熵模型的并列結(jié)構(gòu)自

3、動(dòng)識(shí)別。該方法將并列結(jié)構(gòu)的自動(dòng)識(shí)別轉(zhuǎn)化為一個(gè)分類問題，根據(jù)連接詞的位置分別向左和向右搜索出并列結(jié)構(gòu)的左右邊界。本文根據(jù)并列結(jié)構(gòu)呈現(xiàn)的特點(diǎn)，分析了探索了適合并列結(jié)構(gòu)邊界識(shí)別的上下文特征。為了減少因數(shù)據(jù)稀疏導(dǎo)致的識(shí)別錯(cuò)誤，本文使用錯(cuò)誤驅(qū)動(dòng)的方法對(duì)最大熵的識(shí)別結(jié)果進(jìn)行了校正。該方法首先對(duì)最大熵識(shí)別出的錯(cuò)誤并列結(jié)構(gòu)內(nèi)部信息進(jìn)行分析，獲得候選校正規(guī)則集；然后，利用評(píng)價(jià)函數(shù)進(jìn)行規(guī)則篩選，得到最終的校正規(guī)則集；最后，利用校正規(guī)則集對(duì)基于最大熵模型的自