超大規(guī)模語(yǔ)料精加工技術(shù)研究與實(shí)現(xiàn).pdf

1、在自然語(yǔ)言處理領(lǐng)域,高質(zhì)量的標(biāo)注語(yǔ)料在信息處理中有重要的應(yīng)用價(jià)值,語(yǔ)料庫(kù)質(zhì)量的好壞直接影響到中文信息處理的各項(xiàng)后續(xù)工作的展開(kāi)。對(duì)標(biāo)注語(yǔ)料的高質(zhì)量精加工要求也迫切至極。現(xiàn)有的語(yǔ)料標(biāo)注問(wèn)題比較多,傳統(tǒng)的手工校對(duì)方式已經(jīng)不能適應(yīng)建設(shè)高質(zhì)量、大規(guī)模語(yǔ)料庫(kù)的要求。致力于該問(wèn)題,本文做了如下工作:
　　 1.對(duì)于自動(dòng)分詞和詞性標(biāo)注中的歧義消解問(wèn)題,包括組合型、交集型、兼類(lèi)詞歧義,利用CRF、RFR SUM、NaiveBayes、基于知網(wǎng)的語(yǔ)

2、義相似度模型等,在傳統(tǒng)的詞形、詞性特征的基礎(chǔ)上,探索增加更多的語(yǔ)言學(xué)特征,并采用多分類(lèi)器集成的方法進(jìn)行歧義的消解處理。
　　 2.對(duì)于新詞識(shí)別,我們利用基于構(gòu)詞規(guī)則和基于語(yǔ)料統(tǒng)計(jì)相結(jié)合的方法,在大規(guī)模語(yǔ)料中自動(dòng)抽取新詞。
　　 3.對(duì)于命名實(shí)體的處理,采用程序抽取為主,人工干預(yù)為輔的方法,對(duì)語(yǔ)料中候選的人名、地名等進(jìn)行改正處理,并結(jié)合中文用語(yǔ)的特點(diǎn),進(jìn)行了基于語(yǔ)篇的命名實(shí)體識(shí)別處理。此外,采用基于知識(shí)庫(kù)和相關(guān)領(lǐng)域常用詞,

3、如天氣領(lǐng)域等典型詞作為基本種子來(lái)進(jìn)行擴(kuò)散處理等諸多方法,進(jìn)行了成語(yǔ)、天氣預(yù)報(bào)用語(yǔ)、時(shí)間短語(yǔ)、數(shù)量短語(yǔ)等的校對(duì)標(biāo)注處理。
　　 4.在上述加工方法的基礎(chǔ)上,建立了一個(gè)人機(jī)交互式語(yǔ)料精加工平臺(tái),大大減輕了人工標(biāo)注的負(fù)擔(dān)以實(shí)現(xiàn)自動(dòng)化的高效語(yǔ)料加工。
　　 為了驗(yàn)證該平臺(tái)的實(shí)用性,對(duì)2001～2004年的《人民日?qǐng)?bào)》語(yǔ)料和1991～2004年的《新華社》語(yǔ)料進(jìn)行了精加工處理。處理結(jié)果顯示,本文的方法可以有效地提高語(yǔ)料加工的質(zhì)量,