韻律短語(yǔ)預(yù)測(cè)韻律和句法結(jié)構(gòu)的交叉依賴性

1、XIMERA中的漢語(yǔ)語(yǔ)音合成技術(shù)倪 晉富　坂井 信輔　中村 哲 （NICT/ATR-SLC）(2008/03/22),日本中國(guó)語(yǔ)學(xué)會(huì)關(guān)東支部擴(kuò)大會(huì)議?中央大學(xué),發(fā)表概要,語(yǔ)音合成系統(tǒng)概述 演示 相關(guān)工作,語(yǔ)調(diào)轉(zhuǎn)換 韻律再合成 強(qiáng)化虛詞處理,語(yǔ)音合成系統(tǒng)略圖,源濾波器型合成器,波形拼接型合成器,注：語(yǔ)音合成系統(tǒng)合成語(yǔ)音，但現(xiàn)在的合成系統(tǒng)并不具有文本理解能力。,,,分詞、詞性標(biāo)記及發(fā)音生成,,詞典,語(yǔ)言模型,文本規(guī)

2、范化,,口語(yǔ)規(guī)則,,,口語(yǔ)規(guī)則,,,語(yǔ)音參數(shù)預(yù)測(cè),,聲學(xué)模型,,單元選擇及波形拼接,,語(yǔ)音數(shù)據(jù)庫(kù),,輸入文本,輸出合成語(yǔ)音,,,,說(shuō)什么,,,,怎么說(shuō),房?jī)r(jià)是＄150。,房?jī)r(jià)是一百五十美元。,房?jī)r(jià) 是 一百五十 美元 。 名詞 動(dòng)詞 數(shù)詞 名詞 符號(hào) fang2jia4 shi4 yi1bai2wu3shi2mei3yuan2,1 句子基頻曲線2 音素時(shí)長(zhǎng)參數(shù)3 能量參數(shù)4 譜參數(shù),XIMERA漢語(yǔ)語(yǔ)

3、音合成概述,韻律詞及短語(yǔ)預(yù)測(cè),文本規(guī)范化,符號(hào),數(shù)詞,詞典構(gòu)成,,(290,624條漢語(yǔ)詞及符號(hào)),語(yǔ)言模型,分詞及詞性標(biāo)記評(píng)價(jià),分析軟件：和布蕪 訓(xùn)練語(yǔ)料庫(kù)：人工檢查過(guò)詞邊界及詞性標(biāo)記訓(xùn)練集大?。汉?,406,780詞的句子測(cè)試集(訓(xùn)練集外)大?。汉?,396,950詞的句子,Mecab (http://mecab.sourceforge.net）,長(zhǎng) 【名詞】 chang2 長(zhǎng) 1米長(zhǎng) 【動(dòng)詞】 zhang3 長(zhǎng)

4、 1米藏 【名詞】 zang4 藏 族藏 【動(dòng)詞】 cang2 藏 東西地 【名詞】 di4 種 地 地 【助詞】 de0 慢慢 地好 【形容詞】 hao3 好 吃好 【副詞】 hao4 好 吃圈 【名詞】 juan4 羊 圈圈 【動(dòng)詞】 quan1 圈 東西…,調(diào) 【動(dòng)詞】 tiao3 調(diào) 音量 調(diào) 【動(dòng)詞】 diao4 調(diào) 文件系 【動(dòng)詞】 ji4

5、 系 鞋帶系 【動(dòng)詞】 xi4 系 哺育類…,拼音轉(zhuǎn)換評(píng)價(jià),測(cè)試集：約15000句(229,332音節(jié))，人工檢查過(guò)拼音有調(diào)音節(jié)正確率：97.0%無(wú)調(diào)音節(jié)正確率：99.2%,典型錯(cuò)誤分析:,詞性錯(cuò)誤,模糊性,韻律參數(shù)預(yù)測(cè),平價(jià)商店選購(gòu)。,語(yǔ)言特征,聲學(xué)特征,聲學(xué)模型,,HMM模型訓(xùn)練,,(約1.5小時(shí)語(yǔ)音),,1 句子基頻曲線2 音素時(shí)長(zhǎng)參數(shù)3 能量參數(shù)4 譜參數(shù),基頻,,句子基頻曲線、音節(jié)位置時(shí)長(zhǎng)、能量參數(shù)、譜

6、參數(shù),音節(jié)，聲調(diào)，前音節(jié)聲調(diào)，后音節(jié)聲調(diào)該音節(jié)所在詞的詞性，詞長(zhǎng)，在短語(yǔ)中前、后位置(音節(jié)數(shù))該音節(jié)所在短語(yǔ)長(zhǎng)，短語(yǔ)在句中前后序號(hào)，前位置(音節(jié)數(shù)),實(shí)驗(yàn)材料： 8874句(8.3小時(shí)語(yǔ)音) 考察標(biāo)點(diǎn) 、，：；?。?。 破折號(hào)及省略號(hào) 100ms以上的停頓:7093個(gè) 300ms以上的停頓:3610個(gè),實(shí)驗(yàn)結(jié)果及觀察： 99%的逗號(hào)處伴隨有100ms以上的停頓 ? 標(biāo)點(diǎn)是重要的停頓標(biāo)志 57.4%的停頓(100ms以

7、上)非與標(biāo)點(diǎn)相連 ? 僅標(biāo)點(diǎn)處停頓顯然是不足夠的 86%的韻律短語(yǔ)長(zhǎng)為3至9個(gè)音節(jié),韻律短語(yǔ)預(yù)測(cè),韻律和句法結(jié)構(gòu)的交叉依賴性,實(shí)驗(yàn)材料： 1091句(3小時(shí)語(yǔ)音) 句子選自PENN Treebank n交叉：n個(gè)句法分枝橫切一韻 律短語(yǔ); 0交叉表示韻律短語(yǔ)是 一句法短語(yǔ)的子串,觀察： 大約有26.7%的停頓(短語(yǔ)內(nèi)含1-5交叉)是不能由句法結(jié)構(gòu)來(lái)預(yù)測(cè)。,實(shí)驗(yàn)結(jié)果:,語(yǔ)音數(shù)據(jù)庫(kù),,合成樣本演示,您好,下面是幾例有關(guān)旅行

8、會(huì)話和新聞方面的漢語(yǔ)語(yǔ)音合成樣本.,您是用現(xiàn)金還是用信用卡付款?,請(qǐng)告訴我您的姓名和房間號(hào)。,美國(guó)民主黨總統(tǒng)參選人奧巴馬 先后贏得威斯康辛州和夏威夷州初選，挫敗對(duì)手希拉里，這是他自“超級(jí)星期二”以來(lái)取得的連續(xù)第10場(chǎng)勝利。共和黨方面，麥凱恩再次壓倒對(duì)手赫卡比，進(jìn)一步鎖定他在共和黨總統(tǒng)參選人提名戰(zhàn)中的勝局。,（倫敦／紐約綜合訊） 國(guó)際油價(jià)星期二在紐約隔夜市場(chǎng)大幅飆升，收盤價(jià)首度突破100美元，盤中一度觸及每桶100.10美元的歷史新高。,

9、,陳述-疑問(wèn)語(yǔ)調(diào)相互轉(zhuǎn)換(分析合成例子),過(guò)路客照相,紅鼻頭沒(méi)權(quán),陳述句 ? 疑問(wèn)句,陳述句 ? 疑問(wèn)句,都快八點(diǎn)了。,都快八點(diǎn)了。,都快八點(diǎn)了。,韻律再合成,,,語(yǔ)音波形,基頻波形,,語(yǔ)音波形,基頻波形,我想 起來(lái)了,我 想起來(lái)了,【趨向動(dòng)詞】,【一般動(dòng)詞】,需要強(qiáng)化虛詞處理,,,起來(lái),與動(dòng)詞相關(guān)聯(lián)的例子:【了著過(guò)】安排了/過(guò) /著 三次報(bào)告會(huì)【動(dòng)介】安排給 /在 南方【重疊】安排安排 生活【結(jié)果】安排得著/ 不著/

10、成/ 不成/ 好/ 不好/ 得上/不上/下/不下 生活【趨向】安排上來(lái)/上去/下來(lái)/下去/進(jìn)來(lái)/進(jìn)去/出來(lái)/進(jìn)去 幾個(gè)客人【趨向】安排幾個(gè)客人 上來(lái)/上去/下來(lái)/下去/進(jìn)來(lái)/進(jìn)去/出來(lái)/進(jìn)去【趨向】安排上/下 / 進(jìn)/出 幾個(gè)客人來(lái) /去【趨向】安排得過(guò)來(lái) /不過(guò)來(lái) /得開 /不開 /起來(lái) 球賽【趨向】安排起 球賽 來(lái) 了【趨向】安排到 計(jì)劃里 去 / 來(lái),從韻律特征上看，虛詞和實(shí)詞存在一定區(qū)別；從會(huì)話角度看，處理好虛詞更