基于語(yǔ)音信號(hào)的情感特征選擇與情感識(shí)別研究.pdf

1、語(yǔ)音是人類交流的重要手段，語(yǔ)音信號(hào)在傳達(dá)語(yǔ)義信息的同時(shí)，還傳遞著情感信息，而情感在人們生活和交流中起著重要的作用。隨著人機(jī)交互技術(shù)的發(fā)展，語(yǔ)音信號(hào)中的情感信息越來(lái)越受到研究人員的重視。作為語(yǔ)音信號(hào)情感信息處理的一個(gè)重要研究方向，語(yǔ)音情感識(shí)別是計(jì)算機(jī)理解人類情感的關(guān)鍵，是實(shí)現(xiàn)智能化人機(jī)交互的前提。本文對(duì)基于語(yǔ)音信號(hào)的情感特征選擇與情感識(shí)別進(jìn)行了研究。主要內(nèi)容如下： ⑴設(shè)計(jì)提取了時(shí)長(zhǎng)、語(yǔ)速、能量、基音頻率、共振峰、TEO能量算子、M

2、el頻率倒譜系數(shù)等聲學(xué)參數(shù)和聽(tīng)覺(jué)參數(shù)，并提取了這些參數(shù)的衍生參數(shù)如均值、方差、一階導(dǎo)數(shù)等。同時(shí)在這些常規(guī)特征參數(shù)基礎(chǔ)上，提出了一些優(yōu)化的特征參數(shù)，如25OHz以下的能量占全部能量的比重，ΔMFCC等。通過(guò)對(duì)這些參數(shù)的優(yōu)缺點(diǎn)進(jìn)行分析比較，選取一組情感區(qū)分力相對(duì)大的特征參數(shù)進(jìn)行識(shí)別。 ⑵提出了以基于最大差別離心度和最小同類離心度的差別因子作為選擇特征參數(shù)的方法，為每種情感選取了最有效的識(shí)別特征參數(shù)。作為情感識(shí)別的基礎(chǔ)，基于真實(shí)性、交

3、互性、豐富性、連續(xù)性的原則，建立了情感語(yǔ)音數(shù)據(jù)庫(kù)。建立的語(yǔ)音庫(kù)采用兩種數(shù)據(jù)來(lái)源，一種是選用特定實(shí)驗(yàn)者進(jìn)行錄音獲得數(shù)據(jù)，另一種是通過(guò)截取特定表演藝術(shù)家在電影、電視劇中富有情感的臺(tái)詞得到語(yǔ)音數(shù)據(jù)。 ⑶設(shè)計(jì)了全局特征參數(shù)和動(dòng)態(tài)特征參數(shù)結(jié)合的識(shí)別系統(tǒng)，分別利用人工神經(jīng)網(wǎng)絡(luò)模型和隱馬爾科夫模型進(jìn)行識(shí)別，最后通過(guò)判別函數(shù)輸出。對(duì)于全局特征參數(shù)，基于已提出的基于差別因子的特征參數(shù)選擇方法，設(shè)計(jì)了一種交叉網(wǎng)絡(luò)識(shí)別系統(tǒng)（CNRS），為每?jī)煞N情感建

4、立一個(gè)識(shí)別子網(wǎng)絡(luò)進(jìn)行識(shí)別，每個(gè)子網(wǎng)絡(luò)的輸入是基于該網(wǎng)絡(luò)的兩種情感選取的最優(yōu)特征參數(shù)，整個(gè)交叉網(wǎng)絡(luò)識(shí)別系統(tǒng)的輸出通過(guò)判決器得到最后識(shí)別結(jié)果。 ⑷實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的ACON，OCON和DRNN模型相比，CNRS識(shí)別率獲得很大的提高。對(duì)于動(dòng)態(tài)特征參數(shù)，使用連續(xù)的隱馬爾科夫（CHMM）模型，對(duì)提取的聽(tīng)覺(jué)參數(shù)以及聲學(xué)參數(shù)與聽(tīng)覺(jué)參數(shù)的結(jié)合建立CHMM模型進(jìn)行識(shí)別，比較了不同參數(shù)的識(shí)別結(jié)果。最終的識(shí)別系統(tǒng)由判別函數(shù)判別輸出，實(shí)驗(yàn)結(jié)果表明，