基于融合語音和圖像的雙模態(tài)身份識別研究.pdf

1、準(zhǔn)確高效的身份識別和認(rèn)證技術(shù)被推到了重要的位置。身份識別逐漸成為人工智能和人機(jī)交互領(lǐng)域的一個重要研究方向，具有深遠(yuǎn)的理論意義和應(yīng)用前景，通過閱讀國內(nèi)外大量的文獻(xiàn)與資料，發(fā)現(xiàn)人臉識別作為身份識別中的一種且在人臉識別研究中鑒于單一模態(tài)人臉特征的局限性。提出融合語音和人臉圖像的雙模態(tài)身份識別方法，并進(jìn)行了較深入的研究。發(fā)現(xiàn)兩者可以取長補(bǔ)短、有著互補(bǔ)的作用，實(shí)驗(yàn)證明，融合語音和人臉圖像的雙模態(tài)身份識別方法會有更好的識別性能。
　　針對融合

2、語音和圖像的雙模態(tài)身份識別研究，本文研究內(nèi)容與創(chuàng)新點(diǎn)主要如下：
　?。?）自建語音和人臉數(shù)據(jù)庫，為保證語音識別過程中隨著被測試人的情感變化增加識別的穩(wěn)定性，語音庫選用采集情感語音數(shù)據(jù)庫，獲取同一個人其中立、高興、驚奇、悲傷、憤怒五種情感狀態(tài)下的發(fā)音。人臉庫采集盡可能多的選取圖像預(yù)處理后表情豐富、多方向、不同距離等有代表性的JPG格式圖片。
　?。?）語音識別方面采用提取音頻的MFCC特征，選取隱馬爾可夫模型（HMM）分類器進(jìn)

3、行語音識別，經(jīng)實(shí)驗(yàn)選取60維的MFCC特征識別率達(dá)到最高為75.3％，為了進(jìn)一步提高語音識別率，提出一種63維特征的語音識別方法，即在此基礎(chǔ)上提出將取對數(shù)后的 MFCC、平均短時能量、平均過0率(ZCR)標(biāo)準(zhǔn)差、共振峰四個語音特征進(jìn)行特征融合組成63維的語音特征向量，用同種分類方法得出識別率達(dá)到82.6%。比之前的只提取單模態(tài)情形下的MFCC特征參數(shù)識別率高出了7.3%。
　?。?）在LBP算子的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種W-LB

4、P算法強(qiáng)化面部特征。并采用Adaboost算法進(jìn)行人臉檢測與定位。實(shí)驗(yàn)表明，W-LBP算法較好的二值化能夠使得接下來的人臉定位更加準(zhǔn)確。
　　（4）人臉識別中為了彌補(bǔ)PCA方法對樣本圖像進(jìn)行降維后會保留那些表情、姿勢和光照等干擾信息和 LDA方法很難解決類間離散度矩陣的定義問題和小樣本問題，這里選用 PCA+LDA融合算法實(shí)現(xiàn)人臉識別，經(jīng)實(shí)驗(yàn)取特征臉子空間維數(shù)Z=80時識別率最高，識別率為89.1%。
　　（5）進(jìn)行融合語音