隱馬爾可夫模型簡介

1、隱馬爾可夫模型簡介,劉群2001-6-11,假設(shè),對于一個隨機事件，有一個觀察值序列：O1,...,OT該事件隱含著一個狀態(tài)序列：X1,...,XT假設(shè)1：馬爾可夫假設(shè)（狀態(tài)構(gòu)成一階馬爾可夫鏈） p(Xi|Xi-1…X1) = p(Xi|Xi-1)假設(shè)2：不動性假設(shè)（狀態(tài)與具體時間無關(guān)） p(Xi+1|Xi) = p(Xj+1|Xj)，對任意i,j成立假設(shè)3：輸出獨立性假設(shè)（輸

2、出僅與當前狀態(tài)有關(guān)） p(O1,...,OT | X1,...,XT) = Π p(Ot | Xt),定義,一個隱馬爾可夫模型 (HMM) 是一個五元組： (ΩX , ΩO, A, B, π )其中： ΩX = {q1,...qN}：狀態(tài)的有限集合 ΩO = {v1,...,vM}：觀察值的有限集合 A = {aij}，aij = p(Xt+1 = qj |Xt =

3、qi)：轉(zhuǎn)移概率 B = {bik}，bik = p(Ot = vk | Xt = qi)：輸出概率 π = {πi}， πi = p(X1 = qi)：初始狀態(tài)分布,問題,令 λ = {A,B,π} 為給定HMM的參數(shù)，令 σ = O1,...,OT 為觀察值序列，隱馬爾可夫模型（HMM）的三個基本問題： 評估問題：對于給定模型，求某個觀察值序列的概率p(σ|λ) ；解碼問題：對于給定模型和觀察值序列，求可能性最大的狀

4、態(tài)序列；學習問題：對于給定的一個觀察值序列，調(diào)整參數(shù)λ，使得觀察值出現(xiàn)的概率p(σ|λ)最大。,算法,評估問題：向前算法定義向前變量采用動態(tài)規(guī)劃算法，復(fù)雜度O(N2T)解碼問題：韋特比（Viterbi）算法采用動態(tài)規(guī)劃算法，復(fù)雜度O(N2T)學習問題：向前向后算法EM算法的一個特例，帶隱變量的最大似然估計,算法：向前算法（一）,定義前向變量為HMM在時間t輸出序列O1…Ot，并且位于狀態(tài)Si的概率：,算法：向前算法（二）,

5、迭代公式為：,結(jié)果為：,變化,連續(xù)輸出模型輸出矩陣變?yōu)槟撤N概率分布，如高斯分布多階轉(zhuǎn)移矩陣,例子：病情轉(zhuǎn)化,假設(shè)：某一時刻只有一種疾病，且只依賴于上一時刻疾病一種疾病只有一種癥狀，且只依賴于當時的疾病癥狀(觀察值)：發(fā)燒，咳嗽，咽喉腫痛，流涕疾病(狀態(tài)值)：感冒，肺炎，扁桃體炎轉(zhuǎn)移概率：從一種疾病轉(zhuǎn)變到另一種疾病的概率輸出概率：某一疾病呈現(xiàn)出某一癥狀的概率初始分布：初始疾病的概率解碼問題：某人癥狀為：咳嗽→咽喉痛→

6、流涕→發(fā)燒請問：其疾病轉(zhuǎn)化的最大可能性如何？,例子：詞性標注,問題：已知單詞序列w1w2…wn，求詞性序列c1c2…cnHMM模型：將詞性為理解為狀態(tài)將單詞為理解為輸出值訓練：統(tǒng)計詞性轉(zhuǎn)移矩陣[aij]和詞性到單詞的輸出矩陣[bik]求解：Viterbi算法,應(yīng)用,語音識別音字轉(zhuǎn)換詞性標注（POS Tagging）組塊分析基因分析一般化：任何與線性序列相關(guān)的現(xiàn)象,資源,Rabiner, L. R., A T

7、utorial on Hidden Markov Models and Selected Applications in Speech Recognition, Proceedings of the IEEE, vol. 77, no. 2, Feb. 1989, pgs 257 - 285. There is a lot of notation but verbose explanations accompany. 翁富良，王野翊，