有限正態(tài)混合模型的參數(shù)估計與應(yīng)用.pdf

1、混合模型的歷史可以追溯到約100年前的K.Pearson時代.第一篇關(guān)于混合模型的論文是K.Pearson(1894)用矩估計方法來估計如下兩成分正態(tài)混合模型的參數(shù)：f(x，π，θ1，θ2，σ1，σ2)=πψ(x；θ1，σ12)+(1-π)ψ(x；θ2，σ22).對于上述模型的5個獨立參數(shù)，Pearson給出了5個矩方程，然后通過求解這個方程組，得到參數(shù)的估計值. 有限正態(tài)混合模型無疑是最重要的一類混合模型.幾乎可以說，正態(tài)混合

2、模型的發(fā)展歷史其實也就是混合模型的發(fā)展歷史.比較有趣的是，關(guān)于正態(tài)混合模型，一個最基本的統(tǒng)計問題，即如何估計模型中的參數(shù)，一直未得到圓滿的解決. Pearson(1894)提出的矩方法需要求解非線性方程組，并且模型的階數(shù)(成分數(shù))越高，方程組越復(fù)雜，計算上非常困難.隨后的理論研究更指出，從漸近性質(zhì)來看，矩估計不如極大似然估計. 但Day(1969)指出正態(tài)混合分布的似然函數(shù)無界，這為極大似然方法的應(yīng)用投下了陰影.到目前為

3、止，統(tǒng)計學(xué)家通過對參數(shù)空間添加約束，使得似然函數(shù)在約束的參數(shù)空間上有界，來對付Day(1969)指出的問題.但這些方法在應(yīng)用時并不能保證約束后的參數(shù)空間一定包含參數(shù)真值. 我們將用基于懲罰似然函數(shù)的方法討論正態(tài)混合模型的參數(shù)估計.不改變參數(shù)空間，而是通過對似然函數(shù)添加一個懲罰項，來消除似然函數(shù)無界性的影響，從本質(zhì)上避免了約束參數(shù)空間方法的不足.但如何找到合適的懲罰項，并證明所得的懲罰最大似然估計(PMLE)有理想的性質(zhì)，則一直沒

4、有進展.Ciupercaetal.(2003)聲稱找到了合適的懲罰函數(shù)，并能證明所得的PMLE的強一致性以及漸近正態(tài)性.但我們發(fā)現(xiàn)，他們的證明中有本質(zhì)的錯誤. 通過分析Day(1969)指出的似然函數(shù)無界的現(xiàn)象，我們發(fā)現(xiàn)，理解這個問題的關(guān)鍵在于估計當(dāng)σ很小時， supθ＃{i：0＜Xi-θ＜|σlog(σ)|}的大小.我們證明了，在一個與σ無關(guān)的零測集外，當(dāng)n→∞時，總有supθ＃{i：0＜Xi-θ＜|σlog(σ)|}

5、≤{4(logn)2,8+8Mnσ|logσ|，0＜σ≤8/nM，8/nM＜σ＜ε0.其中M，∈0是正常數(shù).這是本論文第一個主要結(jié)果.在這個估計的基礎(chǔ)上，我們證明了，當(dāng)懲罰項p(G)=-n-α(p∑κ=11/σ2κ)，α∈(0，1]時，懲罰似然函數(shù)的最大值點(PMLE)是模型參數(shù)的強一致估計，也是漸近正態(tài)估計，并且漸近效率為1.這是本論文第二個重要結(jié)果，據(jù)我們所知，這是一個首創(chuàng)性的結(jié)果.我們進一步發(fā)現(xiàn)，在supθ＃{i：0＜Xi-θ＜|

6、σlog(σ)|}的估計的基礎(chǔ)上，我們可以判別什么樣的懲罰函數(shù)是合適的，從而可以設(shè)計出新的懲罰函數(shù).作為特例，我們提出了如下的懲罰函數(shù)：p(G)=-n-α(p∑κ=11/σ2κ)(p∑κ=1σ2κ)，α∈(0，1]這個懲罰函數(shù)下得到的PMLE不但仍有強一致性以及漸近正態(tài)性(漸近效率為1)，而且還是位置尺度變換下的同變估計.這是本論文第三個主要結(jié)果.正態(tài)混合模型的應(yīng)用非常廣泛，我們相信，本論文的理論成果將有巨大的應(yīng)用潛力.作為示例，我們分