貝葉斯方法在變量選擇問題中的應(yīng)用.pdf

1、貝葉斯分析方法由于其統(tǒng)計(jì)推斷的靈活性，得到眾多研究者的青睞。近年來，抽樣技術(shù)不斷進(jìn)步和計(jì)算機(jī)性能的不斷提升，使得相關(guān)計(jì)算在實(shí)際應(yīng)用中更加便于實(shí)現(xiàn)，擁躉日益增多。
　　本文主要利用貝葉斯方法，處理一些當(dāng)前比較熱門且實(shí)用的課題:Lasso變量選擇法，混合效應(yīng)模型中的變量選擇問題。
　　Lasso方法可以同時(shí)實(shí)現(xiàn)參數(shù)估計(jì)與變量選擇，且形式簡單易懂，被廣泛應(yīng)用于各種學(xué)術(shù)領(lǐng)域，在實(shí)際中也有不俗表現(xiàn)。在貝葉斯框架下，當(dāng)回歸系數(shù)被施以獨(dú)立

2、Laplace先驗(yàn)時(shí)，其邊際后驗(yàn)眾數(shù)便與非貝葉斯型Lasso給出的估計(jì)一致?，F(xiàn)有貝葉斯Lasso方法主要集中于使用MCMC抽樣技術(shù)的迭代型算法:一種是在E-步使用馬爾科夫鏈蒙特卡羅法(Markov Chain Monte Carlo，以下簡稱MCMC)的蒙特卡羅期望最大化(Monte Carlo Expectation Maximization，以下簡稱MCEM)算法，另一種則是采用MCMC技術(shù)的全貝葉斯分析方法。值得注意的是，采用MC

3、MC迭代抽樣技術(shù)，其抽樣樣本具有很大的相關(guān)性，因此很可能存在收斂問題或是收斂速度緩慢，并且計(jì)算量較大。為了解決這些難題，我們借助逆貝葉斯公式(Inverse Bayes Formulae,以下簡稱IBF)，給出了兩種新型的基于非迭代抽樣技術(shù)的算法，能夠快速有效的解決貝葉斯Lasso問題。
　　混合效應(yīng)模型常被用于刻畫重復(fù)測量數(shù)據(jù)、縱向數(shù)據(jù)的特征，在生物醫(yī)藥以及計(jì)量經(jīng)濟(jì)等領(lǐng)域都有廣泛應(yīng)用。在實(shí)際應(yīng)用中，縱向數(shù)據(jù)常常是非均衡的或是不完

4、整的，換句話說，并不是所有的受試者均在相同的時(shí)間點(diǎn)被觀測，而且關(guān)于每個(gè)受試者的觀測樣本數(shù)量、采樣條件也不盡相同。在建模時(shí)需要考慮到縱向數(shù)據(jù)的非均衡性，并找到相對稀疏的協(xié)方差結(jié)構(gòu)。因此，為了解決這些問題，我們針對這一類型的縱向數(shù)據(jù)，采用了既包含個(gè)體隨機(jī)效應(yīng)部分又帶有服從自回歸過程AR(1)的組間誤差模型來進(jìn)行擬合.
　　本文共分四個(gè)章節(jié)，全文組織如下:
　　第一章著重探討本文的選題意義，并對相關(guān)背景知識作以簡單的介紹。

5、　　第二章中，我們設(shè)計(jì)了一種基于IBF抽樣的非迭代型抽樣技術(shù)，采用MCEM算法求得層次模型中回歸系數(shù)的邊際后驗(yàn)眾數(shù)，即為貝葉斯Lasso問題的解該算法在全條件分布為非顯示式時(shí)，通過調(diào)整重要抽樣的權(quán)重來實(shí)現(xiàn)。模擬結(jié)果也顯示，不論是在預(yù)測精度還是變量選擇的準(zhǔn)確性方面，我們的方法都不輸于現(xiàn)行的一些貝葉斯Lasso方法，甚至更為出色，尤其是當(dāng)樣本量相對較大時(shí)。
　　第三章中，我們同樣就貝葉斯Lasso問題展開討論。與第二章不同，我們在這里

6、給出的方法本質(zhì)上是基于一種非迭代算法的全貝葉斯分析法。首先給出一種EM算法得到回歸系數(shù)的后驗(yàn)眾數(shù)估計(jì)，然后將其作為初始點(diǎn)，借助IBF和重要重抽樣算法，抽取一組近似服從后驗(yàn)分布的獨(dú)立同分布樣本，于是避免了MCMC算法所遇到的收斂性問題。基于這些獨(dú)立同分布的樣本，我們便可以很容易地給出回歸系數(shù)的估計(jì)及其區(qū)間估計(jì)（貝葉斯可信區(qū)間）。模擬實(shí)驗(yàn)結(jié)果顯示，我們的方法與現(xiàn)有的貝葉斯Lasso方法不相上下.
　　第四章中，我們將混合效應(yīng)協(xié)方差陣進(jìn)