Boosting算法的一致性.pdf

1、Boosting算法是近年來最流行的分類算法之一.它能提升任意給定分類算法的分類精度.該算法的統(tǒng)計(jì)性質(zhì)是近年來的研究熱點(diǎn).本文將重點(diǎn)討論Boosting算法的一致性. 第一節(jié)，介紹了Boosting算法的發(fā)展過程.列舉了主要的二分類Boosting算法，如AdaBoost.M1算法，LogistBoost算法，實(shí)值A(chǔ)daBoost算法和正則Boosting算法.詳細(xì)介紹了AdaBoost.M1算法的統(tǒng)計(jì)性質(zhì).介紹了多分類Boos

2、ting算法的演變過程并給出了一種多分類Boosting算法. 第二節(jié)，討論了AdaBoost.M1算法滿足一致性的充分條件.在樣本集可分的條件下，可以證明以線性分類器為弱分類器的AdaBoost.M1算法具有一致性.利用幾何差異，可以估計(jì)AdaBoost.M1算法每次迭代得到的線性弱分類器的加權(quán)經(jīng)驗(yàn)誤差.據(jù)此可證明，當(dāng)AdaBoost.M1算法的迭代次數(shù)充分大時(shí)，算法生成的分類器會(huì)隨著樣本容量的增大而收斂到最優(yōu)分類器.

3、 第三節(jié)，討論了正則Boosting算法滿足一致性的充分條件并求出了一種具體的正則Boosting算法的收斂速度.對(duì)于正則Boosting算法，根據(jù)比較定理，得到了其具有一致性的充分條件.進(jìn)而研究了以凸損失max(1-x，0)2為損失函數(shù)的正則Boosting算法的收斂速度. 第四節(jié)，討論了多分類Boosting算法滿足一致性的充分條件.當(dāng)多分類模型滿足無限樣本一致性時(shí)，得到了多分類Bosoting算法滿足一致性的充分條件.