訓(xùn)練支持向量分類機(jī)的算法研究.pdf

1、支持向量機(jī)是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種優(yōu)秀的機(jī)器學(xué)習(xí)方法。它采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，通過核函數(shù)技術(shù)在一個(gè)高維特征空間中構(gòu)造最優(yōu)線性決策函數(shù)，避免了維數(shù)災(zāi)難，并能獲得全局最優(yōu)解，具有良好的推廣能力。由于其優(yōu)良的性能，已經(jīng)被廣泛地應(yīng)用于模式分類、函數(shù)逼近和密度估計(jì)等問題，成為機(jī)器學(xué)習(xí)領(lǐng)域的熱點(diǎn)課題。
　　 用于解決分類問題的支持向量機(jī)稱為支持向量分類機(jī)(SVC)，以提高支持向量分類機(jī)的訓(xùn)練速度和推廣能力、降低其計(jì)算復(fù)雜度為目的。本文研究

2、了幾種訓(xùn)練支持向量分類機(jī)的算法，主要內(nèi)容如下：
　　 1.首先給出了一個(gè)重要定理，然后結(jié)合序列最小優(yōu)化(SMO)算法的優(yōu)缺點(diǎn)，提出一個(gè)改進(jìn)的三變量SVC學(xué)習(xí)算法，即將標(biāo)準(zhǔn)的支持向量分類機(jī)問題分解為一系列含有三個(gè)變量的二次規(guī)劃(QP)子問題，并由提出的定理保證相應(yīng)的松弛子問題都有解析解，從而使得該方法能夠更加精確和快速地逼近最優(yōu)解。數(shù)值試驗(yàn)表明了新方法不僅節(jié)省了計(jì)算代價(jià)，而且還提高了分類精度。
　　 2.依據(jù)在每次迭代中選

3、取多個(gè)變量同時(shí)優(yōu)化可能會減少迭代次數(shù)和縮短訓(xùn)練時(shí)間的這一想法，提出了一個(gè)訓(xùn)練支持向量分類機(jī)的四重序列解析優(yōu)化方法。其優(yōu)點(diǎn)是每次迭代所求的子問題都有解析解，從而能夠快速地逼近最優(yōu)解。并給出算法的收斂性分析。仿真結(jié)果表明改進(jìn)算法不僅縮短了訓(xùn)練時(shí)間，而且計(jì)算復(fù)雜度較小。
　　 3.從支持向量分類機(jī)原對偶問題的KKT條件出發(fā)，提出了基于約簡的二階Mehrotra型預(yù)估校正算法訓(xùn)練支持向量分類機(jī)，該方法盡管在初始迭代時(shí)大部分樣本都參與計(jì)算

4、，但是隨著迭代的進(jìn)行，使用約簡技術(shù)它只保留較少的必要樣本，而丟掉越來越多不必要的樣本，從而使很少的樣本參與計(jì)算以達(dá)到節(jié)約計(jì)算代價(jià)的目的。數(shù)值試驗(yàn)表明新方法是有效的。
　　 4.首先針對求解支持向量分類機(jī)的原對偶問題，考慮到內(nèi)點(diǎn)算法的不足，提出了訓(xùn)練支持向量分類機(jī)的非精確不可行內(nèi)點(diǎn)算法，并分析了該算法的全局收斂性；其次還提出了改進(jìn)的FR方法來計(jì)算方程組的不精確牛頓迭代方向，并在適當(dāng)條件下證明了改進(jìn)方法在Wolfe和Armijo型線