支持向量機(jī)的序列最小優(yōu)化學(xué)習(xí)算法研究.pdf

1、本文研究了支持向量機(jī)(SupportVectorMachine，SVM)的序列最小優(yōu)化算法(SequentialMinimalOptimization，SMO)[2]，并對算法進(jìn)行了改進(jìn)，分別應(yīng)用于線性SVM和GaussianSVM上. 論文共分四節(jié).第一節(jié)概述了論文研究的背景、訓(xùn)練SVM的分解算法的發(fā)展歷史以及本論文在SMO算法改進(jìn)上所做的工作. 第二節(jié)是SVM及其訓(xùn)練問題的數(shù)學(xué)描述.SVM訓(xùn)練問題歸結(jié)為解一個(gè)帶有線性

2、等式和不等式約束的大規(guī)模凸二次規(guī)劃問題：首先給出當(dāng)訓(xùn)練樣本線性可分時(shí)由訓(xùn)練SVM得到的原始優(yōu)化問題，并得出其對偶問題.繼而引出當(dāng)訓(xùn)練樣本不可分時(shí)，把原樣本空間映射到一個(gè)線性可分的高維空間，通過引入核函數(shù)構(gòu)造對偶問題.最后說明允許錯(cuò)分樣本時(shí)的訓(xùn)練問題. 第三節(jié)重點(diǎn)分析SMO算法，研究了SMO算法的理論基礎(chǔ)、算法的推導(dǎo)過程(包括用解析法求解帶約束的子規(guī)劃問題和每次成功優(yōu)化后相關(guān)變量的更新)以及每個(gè)子規(guī)劃問題優(yōu)化變量的選擇策略.

3、 第四節(jié)先指出了原始SMO算法的缺陷：即核函數(shù)計(jì)算量太大占用了算法大量時(shí)間；子規(guī)劃問題的第一個(gè)優(yōu)化變量選取過于隨機(jī)，從而影響整個(gè)算法收斂速度.之后，針對上面的缺陷分別對原始的SMO算法進(jìn)行了改進(jìn)，把輸入樣本數(shù)據(jù)預(yù)處理為適當(dāng)?shù)南∈杈仃囆问?；選擇第一個(gè)優(yōu)化變量時(shí)使對偶問題目標(biāo)函數(shù)的增加量最大，選擇第二個(gè)優(yōu)化變量時(shí)則在原始SMO算法的可供選擇樣本范圍上加了違反KKT條件的約束.最后對原始的和改進(jìn)的SMO算法進(jìn)行了MATLAB仿真，從adul