集成分類學(xué)習(xí)算法研究.pdf

1、分類是數(shù)據(jù)挖掘中的一項重要任務(wù)，分類是先通過類標(biāo)號已知的數(shù)據(jù)建立模型，然后對類標(biāo)未知的樣本進(jìn)行分類。分類正確率是衡量一個分類器性能的重要指標(biāo)，然而單個的分類器有時不能達(dá)到較好的正確率，而集成學(xué)習(xí)的出現(xiàn)使得這一問題得到改善。集成分類學(xué)習(xí)是指通過多個分類器來解決同一學(xué)習(xí)任務(wù)，能夠獲得比僅使用單一分類器更好的性能。集成學(xué)習(xí)成為近年來機(jī)器學(xué)習(xí)領(lǐng)域的一個熱點方向，由于其優(yōu)良的特性，現(xiàn)已在多個領(lǐng)域得到應(yīng)用，例如行星探測、字符識別、生物認(rèn)證、Web信

2、息過濾等。
　　目前集成學(xué)習(xí)的研究內(nèi)容主要包括兩個方面:第一，個體學(xué)習(xí)器精度不能太低，如果學(xué)習(xí)精度過低，將導(dǎo)致集成的精度不高；第二，個體學(xué)習(xí)器之間要有差異性，如果沒有差異性，則集成是沒有意義的。目前已有多種產(chǎn)生差異性的方法，如:基于特征集技術(shù)，通過某種策略選取特征子集，可以通過不同的特征集獲取個體間的差異性；基于數(shù)據(jù)技術(shù)，采用取樣技術(shù)獲取不同訓(xùn)練數(shù)據(jù)來獲得個體間差異性。然而集成學(xué)習(xí)還存在著一些未解決的問題，如何設(shè)計差異性大的學(xué)習(xí)器

3、，以及差異性的度量問題。通過對集成學(xué)習(xí)的深入了解，本文把集成學(xué)習(xí)應(yīng)用到分類過程中，在兩大經(jīng)典算法AdaBoost和Bagging的基礎(chǔ)上做了一定的改進(jìn)。獲得了好的分類性能以及更快的收斂速度。
　　具體來說，本文開展并完成的工作主要包括以下幾點:
　　(1)首先介紹了分類的過程，目前常用的分類算法的基本思想，各種分類算法的優(yōu)缺點，簡要介紹了集成學(xué)習(xí)的基本概念，分析了兩大代表算法AdaBoost和Bagging的理論基礎(chǔ)，對選擇

4、性集成學(xué)習(xí)進(jìn)行了簡要闡述，指出目前集成學(xué)習(xí)的不足以及發(fā)展方向，為更好的發(fā)展集成學(xué)習(xí)提供了依據(jù)。
　　(2)為了產(chǎn)生精度更高、收斂速度更快的集成，提出了一種新的標(biāo)記迭代過程中錯分樣本的AdaBoost算法(MWBoost)，該算法通過在提升過程中，總是把上一個分類器錯分的樣本全部參入到下一個分類器的訓(xùn)練中，同時在分類正確的樣本中進(jìn)行重采樣，從而使得后一輪提升中分類器能夠更快速地關(guān)注那些難以分類的樣本。該算法在UCI的多個數(shù)據(jù)集上進(jìn)行

5、了測試，并且與傳統(tǒng)的AdaBoost算法進(jìn)行了比較，實驗結(jié)果表明新的算法具有更好的分類精度以及更快的收斂速度。
　　(3)為了產(chǎn)生多樣性的分類器，基于模糊聚類思想，提出了一種新的Bagging集成方法F-Bagging?；舅枷胧牵紫劝延?xùn)練數(shù)據(jù)通過模糊聚類思想聚類，然后根據(jù)隸屬度矩陣，如果樣例屬于多個簇的隸屬度差值在一個閾值范圍內(nèi)，那么就把此樣例同時劃分到這幾個簇中，此方法充分遵循了樣例的實際分布，最后把各個子集進(jìn)行訓(xùn)練。由于各