面向高維屬性失衡數據挖掘重采樣技術研究.pdf

1、數據挖掘領域中普遍存在失衡的數據形態(tài)，它是指數據集中分屬不同類別的樣本間在數量級上存在著較大差距，由于數量差距懸殊而使得正常的分類算法效果不明顯。在數據挖掘領域中還存在一個不可避免的問題就是數據屬性高維，即數據集在收集或者處理當中造成的數據屬性維度過高，導致大量冗余的屬性反而表達了少量的信息，為數據挖掘帶來不便。數據集的失衡和高維給數據分析以及知識發(fā)現帶來了困難，因此對此類數據集的研究已經受到了越來越多的關注。隨著計算機技術的快速發(fā)展與

2、進步，基于數據挖掘與機器學習的分類問題成為企業(yè)及組織快速決策、準確判斷和有效輔助的方法，而高維的失衡數據集廣泛的存在于計算機科學、生物信息學、經濟學等應用領域中，對于失衡問題人們常常關心的是少數類的情況，對于高維屬性則常常關心的是大量屬性存儲的少量信息干擾機器學習，因此對這類數據集的處理就顯得尤為重要。
　　本文首先引入了失衡數據集以及高維屬性兩種數據狀態(tài)，通過整理國內外對此類數據集的研究進展，闡述高維失衡數據集對數據挖掘的影響，

3、常用的處理方法以及失衡數據集的分類效果評估方法。重點分析了一種基于DBSCAN算法的簇邊界重采樣方法結合支持向量機的策略，它能夠有效解決單純的數據失衡問題，但當此方法面臨高維失衡數據的時候策略的優(yōu)勢不能有效發(fā)揮。針對此問題提出將基于信號噪聲比的降維方法與該策略融合以解決高維失衡問題。另外，分析了SOM算法以及數據生成采樣方法，以及兩種思想相結合的優(yōu)勢，設計出一種基于SOM算法的采樣方法以解決數據失衡問題，并提出基于Relief與SOM的