代價敏感決策樹構(gòu)建方法的研究.pdf

1、決策樹算法因它簡單高效、知識提取簡單、生成規(guī)則易于理解等優(yōu)點，在數(shù)據(jù)挖掘領(lǐng)域占據(jù)十分重要的地位。然而，現(xiàn)實生活中涉及代價的問題普遍存在，傳統(tǒng)的決策樹算法已無法滿足代價的需求。因此，將決策樹和代價敏感學(xué)習(xí)相結(jié)合的算法研究顯得尤為重要。
　　在已有的代價敏感決策樹算法中還存在很多不足，例如:用于屬性結(jié)點選擇的啟發(fā)函數(shù)中參數(shù)值難以確定;已有算法在小數(shù)據(jù)集上表現(xiàn)不錯，但在大數(shù)據(jù)集上效率明顯降低;決策樹模型由于沒有使用恰當(dāng)?shù)募糁Σ呗詫?dǎo)致出現(xiàn)

2、過擬合現(xiàn)象，泛化能力較低。本文針對已有代價敏感決策算法的不足，提出以下優(yōu)化方法:
　　(1)本文針對已有代價敏感決策樹算法中分類代價偏高以及存在多值屬性偏頗問題，引用了CS-C4.5算法的啟發(fā)函數(shù)，并對其進行了優(yōu)化，優(yōu)化后啟發(fā)函數(shù)的特點是當(dāng)一個屬性再次被測試的時候退化成了C4.5算法;并引入自適應(yīng)選擇參數(shù)機制，構(gòu)建了ADP算法。實驗證明，優(yōu)化后的ADP算法在構(gòu)建樹的過程中能折中考慮模型自身的分類能力、測試代價和誤分類代價三方面信息

3、。
　　(2)受“概率堅持剪枝”策略的啟發(fā)，本文對它的對偶策略——“概率拒絕剪枝”策略進行了研究，該剪枝策略的思想為:根據(jù)剪枝規(guī)則確定決策樹應(yīng)該被剪枝時，算法仍然以一定的概率拒絕剪枝。對比實驗證明，“概率拒絕剪枝”策略能夠進一步減小模型的平均分類代價，以及解決決策樹模型的過擬合問題，提高模型的泛化能力。
　　(3)本文針對已有代價敏感決策樹算法在高維性、不平衡性的數(shù)據(jù)集上效率較低的不足，在決策樹的構(gòu)建過程中引入了自適應(yīng)選擇切