基于信息增益的決策樹算法的分析與改進(jìn).pdf

1、數(shù)據(jù)挖掘概念的第一次出現(xiàn)是在1995年的知識(shí)發(fā)現(xiàn)會(huì)議上，由Fayyad提出的。他認(rèn)為數(shù)據(jù)挖掘是一個(gè)知識(shí)發(fā)現(xiàn)的過(guò)程，是一個(gè)自動(dòng)或者半自動(dòng)化的從大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的，對(duì)我們潛在有用的數(shù)據(jù)模式的過(guò)程。數(shù)據(jù)挖掘研究起初的障礙是數(shù)據(jù)的收集比較困難，對(duì)少量數(shù)據(jù)處理容易導(dǎo)致模型的過(guò)度擬合。后來(lái)由于越來(lái)越多的人意識(shí)到數(shù)據(jù)挖掘的重要性，各行各業(yè)開(kāi)始逐漸投入大量的資源來(lái)建立和維護(hù)自己的信息化系統(tǒng)以用來(lái)收集可利用的數(shù)據(jù)。但是數(shù)據(jù)量的豐富，在給我們提供大量

2、數(shù)據(jù)的同時(shí)也帶來(lái)了一些麻煩。首先雖然數(shù)據(jù)量很大但不一定全是有用的信息，從這些數(shù)據(jù)中找出我們需要的數(shù)據(jù)是一個(gè)重要的問(wèn)題，其次數(shù)據(jù)量過(guò)大時(shí)對(duì)數(shù)據(jù)的存儲(chǔ)也是一個(gè)重大的挑戰(zhàn)。
　　數(shù)據(jù)挖掘中使用的方法主要是有以下幾類，關(guān)于監(jiān)督和預(yù)測(cè)的模型：神經(jīng)網(wǎng)絡(luò)、決策樹算法、回歸等；無(wú)監(jiān)督模型：聚類分析（快速聚類及二階聚類）和關(guān)聯(lián)分析（多維關(guān)聯(lián)及時(shí)序關(guān)聯(lián)）；針對(duì)大數(shù)據(jù)現(xiàn)象出現(xiàn)的數(shù)據(jù)降維類方法：主成分分析、因子分析等。根據(jù)想要得到的結(jié)果,可以選擇不同的分

3、析方法。
　　本文主要介紹決策樹方法中的ID3算法和C4.5算法，并且分析了它們各自的優(yōu)缺點(diǎn)。本文的創(chuàng)新點(diǎn)是在ID3算法理論的基礎(chǔ)上提出了修正的信息增益函數(shù)。修正的算法可以在一定程度上避免原算法中易偏向于選擇屬性取值數(shù)目較多的屬性作為樣本的劃分屬性。將ID3算法和改進(jìn)的算法的預(yù)測(cè)能力進(jìn)行比較，實(shí)驗(yàn)表明改進(jìn)的算法具有更高的預(yù)測(cè)精度。
　　本文中還分析了數(shù)據(jù)流挖掘中基于Hoeffding不等式的VFDT算法，針對(duì)連續(xù)屬性處理的N