決策樹分類算法的并行化研究及其應(yīng)用.pdf

1、隨著企業(yè)信息化進(jìn)程的不斷推進(jìn),針對工業(yè)、商業(yè)、金融和信息檢索各種應(yīng)用所產(chǎn)生的巨大數(shù)據(jù)集而進(jìn)行的算法研究,已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域研究的主要?jiǎng)恿Α?shù)據(jù)量不斷增加,如何處理海量數(shù)據(jù)成為數(shù)據(jù)處理的一大難點(diǎn)。解決這個(gè)問題有兩種方法:一種方法就是減少響應(yīng)時(shí)間的采樣方法,但在一些情況下,減少訓(xùn)練數(shù)據(jù)集可能會導(dǎo)致計(jì)算模型不準(zhǔn)確,更為嚴(yán)重的是,挖掘模型可能根本沒有用,如輪廓識別、異常點(diǎn)識別等;另外一種方法就是并行計(jì)算方法。并行計(jì)算方法是相對于串行計(jì)算方法來

2、說的,所謂的并行計(jì)算分為空間上的并行和時(shí)間上的并行?？臻g上的并行是指用多個(gè)處理器同時(shí)執(zhí)行計(jì)算,而時(shí)間上的并行則是指流水線技術(shù)。并行數(shù)據(jù)挖掘和高性能計(jì)算機(jī)結(jié)合在一起,就能為挖掘海量數(shù)據(jù)集提供一個(gè)最佳的研究方案。
　　在眾多的分類算法中,決策樹具有出色的數(shù)據(jù)分析效率和排除噪音的強(qiáng)壯性,具有易于提取顯示直觀易懂的分類規(guī)則和易于顯示重要的決策屬性等優(yōu)點(diǎn),是典型的以邏輯模型的方式輸出的分類結(jié)果的數(shù)據(jù)挖掘技術(shù)。目前學(xué)者們已經(jīng)開展了對決策樹并行

3、算法的研究,但是存在著通信量過大、數(shù)據(jù)分布不合理、負(fù)載不平衡和可擴(kuò)展性差等問題,出現(xiàn)了算法性能隨數(shù)據(jù)量的遞增而下降的情況。
　　為解決現(xiàn)有決策樹并行算法中存在的問題,本文搭建了并行計(jì)算環(huán)境,并對決策樹并行化進(jìn)行了認(rèn)真分析,給出了決策樹構(gòu)建的并行性方案。在對決策樹的并行訓(xùn)練策略進(jìn)行性能分析的基礎(chǔ)上,選擇了橫向數(shù)據(jù)劃分方法,保證了決策樹的精度。采用C語言設(shè)計(jì)并實(shí)現(xiàn)ID3并行算法,該算法在執(zhí)行效率、減少時(shí)間復(fù)雜度方面具有較好的性能。最后