基于云計算平臺的聚類算法的研究.pdf

1、聚類算法一直是數(shù)據(jù)挖掘算法中比較重要的一個分支，在無需先驗知識的前提下，聚類算法可以幫助研究人員從數(shù)據(jù)集合中獲取數(shù)據(jù)特有的規(guī)律和組織結(jié)構(gòu)。伴隨著科技的發(fā)展，數(shù)據(jù)集中包含的數(shù)據(jù)量呈指數(shù)級增長，傳統(tǒng)模式的聚類分析算法已經(jīng)不足以應(yīng)付當(dāng)前的數(shù)據(jù)規(guī)模，Hadoop、Spark等分布式平臺的出現(xiàn)為聚類分析的發(fā)展和研究提供了一個新的方向，同時，聚類算法也成了研究的重中之重。
　　本文針對傳統(tǒng)聚類算法難以有效解決大數(shù)據(jù)聚類處理的問題，通過對聚類算

2、法的研究和優(yōu)化，并結(jié)合當(dāng)前云計算模式的發(fā)展主要做了如下工作：
　　(1)首先對基于劃分的最典型的K-means算法做了深入的分析，主要介紹了該算法的特點和執(zhí)行過程。然后結(jié)合其自身特點，詳細的闡述了K-means算法存在的幾個缺點，并針對這些缺點，提出了通過對數(shù)據(jù)集進行預(yù)處理以得出K-means算法初始條件的k值、初始聚類中心的方案。從優(yōu)化算法初始值的角度對算法進行了一定程度的改進。由于基于劃分的聚類算法對數(shù)據(jù)集形狀比較敏感，而基于

3、密度的聚類算法卻能夠很好的解決此類問題。因此，本文接著對基于密度的DBSCAN算法進行了分析和改進，改進的算法從一定程度上降低了算法執(zhí)行的時間消耗。
　　(2)為了解決傳統(tǒng)模式的聚類算法難以處理大數(shù)據(jù)集的問題，文中探討了MapReduce編程模型，并基于此基礎(chǔ)，把改進后的算法在Hadoop的MapReduce框架下做了并行化的設(shè)計。
　　(3)通過對比實驗比較了兩種算法在處理任意形狀數(shù)據(jù)集時的特點；論證了優(yōu)化初始值后的K-m