基于Hadoop的數(shù)據(jù)挖掘算法的研究.pdf

1、大數(shù)據(jù)時代的來臨，使得傳統(tǒng)數(shù)據(jù)的存儲方式難以勝任海量的分析、管理、挖掘的任務(wù)，如何能快速有效的從中發(fā)現(xiàn)可供人們使用的信息及知識是今后數(shù)據(jù)挖掘技術(shù)所接受的新任務(wù)。傳統(tǒng)的數(shù)據(jù)挖掘算法在海量數(shù)據(jù)面前，效率低下并且浪費存儲空間，云計算的興起為數(shù)據(jù)挖掘算法的并行化改進帶來了新的生機，其高效的編程模式，海量的存儲能力，強大的計算水平，為數(shù)據(jù)挖掘的未來提供了廣闊的平臺。
　　Hadoop是Apache公司旗下的一個構(gòu)建云計算平臺的頂級項目，基于

2、此項目的分布式計算平臺已經(jīng)非常穩(wěn)定，國內(nèi)外許多公司都使用Hadoop來搭建自己的分布式計算平臺。Hadoop以其開源、高性能、靈活易用等特點得到了廣泛研究和應(yīng)用。Hadoop采用MapReduce編程模型來進行分布式計算，采用HDFS分布式文件系統(tǒng)進行文件存儲，并擁有包括數(shù)據(jù)庫HBase及數(shù)據(jù)倉庫Hive等一系列子項目。
　　本文主要對聚類算法中的K-means算法進行了詳細研究，通過對大規(guī)模數(shù)據(jù)進行抽樣，利用凸包及求解對踵點解決