基于Hadoop的數(shù)據(jù)倉庫構建方法的研究.pdf

1、目前基于Hadoop/Hive的數(shù)據(jù)倉庫 ETL理論方面的研究相對較少，并且缺乏用于構建Hadoop/Hive數(shù)據(jù)倉庫的成熟的第三方ETL工具?，F(xiàn)有的Hive在輔助用戶實現(xiàn)云數(shù)據(jù)倉庫的 ETL過程時，基本是“一對一(case-to-case)”模式。此種模式需要較多的人工干預，不適合大數(shù)據(jù)的ETL過程。
　　本文的創(chuàng)新工作有三個方面：
　　1)針對目前基于Hadoop的數(shù)據(jù)倉庫一般采用“一對一”的模式構建的情況，提出一種新的

2、 Hadoop/Hive數(shù)據(jù)倉庫的構建模式，即“元數(shù)據(jù)驅動的生成器模式”，用于構建基于Hadoop/Hive的數(shù)據(jù)倉庫。該模式具有兩點優(yōu)勢：一是由元數(shù)據(jù)驅動，充分發(fā)揮了關系數(shù)據(jù)庫管理系統(tǒng)對元數(shù)據(jù)操作的效率優(yōu)勢；二是識別了“通用知識”和“具體對象知識”兩類知識，并在對知識的分類基礎上設計和實現(xiàn) ETL過程，消除了“一對一”模式下大量不必要的重復操作。
　　2)根據(jù)“元數(shù)據(jù)驅動的生成器模式”，將傳統(tǒng)數(shù)據(jù)倉庫技術與Hadoop數(shù)據(jù)倉庫技

3、術進行結合，提出了Hadoop數(shù)據(jù)倉庫ETL的系統(tǒng)框架，根據(jù)該框架獨立自主開發(fā)了構建Hadoop/Hive的數(shù)據(jù)倉庫的ETL工具，并使用該工具建立了一實際的數(shù)據(jù)倉庫，對該數(shù)據(jù)倉庫的數(shù)據(jù)進行了數(shù)據(jù)挖掘的演示。
　　3)定義了Hadoop/Hive數(shù)據(jù)倉庫ETL過程中HiveQL語句中出現(xiàn)的兩類知識：“通用對象知識”和“特定對象知識”。
　　本文對上述創(chuàng)新結果進行了實驗驗證。實驗結果顯示，上述“生成器模式”和所開發(fā)的ETL工具能