基于工作流引擎的數(shù)據(jù)倉(cāng)庫(kù)ETL研究與開(kāi)發(fā).pdf

1、數(shù)據(jù)倉(cāng)庫(kù)是一新型的數(shù)據(jù)庫(kù)管理系統(tǒng),對(duì)企業(yè)的歷史數(shù)據(jù)進(jìn)行各種各樣的分析,能夠集成各種異構(gòu)數(shù)據(jù)源并能滿足企業(yè)管理者對(duì)數(shù)據(jù)查詢的快速響應(yīng),其最終目的是為企業(yè)的管理者提供決策的支持信息。ETL (Extract Transform Load,抽取、轉(zhuǎn)換、裝載)是數(shù)據(jù)倉(cāng)庫(kù)建立的核心過(guò)程,而手工編碼實(shí)現(xiàn)ETL,對(duì)各個(gè)異構(gòu)數(shù)據(jù)源都要單獨(dú)實(shí)現(xiàn)ETL,這樣對(duì)ETL的管理和維護(hù)難度就較大,因此構(gòu)建高效、靈活的ETL工具是很有必要的。 本文將工作流的

2、概念引入ETL過(guò)程中,構(gòu)建了基于工作流引擎的ETL工具。設(shè)計(jì)實(shí)現(xiàn)了采用FSM (Finite State Machine,有限狀態(tài)機(jī))原理的工作流引擎、ETL任務(wù)模塊和基于連接池機(jī)制的DAO(Data Access Object,數(shù)據(jù)訪問(wèn)對(duì)象)。在工作流基礎(chǔ)上實(shí)現(xiàn)對(duì)ETL,任務(wù)的控制、管理和監(jiān)控,通過(guò)DAO集中控制對(duì)數(shù)據(jù)庫(kù)的訪問(wèn),這樣解決了ETL,任務(wù)之間復(fù)雜的調(diào)度管理。針對(duì)大數(shù)據(jù)加載效率問(wèn)題和數(shù)據(jù)倉(cāng)庫(kù)增量更新的問(wèn)題,提出了并行加載方案

3、和基于Oracle的MV(Materialized View,物化視圖)和CDC(Change Data Capture,變化數(shù)據(jù)捕捉)的數(shù)據(jù)增量更新方案,為數(shù)據(jù)的加載和增量更新提供了一套新的方法和思路。 本文圍繞著構(gòu)建基于工作流引擎的ETL工具而展開(kāi).首先介紹了數(shù)據(jù)倉(cāng)庫(kù)、ETL以及工作流、工作流管理系統(tǒng)、工作流引擎、和構(gòu)建工作流的ETL,工具的意義。接著重描述了基于工作流引擎的:ETL設(shè)計(jì)的各個(gè)模塊以及整體架構(gòu)。在基于工作流引