etl技術(shù)規(guī)范(通用)

1、ETL技術(shù)規(guī)范第1章.ETL設(shè)計(jì)規(guī)范ETL設(shè)計(jì)規(guī)范主要應(yīng)用于ETL編碼的前期工作。由于ETL全過程是面向數(shù)據(jù)的，主要工作為數(shù)據(jù)的抽?。‥xtract）、轉(zhuǎn)換（Transfm）、裝載（Loading），正確界定所涉及到的數(shù)據(jù)范圍和應(yīng)當(dāng)應(yīng)用的轉(zhuǎn)換邏輯對(duì)于后續(xù)的編碼工作非常重要，這些數(shù)據(jù)關(guān)系的確定，我們稱之為Mapping（數(shù)據(jù)映射）。正確定義數(shù)據(jù)映射關(guān)系是ETL成功實(shí)施的前提，一個(gè)完善的Mapping應(yīng)該包含以下幾個(gè)部分：1.1源數(shù)據(jù)集屬性

2、此部分應(yīng)該詳細(xì)描述數(shù)據(jù)源的相關(guān)屬性，包括：實(shí)體名稱實(shí)體名稱——含數(shù)據(jù)來源名稱（DSN）、所有者等信息；字段名稱字段名稱——英文名稱；字段簡(jiǎn)述字段簡(jiǎn)述——中文名稱，如為參數(shù)信息應(yīng)該有相關(guān)取值解釋，如性別字段（1：男；2：女；0：不詳）類型類型——字段類型，含長(zhǎng)度和精度信息；非空屬性非空屬性——字段是否可以為空；1.3ETL規(guī)則主要描述ETL各個(gè)環(huán)節(jié)的轉(zhuǎn)換規(guī)則，包括：數(shù)據(jù)源過濾規(guī)則數(shù)據(jù)源過濾規(guī)則——描述從源數(shù)據(jù)集獲取數(shù)據(jù)過程中過濾掉記錄的規(guī)

3、則；關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則——當(dāng)源數(shù)據(jù)集為多個(gè)時(shí)，描述相互之間的關(guān)聯(lián)關(guān)系；列轉(zhuǎn)換規(guī)則列轉(zhuǎn)換規(guī)則——描述源數(shù)據(jù)集到目標(biāo)數(shù)據(jù)集的字段間的轉(zhuǎn)換規(guī)則；此規(guī)則非常重要，要清晰描述字段間的邏輯關(guān)系，包括業(yè)務(wù)邏輯；目標(biāo)數(shù)據(jù)集更新規(guī)則目標(biāo)數(shù)據(jù)集更新規(guī)則——描述目標(biāo)數(shù)據(jù)集的更新策略，包括更新機(jī)制和更新頻度，如“每日全量更新”、“每周增量更新”等；ETL作業(yè)列表作業(yè)列表——由于ETL所開發(fā)的作業(yè)之間包含一定的業(yè)務(wù)邏輯和編碼邏輯，所以調(diào)度過程中應(yīng)遵循一定的邏輯順序