數(shù)據(jù)倉庫建設(shè)方案

1、第162016DAFSA號(hào)公開招標(biāo)方案建議書第1章數(shù)據(jù)倉庫建設(shè)數(shù)據(jù)倉庫建設(shè)1.1數(shù)據(jù)倉庫總體架構(gòu)數(shù)據(jù)倉庫總體架構(gòu)專家系統(tǒng)接收增購項(xiàng)目車輛TCMS或其他子系統(tǒng)通過車地通信傳輸?shù)膶?shí)時(shí)或離線數(shù)據(jù)，經(jīng)過一系列綜合診斷分析，以各種報(bào)表圖形或信息推送的形式向用戶展示分析結(jié)果。針對(duì)診斷出的車輛故障將給出專家建議處理措施，為車輛的故障根因修復(fù)提供必要的支持。根據(jù)專家系統(tǒng)數(shù)據(jù)倉庫建設(shè)目標(biāo)，結(jié)合系統(tǒng)數(shù)據(jù)業(yè)務(wù)規(guī)范，包括數(shù)據(jù)采集頻率、數(shù)據(jù)采集量等相關(guān)因素，設(shè)計(jì)

2、專家系統(tǒng)數(shù)據(jù)倉庫架構(gòu)如下：數(shù)據(jù)倉庫架構(gòu)從層次結(jié)構(gòu)上分為數(shù)據(jù)采集、數(shù)據(jù)存、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等幾個(gè)方面的內(nèi)容：數(shù)據(jù)采集：負(fù)責(zé)從各業(yè)務(wù)自系統(tǒng)中匯集信息數(shù)據(jù)，系統(tǒng)支撐Kafka、Stm、第162016DAFSA號(hào)公開招標(biāo)方案建議書1.2.1.1數(shù)據(jù)匯集架構(gòu)功能數(shù)據(jù)匯集架構(gòu)功能Flume提供了從console(控制臺(tái))、RPC(ThriftRPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統(tǒng)，支持TCP和

3、UDP等2種模式)，exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力。Flume的數(shù)據(jù)接受方，可以是console(控制臺(tái))、text(文件)、dfs(HDFS文件)、RPC(ThriftRPC)和syslogTCP(TCPsyslog日志系統(tǒng))等。在我們系統(tǒng)中由kafka來接收。Kafka分布式消息隊(duì)列，支撐系統(tǒng)性能橫向擴(kuò)展，通過增加broker來提高系統(tǒng)的性能。Stm流處理技術(shù)，支撐Supervis橫向擴(kuò)展以提高系統(tǒng)的擴(kuò)展性和數(shù)據(jù)處理的