智慧城市大數(shù)據(jù)平臺(tái)的流式計(jì)算服務(wù)系統(tǒng).pdf

1、智慧城市大數(shù)據(jù)處理應(yīng)用中包括很多對(duì)流式數(shù)據(jù)的計(jì)算處理，例如智慧鄰里社交應(yīng)用中的即時(shí)通信消息處理和輿情監(jiān)控、智慧樓宇應(yīng)用中的樓宇狀態(tài)信息監(jiān)測(cè)、車聯(lián)網(wǎng)應(yīng)用中的城市交通路線規(guī)劃等等。這些面向智慧城市大數(shù)據(jù)處理的流式計(jì)算應(yīng)用大多采用云基礎(chǔ)設(shè)施和分布式系統(tǒng)架構(gòu)，涉及流式數(shù)據(jù)分析、復(fù)雜事件處理和業(yè)務(wù)規(guī)則處理等多種模式，對(duì)應(yīng)用開發(fā)人員的技術(shù)能力要求高。因此，如何在云基礎(chǔ)設(shè)施服務(wù)（IaaS，Infrastructure as a Service)的基礎(chǔ)

2、上，為面向智慧城市大數(shù)據(jù)處理的流式計(jì)算應(yīng)用開發(fā)及運(yùn)行提供統(tǒng)一的通用平臺(tái)服務(wù)（PaaS，Platform as a Service),以方便應(yīng)用開發(fā)人員專注于應(yīng)用業(yè)務(wù)邏輯、提高開發(fā)效率，是亟待解決的實(shí)際應(yīng)用問題。
　　針對(duì)上述問題，本文以實(shí)驗(yàn)室承擔(dān)的“智慧鄰里社區(qū)服務(wù)軟件系統(tǒng)研發(fā)”實(shí)際項(xiàng)目為背景，在對(duì)流式計(jì)算、復(fù)雜事件處理、規(guī)則引擎等相關(guān)技術(shù)和Storm、Esper、Drools等開源框架深入分析研究的基礎(chǔ)上，結(jié)合實(shí)際需求，提出了一

3、個(gè)統(tǒng)一的流式計(jì)算服務(wù)（Stream Computing Service，以下簡(jiǎn)稱SCS)模型，并基于該模型和Storm等開源框架設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)流式計(jì)算服務(wù)系統(tǒng)。該系統(tǒng)解決了 Storm中應(yīng)用執(zhí)行實(shí)體并行度不能動(dòng)態(tài)調(diào)整的問題，可以為面向智慧城市大數(shù)據(jù)處理的流式計(jì)算應(yīng)用提供PaaS平臺(tái)服務(wù)，應(yīng)用開發(fā)者僅需定義SCS應(yīng)用描述文件并開發(fā)相關(guān)業(yè)務(wù)處理邏輯代碼即可構(gòu)建完整應(yīng)用。本文基于該系統(tǒng)進(jìn)一步開發(fā)了一個(gè)智慧鄰里社區(qū)服務(wù)系統(tǒng)中的鄰里社交即時(shí)消息

4、處理應(yīng)用實(shí)例。測(cè)試情況表明，該系統(tǒng)是可行及有效的。
　　本文的工作要點(diǎn)主要有：
　　1)流式計(jì)算服務(wù)系統(tǒng)以SCS模型和Storm開源框架為基礎(chǔ)，但 Storm應(yīng)用執(zhí)行實(shí)體的并行度不能動(dòng)態(tài)調(diào)整，導(dǎo)致SCS應(yīng)用在大數(shù)據(jù)量時(shí)處理能力難以擴(kuò)展等問題。本文在深入分析Storm源碼的基礎(chǔ)上，提出了一種可對(duì)Storm應(yīng)用執(zhí)行實(shí)體的并行度進(jìn)行動(dòng)態(tài)調(diào)整的PDC算法，并基于該算法設(shè)計(jì)實(shí)現(xiàn)了并行度動(dòng)態(tài)調(diào)整（PDCM)模塊。測(cè)試及應(yīng)用實(shí)例情況表明，

5、該模塊可動(dòng)態(tài)調(diào)整Storm應(yīng)用執(zhí)行實(shí)體的并行度及執(zhí)行實(shí)體間的并行度比例關(guān)系。
　　2)基于云基礎(chǔ)設(shè)施和分布式系統(tǒng)架構(gòu)的流式計(jì)算應(yīng)用對(duì)應(yīng)用開發(fā)者的技術(shù)能力要求高。為了在平臺(tái)服務(wù)的基礎(chǔ)上支持對(duì)流式計(jì)算應(yīng)用的開發(fā)，本文提出一種統(tǒng)一的SCS模型，基于該模型設(shè)計(jì)并實(shí)現(xiàn)了 SCS應(yīng)用定義工具，使得開發(fā)者僅需要通過定義SCS服務(wù)描述文件并實(shí)現(xiàn)關(guān)鍵處理邏輯便可生成一個(gè)可運(yùn)行于SCS系統(tǒng)的流式計(jì)算應(yīng)用。測(cè)試及應(yīng)用實(shí)例情況表明，該工具是可行及有效的。

6、
　　3)基于SCS模型的流式計(jì)算應(yīng)用可由SCS應(yīng)用描述文件定義并構(gòu)建，應(yīng)用的運(yùn)行需由SCS執(zhí)行引擎來實(shí)現(xiàn)，本文基于開源框架Storm、Esper和Drools設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于SCS模型的SCS執(zhí)行引擎。該執(zhí)行引擎將基于Esper的復(fù)雜事件處理和基于Drools的業(yè)務(wù)規(guī)則處理作為統(tǒng)一的Storm處理節(jié)點(diǎn)，并以一致的方式利用Storm的分布式機(jī)制來解決其可擴(kuò)展性問題。該執(zhí)行引擎還實(shí)現(xiàn)了 SCS模型中具有并發(fā)和分流關(guān)系的節(jié)點(diǎn)間數(shù)據(jù)