基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，每天由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來(lái)越龐大?；ヂ?lián)網(wǎng)企業(yè)面對(duì)這些浩繁的數(shù)據(jù)，常常陷入“數(shù)據(jù)豐富，信息貧乏”的尷尬境地。設(shè)計(jì)一個(gè)通用可擴(kuò)展的平臺(tái)，來(lái)有效地處理海量數(shù)據(jù)，不斷地從中挖掘出對(duì)運(yùn)營(yíng)商有價(jià)值的信息，成為互聯(lián)網(wǎng)企業(yè)發(fā)展的必然選擇。 MapReduce是由GooSe公司首先提出的，一種能在大型計(jì)算機(jī)集群上并發(fā)地處理海量數(shù)據(jù)的框架模型。使用者通過(guò)指定一個(gè)map函數(shù)將輸入數(shù)據(jù)轉(zhuǎn)化成為一系列中間鍵.值對(duì)，然后由一個(gè)自定義的

2、reduce函數(shù)將具有相同鍵的值聚集起來(lái)，將結(jié)果輸出。很多現(xiàn)實(shí)世界對(duì)海量數(shù)據(jù)的處理，都可以用這種模型來(lái)表示。 本文在分析MapReduce模型的基礎(chǔ)上，結(jié)合自身的特點(diǎn)，提出了一種并發(fā)處理海量數(shù)據(jù)的更通用、更可擴(kuò)展的平臺(tái)。 首先，我們提出了海量數(shù)據(jù)并發(fā)處理平臺(tái)的體系結(jié)構(gòu)。該結(jié)構(gòu)為客戶(hù)端.任務(wù)調(diào)度與執(zhí)行層.數(shù)據(jù)存儲(chǔ)層三層架構(gòu)。在客戶(hù)端，通過(guò)可配置的XML文檔提交用戶(hù)任務(wù)。在進(jìn)行任務(wù)調(diào)度與執(zhí)行層設(shè)計(jì)時(shí)，我們首先提出了幾點(diǎn)關(guān)鍵的

3、策略，如通用平臺(tái)策略、負(fù)載均衡策略、中間結(jié)果處理策略和容錯(cuò)策略。接著，我們提出了主控節(jié)點(diǎn).分派節(jié)點(diǎn).服務(wù)節(jié)點(diǎn)的三點(diǎn)式架構(gòu)。其中，主控節(jié)點(diǎn)負(fù)責(zé)收集與處理其他節(jié)點(diǎn)的各種信息；分派節(jié)點(diǎn)負(fù)責(zé)解析、分派任務(wù)，獲取任務(wù)執(zhí)行結(jié)果；服務(wù)節(jié)點(diǎn)負(fù)責(zé)任務(wù)的具體執(zhí)行。三種節(jié)點(diǎn)互相配合，共同完成數(shù)據(jù)的并發(fā)處理。 接著，我們?cè)O(shè)計(jì)了存儲(chǔ)海量數(shù)據(jù)的分布式文件系統(tǒng)。分布式文件系統(tǒng)具有優(yōu)異的性能和吞吐率，較高的穩(wěn)定性和良好的可擴(kuò)展性。 最后，我們?cè)谝呀?jīng)搭建