Hadoop容錯(cuò)能力測(cè)試平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息系統(tǒng)中數(shù)據(jù)量的迅速增長(zhǎng),傳統(tǒng)的計(jì)算和存儲(chǔ)模式已經(jīng)不能滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)處理和存儲(chǔ)需求。在早期分布式處理、并行處理以及網(wǎng)格計(jì)算技術(shù)的基礎(chǔ)之上發(fā)展而來(lái)的云計(jì)算技術(shù)成為目前炙手可熱的海量數(shù)據(jù)解決手段。但是,隨著云計(jì)算平臺(tái)的普及與推廣,可靠性成為它面臨的一項(xiàng)重大困難與挑戰(zhàn)。容錯(cuò)能力能夠從一個(gè)層面上反映出系統(tǒng)可靠性的高低。因此,評(píng)測(cè)云計(jì)算平臺(tái)的容錯(cuò)能力對(duì)其可靠性研究具有重要意義。
　　由于云計(jì)算平臺(tái)的復(fù)雜程度高、軟件規(guī)模大,使得云計(jì)

2、算平臺(tái)的容錯(cuò)能力評(píng)測(cè)成為一項(xiàng)艱巨的任務(wù)。目前針對(duì)云計(jì)算平臺(tái)測(cè)試已有的研究成果中,涉及容錯(cuò)能力評(píng)測(cè)的內(nèi)容較少并且測(cè)試方法較為單一,需要更加深入的研究與完善。
　　評(píng)測(cè)容錯(cuò)能力的最有效手段是基于故障注入思想的測(cè)試方法。本文以開(kāi)源云計(jì)算平臺(tái)—Hadoop作為研究目標(biāo),深入研究Hadoop中核心組件的容錯(cuò)機(jī)制。基于現(xiàn)實(shí)應(yīng)用中可能出現(xiàn)的故障類(lèi)型,結(jié)合Hadoop平臺(tái)的部署結(jié)構(gòu)以及運(yùn)行機(jī)制的特點(diǎn),提出了一種多層次的Hadoop容錯(cuò)能力測(cè)試框架

3、。從軟件健壯性測(cè)試、MapReduce故障注入測(cè)試、網(wǎng)絡(luò)故障注入測(cè)試和HDFS故障注入測(cè)試四個(gè)層次出發(fā),分別模擬了云計(jì)算平臺(tái)在應(yīng)用中可能出現(xiàn)的多種軟硬件異常。
　　依據(jù)Hadoop多層次容錯(cuò)能力測(cè)試框架,設(shè)計(jì)了針對(duì)Hadoop的容錯(cuò)能力評(píng)測(cè)平臺(tái),實(shí)現(xiàn)了多種故障注入工具,形成了對(duì)Hadoop的軟件健壯性測(cè)試以及可能發(fā)生節(jié)點(diǎn)故障、網(wǎng)絡(luò)故障、硬盤(pán)故障等故障類(lèi)型的容錯(cuò)能力測(cè)試的覆蓋。在故障注入過(guò)程中,監(jiān)控和回收云計(jì)算平臺(tái)對(duì)于故障的反饋信息

4、,進(jìn)行結(jié)果分析從而向研究人員提供真實(shí)可靠的評(píng)測(cè)結(jié)果,最終為云計(jì)算平臺(tái)的容錯(cuò)能力評(píng)測(cè)提供有力的數(shù)據(jù)支撐。
　　為了驗(yàn)證Hadoop容錯(cuò)能力評(píng)測(cè)方法的可行性,本文使用Hadoop搭建了一個(gè)小型的云計(jì)算平臺(tái)環(huán)境進(jìn)行實(shí)驗(yàn)。軟件健壯性測(cè)試發(fā)現(xiàn)了Hadoop接口和實(shí)現(xiàn)中存在的不足并進(jìn)行了缺陷定位。在測(cè)試環(huán)境中進(jìn)行的節(jié)點(diǎn)或進(jìn)程級(jí)失效故障、數(shù)據(jù)操作失效故障、數(shù)據(jù)校驗(yàn)故障、資源過(guò)載故障和網(wǎng)絡(luò)故障的注入測(cè)試有效地證明了各個(gè)故障注入工具的有效性。通過(guò)結(jié)