云環(huán)境下大數(shù)據(jù)服務(wù)性能的測試與優(yōu)化.pdf

1、“大數(shù)據(jù)時代”的到來，對數(shù)據(jù)處理技術(shù)提出了新的要求和挑戰(zhàn)，各類大數(shù)據(jù)計算框架應(yīng)運(yùn)而生（如Hadoop、Storm等），成為人們處理各類大數(shù)據(jù)需求的利器。同時，在大數(shù)據(jù)推動下，云計算也迅速發(fā)展，人們可以按需從云中租用資源并按量計費(fèi)。在這兩方面技術(shù)的碰撞下，云環(huán)境下大數(shù)據(jù)服務(wù)的概念被提出，即BDaaS（BigData-as-a-Service），其理念是將大數(shù)據(jù)計算處理過程作為云中的服務(wù)向外提供，用戶只需專注大數(shù)據(jù)業(yè)務(wù)本身，而云會準(zhǔn)備好大數(shù)

2、據(jù)計算過程中的各種要素，其中著名的產(chǎn)品有：AWS EMR，Openstack Sahara等。
　　然而，人們在實(shí)踐BDaaS解決方案的過程中遇到許多困惑與局限，其中BDaaS的性能問題就是主要的關(guān)注點(diǎn)之一，人們常發(fā)現(xiàn)自己構(gòu)建的BDaaS環(huán)境性能與預(yù)期相差甚遠(yuǎn)，遠(yuǎn)不能滿足大數(shù)據(jù)業(yè)務(wù)的需求；而有時，在物理環(huán)境中適用的優(yōu)化策略，在BDaaS中卻難以發(fā)揮作用。人們迫切尋求相關(guān)的指導(dǎo)，而目前缺乏這方面系統(tǒng)的研究成果或方法。
　　針對

3、BDaaS性能問題，本文在閱讀大量研究文獻(xiàn)和分析現(xiàn)有產(chǎn)品的基礎(chǔ)上，開展了深入系統(tǒng)的研究，課題以O(shè)penstack、Hadoop、Sahara作為具體環(huán)境，采用從特殊到一般的方法進(jìn)行討論。包括三方面工作，首先，分析并定義BDaaS性能問題，當(dāng)大數(shù)據(jù)計算轉(zhuǎn)移到云環(huán)境后，云環(huán)境中資源的管理與使用是主要影響因素之一，本文圍繞這一核心，結(jié)合云環(huán)境的資源特性和不同應(yīng)用場景，提出了基于MapReduce的BDaaS性能模型，借此可以更準(zhǔn)確定位性能的影

4、響因素，并指導(dǎo)優(yōu)化；其次，測試并提出BDaaS主要的性能影響因素，課題開發(fā)一款自動化測試工具Doopshot，可高效的進(jìn)行大量測試并收集數(shù)據(jù)，在此基礎(chǔ)上，開展了五方面測試，全面衡量BDaaS的性能，提出約10條影響因素；最后，在Sahara中設(shè)計并實(shí)踐具體優(yōu)化，總體涉及三個方面，分別是塊設(shè)備管理接口、虛擬化性能瓶頸、數(shù)據(jù)源使用策略，這些優(yōu)化策略的設(shè)計思路也可以應(yīng)用到其他BDaaS解決方案中。
　　最后，本文通過實(shí)驗(yàn)對優(yōu)化方案進(jìn)行了

5、驗(yàn)證，對比了傳統(tǒng)大數(shù)據(jù)處理方案、原Sahara和優(yōu)化方案共6種情形?？傮w而言，優(yōu)化方案有顯著性能提升，相比于Sahara的默認(rèn)配置，新接口的配置在DFSIO中吞吐量提升了120%,使用緩存統(tǒng)一管理服務(wù)的設(shè)計，利用Tachyon可在特定情形下達(dá)到13倍的吞吐量提升；Sort工作負(fù)載的執(zhí)行時間上，優(yōu)化方案相比于原Sahara普遍下降了約50%，而內(nèi)存利用率在我們的實(shí)驗(yàn)中從80%提高到了96%，不過在緩存隔離性等方面還有待改進(jìn)。結(jié)果基本符合預(yù)