基于Hadoop的云計算資源管理研究.pdf

1、基于Hadoop的云計算資源管理研究重慶大學碩士學位論文（專業(yè)學位）學生姓名：布玲玲指導教師：郭平教授兼職導師：趙偉高工學位類別：工程碩士（計算機技術領域）重慶大學計算機學院二O一三年四月重慶大學碩士學位論文中文摘要I摘要近年來，云計算作為一種新型的計算模式已經(jīng)越來越多的被廣泛應用和發(fā)展，云計算平臺也成為學術界爭相研究的對象，Hadoop憑借其開源、低成本、高效性、可擴展性和可靠性在眾多的云平臺中脫穎而出，受到越來越多的工業(yè)界和學術界的

2、重視，并用它作為云計算環(huán)境中重要的基礎軟件。云計算是一種能夠將動態(tài)伸縮的虛擬資源通過互聯(lián)網(wǎng)以服務的方式提供給用戶的計算模式。云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡訪問，進入可配置的計算資源共享池（資源包括網(wǎng)絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。Hadoop平臺是一個分布式系統(tǒng)架構，它是Google公司的DFS和MapReduce的

3、開源實現(xiàn)，適合處理海量數(shù)據(jù)集的應用程序。作為一個新型的分布式云平臺，其發(fā)展時間短，系統(tǒng)設計方面還存在一定的缺陷，尚處于一個待完善的階段。資源管理作為Hadoop平臺的核心技術之一，資源的管理水平直接影響到云平臺提供服務的可用性、可靠性和安全性，而資源管理的有效性很大程度上取決于作業(yè)調度系統(tǒng)和資源調度單位模式，資源調度單位是資源管理的基礎，對資源管理水平有決定性作用。本文基于大量實驗和文獻知識，深入研究了現(xiàn)有的Hadoop平臺中資源管理方

4、式和資源調度的基本單位時間片（Slot），分析了該調度單位對系統(tǒng)性能的影響，并通過在Hadoop平臺中進行一系列實驗分析了其存在的不足，最后針對這些不足提出了細粒度的資源管理方式。細粒度的資源管理方式將資源按照CPU、內存、網(wǎng)絡進行劃分，系統(tǒng)中提交的作業(yè)按照所需資源類型分為了CPU密集型、內存密集型、網(wǎng)絡密集型三類。本文給出了基于資源監(jiān)測數(shù)據(jù)的細粒度管理的實現(xiàn)方式，以及資源分配時應遵循的本地化策略和資源剩余最多貪心策略，并對該管理方式的