基于Hadoop平臺的作業(yè)調(diào)度算法研究與改進.pdf

1、隨著大數(shù)據(jù)時代的到來，云計算技術(shù)的發(fā)展極為迅速，Hadoop平臺作為云計算技術(shù)的核心實現(xiàn)，也得到了廣泛的應(yīng)用和發(fā)展。Hadoop平臺通過網(wǎng)絡(luò)互連將大量的計算機連接成為一個集群，用戶可以通過客戶端向集群提交作業(yè)來完成實際的應(yīng)用需求。資源調(diào)度器作為Hadoop平臺的核心組件，采取特定的調(diào)度算法對用戶提交的作業(yè)進行資源分配和調(diào)度執(zhí)行，調(diào)度算法的優(yōu)劣直接影響著整個集群的性能，決定著為用戶提供的服務(wù)質(zhì)量。因此對Hadoop平臺作業(yè)調(diào)度算法的研究和

2、改進非常重要。
　　本文通過研究Hadoop YARN內(nèi)建的三種作業(yè)調(diào)度算法，指出其不足，從而在此基礎(chǔ)上提出了一種新的算法，稱為Dependency Scheduler。本算法主要針對 Hadoop集群的資源使用率進行了優(yōu)化，并著重考慮了MapReduce作業(yè)的map任務(wù)和reduce任務(wù)之間的依賴性問題，通過初始任務(wù)選擇和實時任務(wù)選擇兩個階段，調(diào)度任務(wù)的執(zhí)行，最終達到最優(yōu)化使用集群資源和最小化MapReduce作業(yè)集完成時間的目