基于Spark的水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng).pdf

1、水庫調(diào)度利用水庫對徑流的調(diào)節(jié)能力，合理控制水庫各時期的蓄水和放水情況，達(dá)到防洪、抗旱的目的。水庫群優(yōu)化調(diào)度問題是包含復(fù)雜約束條件的多目標(biāo)優(yōu)化問題，隨著水利信息化進(jìn)程的不斷加快，水庫調(diào)度所需的數(shù)據(jù)規(guī)模不斷加大，使水庫群優(yōu)化調(diào)度的計算更加復(fù)雜，計算量更大，需要并行計算與大數(shù)據(jù)處理技術(shù)的支持。為此，本課題圍繞水庫群多目標(biāo)優(yōu)化調(diào)度問題，研究Spark大數(shù)據(jù)處理技術(shù)，并在水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)中應(yīng)用。
　　作者調(diào)查了水庫群多目標(biāo)優(yōu)化調(diào)度的

2、發(fā)展現(xiàn)狀；研究了大數(shù)據(jù)處理和并行化相關(guān)技術(shù)、水庫群多目標(biāo)優(yōu)化調(diào)度的求解模型與基于遺傳算法的優(yōu)化調(diào)度方法；提出了基于Spark的遺傳算法并行化方法。在此基礎(chǔ)上，基于Linux操作系統(tǒng)、Hadoop2.7.1+Spark1.5.2+SparkonYam構(gòu)建了Spark大數(shù)據(jù)支持環(huán)境，應(yīng)用Scala語言完成了基于Spark的水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)的設(shè)計與實現(xiàn)。
　　該系統(tǒng)主要包括數(shù)據(jù)釆集、數(shù)據(jù)存儲、水庫群調(diào)度并行計算三個模塊。數(shù)據(jù)釆集

3、模塊主要實現(xiàn)來自各個水庫的源數(shù)據(jù)的接收、整理，并轉(zhuǎn)換成大規(guī)模分布式數(shù)據(jù)庫HBase所支持的格式。數(shù)據(jù)存儲模塊主要實現(xiàn)水庫群調(diào)度數(shù)據(jù)的存儲，通過HBase存儲采集的源數(shù)據(jù)，采用HDFS存儲Spark集群計算所需的內(nèi)部數(shù)據(jù)與計算結(jié)果。水庫群調(diào)度計算模塊是整個系統(tǒng)的核心部分。采用遺傳算法進(jìn)行優(yōu)化調(diào)度的過程中涉及到了一系列復(fù)雜的操作，數(shù)據(jù)量大、計算復(fù)雜，這些計算通過基于RDD的Spark的并行操作來實現(xiàn)，主要步驟包括RDD數(shù)據(jù)集的創(chuàng)建、種群的初