機群環(huán)境下并行I-O操作優(yōu)化研究.pdf

1、隨著高性能計算機系統(tǒng)的不斷發(fā)展與應(yīng)用，很多科學(xué)計算程序（如并行渲染、天文計算、分子動力學(xué)、高能物理、流體力學(xué)計算、地球數(shù)值模擬系統(tǒng)以及天氣預(yù)報）對系統(tǒng)I/O性能的要求越來越高。然而盡管I/O系統(tǒng)的存取速度越來越快，其與處理器計算能力之間的差距卻越來越大，與此同時隨著降低高性能計算機的能耗成為高性能計算領(lǐng)域的研究熱點，并行程序I/O操作的節(jié)能降耗正受到越來越多的關(guān)注。
　　并行計算程序?qū)⒂嬎闳蝿?wù)劃分給各個進程共同完成，各個進程通常以

2、并行I/O的方式對共享的文件或者文件集合進行讀寫操作，以獲得所需數(shù)據(jù)。進程對共享文件的操作可以分為非集合操作和集合操作兩種。非集合操作適用于各個子進程相對獨立的并行計算程序，這類程序的各個子進程各自讀取數(shù)據(jù)并進行計算，彼此之間并不進行通信，典型的應(yīng)用有并行渲染。而集合操作適用于各個進程需要緊密配合的并行程序，這類程序的各個子進程緊密配合以共同完成數(shù)據(jù)的讀寫操作，計算的過程中各個進程間也往往需要交換彼此的計算結(jié)果，典型的應(yīng)用有流體力學(xué)計算

3、等。
　　相對較低的I/O性能使得處理器花費越來越多的時間來等待數(shù)據(jù)，從而造成計算能力和電能的浪費。由于以上原因，提高大規(guī)模并行程序I/O操作的速度以及能效正變得越來越重要?；谏鲜霰尘?，本文對并行程序的I/O問題進行了深入的研究。在系統(tǒng)論述了國內(nèi)外相關(guān)研究現(xiàn)狀和難點的基礎(chǔ)上，本文提出了提高非集合并行I/O操作和集合并行I/O操作性能的方法。本文的主要工作和創(chuàng)新點包括:
　　第一，提出了一種提高非集合并行I/O操作性能的方法

4、。對很多松耦合的并行程序來說，運行于不同節(jié)點之上的各個進程之間共享大量的文件，本文設(shè)計了一個運行于機群環(huán)境的自組織的分布式內(nèi)存緩存，該緩存存儲各個進程所共享的文件，各個進程可以透明高速訪問該緩存。一旦一個文件被存儲在緩存內(nèi)部，所有的進程都可以繞過并行文件系統(tǒng)，從共享的內(nèi)存緩存里面獲取數(shù)據(jù)，從而減輕了文件系統(tǒng)的壓力。本文描述了該緩存的架構(gòu)并對其性能進行了測試。
　　第二，提出了一種對集合并行I/O操作進行快速調(diào)優(yōu)的方法。集合并行I/

5、O操作提供一些可調(diào)的參數(shù)，來幫助并行程序獲得更好的I/O性能。由于存在較多的參數(shù)設(shè)置組合，而執(zhí)行一次I/O操作往往需要較長時間，需要能夠在較短的時間內(nèi)找到足夠好的參數(shù)設(shè)置。通過為集合并行I/O操作的執(zhí)行時間建立模型，可以在模型的指導(dǎo)下較快的完成對參數(shù)設(shè)置空間的搜索，從而發(fā)現(xiàn)較好的參數(shù)設(shè)置。
　　第三，提出了提高并行I/O操作能效的方法。為了設(shè)計exascale計算機，越來越多的研究開始關(guān)注如何改進高性能計算系統(tǒng)的能耗。獲取并改進并