面向超級計算的大規(guī)模并行存儲系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、近幾年來，超級計算技術(shù)在科學(xué)研究和國民經(jīng)濟建設(shè)中扮演越來越重要的角色，應(yīng)用領(lǐng)域也更加廣闊。當(dāng)前，超級計算和數(shù)據(jù)存儲正邁向 E級時代，超級計算機系統(tǒng)計算能力迅速提升，數(shù)據(jù)規(guī)模急劇增大，存儲與計算的矛盾日益突出，對超級計算機系統(tǒng)數(shù)據(jù)處理能力提出巨大挑戰(zhàn)。
　　本文主要針對超級計算機大規(guī)模存儲系統(tǒng)中存在的問題，結(jié)合天河超級計算機并行存儲系統(tǒng)的研制任務(wù)，圍繞如何利用新型存儲介質(zhì)提升存儲系統(tǒng)的 I/O效能，開展新型存儲體系結(jié)構(gòu)、元數(shù)據(jù)服務(wù)系

2、統(tǒng)的優(yōu)化、閃存存儲介質(zhì)及存儲陣列的性能優(yōu)化、系統(tǒng)功耗優(yōu)化等關(guān)鍵技術(shù)的研究，以提升大規(guī)模并行存儲系統(tǒng)對海量數(shù)據(jù)的存儲能力和處理能力。論文的主要研究工作和創(chuàng)新點如下：
　　1.針對當(dāng)前的對并行存儲系統(tǒng)的優(yōu)化缺乏量化策略，通過分析理想的并行存儲系統(tǒng)模型，研究并行存儲中的行為方法，給出了并行存儲系統(tǒng)的帶寬和延遲的行為模型。根據(jù)存儲的數(shù)學(xué)模型和優(yōu)化策略對并行存儲系統(tǒng)體系結(jié)構(gòu)進行了優(yōu)化，提出了一種新型可定義存儲架構(gòu)。實驗表明該架構(gòu)在可擴展，可

3、升級以及可配置優(yōu)化方面具有更好的特性。
　　2.針對傳統(tǒng)元數(shù)據(jù)管理技術(shù)存在的瓶頸問題，本文根據(jù)分區(qū)并行、集中管理的設(shè)計思路，提出了基于閃存存儲陣列和大SMP節(jié)點服務(wù)平臺的元數(shù)據(jù)分域處理技術(shù)，實現(xiàn)了支持高并發(fā)的基于固態(tài)存儲陣列的元數(shù)據(jù)服務(wù)器。實驗表明，該技術(shù)顯著提高了元數(shù)據(jù)服務(wù)的I/O吞吐率和可擴展性，并行存儲系統(tǒng)的文件創(chuàng)建和查詢速度提升了大約5倍。
　　3.針對大規(guī)模并行存儲數(shù)據(jù)帶寬高，延遲低的要求，根據(jù)程序的局部性原理，采

4、用預(yù)測策略重新設(shè)計了新的FTL映射策略，該策略有效降低了FTL轉(zhuǎn)換帶來的延遲，提升了閃存的讀寫速率。同時優(yōu)化算法通過減少地址映射信息未命中而引起的固態(tài)盤內(nèi)額外讀寫操作，可以有效提高固態(tài)盤的整體讀寫性能，并延長固態(tài)盤的使用壽命。
　　4.針對閃存構(gòu)建RAID以后帶來的壽命急劇減少的問題，本文提出了一種基于緩存的可重構(gòu) RAID策略。一方面，利用失效數(shù)據(jù)繼續(xù)在介質(zhì)中存在的特點，保護有效數(shù)據(jù)，從而避免了校驗碼的頻繁更新問題，延長了閃存的

5、壽命；另一方面，利用緩沖區(qū)寫和閃存讀可并發(fā)的特性，提升了RAID的帶寬，降低了I/O訪問的延遲；此外，利用緩沖區(qū)的替換策略可以將具有同一讀寫特性的數(shù)據(jù)匯聚到相近的位置，顯著加速了垃圾回收的過程。實驗證明相比傳統(tǒng)的 RAID策略，該策略可以大幅減少垃圾回收和擦除的次數(shù)，顯著提升閃存介質(zhì)的使用壽命。
　　5.針對未來基于非易失存儲介質(zhì)的計算存儲相融合的系統(tǒng)架構(gòu)。本文根據(jù)大規(guī)模非易失存儲的計算存儲系統(tǒng)的功耗模型，提出了基于通信類的模擬退