基于HDFS的云存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，海量數(shù)據(jù)的存儲(chǔ)與分析已成為非常熱門的研究領(lǐng)域。Hadoop分布式文件系統(tǒng)HDFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，可以在廉價(jià)的硬件上運(yùn)行，并具有可靠的容錯(cuò)能力，正受到越來(lái)越多的企業(yè)和科研機(jī)構(gòu)青睞。目前，基于HDFS研發(fā)云存儲(chǔ)系統(tǒng)、解決大規(guī)模數(shù)據(jù)存儲(chǔ)的需求也越來(lái)越多。本文研究的正是基于HDFS設(shè)計(jì)“合肥城市云”存儲(chǔ)系統(tǒng)。
　　然而，由于HDFS本身的架構(gòu)設(shè)計(jì)，大量的小文件存儲(chǔ)會(huì)給名字節(jié)點(diǎn)Name

2、node造成巨大的內(nèi)存壓力，從而限制了集群的文件存儲(chǔ)數(shù)量和讀寫效率。Namenode的單點(diǎn)故障問(wèn)題也會(huì)影響到HDFS的高可用性。為了解決以上問(wèn)題，在進(jìn)行大量調(diào)研和學(xué)習(xí)HDFS系統(tǒng)架構(gòu)和內(nèi)部流程的實(shí)現(xiàn)機(jī)制的基礎(chǔ)上，提出有效解決方案。本文的主要工作如下:
　　1、針對(duì)小文件存儲(chǔ)問(wèn)題，提出了ABFM優(yōu)化方案。根據(jù)文件之間的相關(guān)性按優(yōu)先級(jí)高低合并后再上傳，并生成索引記錄。加入隨機(jī)化思想，采用兩級(jí)緩存策略，將預(yù)提取的小文件緩存在內(nèi)存池中。系

3、統(tǒng)會(huì)定期查詢?cè)L問(wèn)日志，動(dòng)態(tài)調(diào)整預(yù)提取概率。和默認(rèn)方案、系統(tǒng)自帶的HAR方案進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明，ABFM策略能有效提高小文件訪問(wèn)效率，降低名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存開銷。
　　2、針對(duì)Namenode單點(diǎn)故障問(wèn)題，調(diào)研了幾種主流的解決方案，最終選取基于QJM的Namenode高可用方案。深入學(xué)習(xí)該方案的系統(tǒng)架構(gòu)和內(nèi)部原理，詳細(xì)描述了搭建過(guò)程，并給出了搭建成功后的系統(tǒng)界面效果展示。
　　3、結(jié)合企業(yè)需求，設(shè)計(jì)并實(shí)現(xiàn)了基于高可用

4、HDFS的“合肥城市云”存儲(chǔ)系統(tǒng)。系統(tǒng)共有三個(gè)模塊，分別是加入了小文件優(yōu)化方案的B/S訪問(wèn)模塊、NFS訪問(wèn)模塊和后臺(tái)管理系統(tǒng)模塊。用戶可以通過(guò)B/S模式和NFS模式訪問(wèn)云存儲(chǔ)系統(tǒng)。系統(tǒng)管理員能夠?qū)τ脩暨M(jìn)行安全認(rèn)證、配額管理、凍結(jié)和解凍以及處理擴(kuò)容請(qǐng)求等操作，有效彌補(bǔ)了HDFS這些方面的不足，方便企業(yè)、用戶使用和管理。
　　4、采用黑盒測(cè)試方法，對(duì)“合肥城市云”系統(tǒng)的B/S訪問(wèn)模式和NFS訪問(wèn)模式進(jìn)行功能測(cè)試和性能測(cè)試，保證系統(tǒng)能夠