基于HDFS平臺的校園云存儲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著校園信息化不斷發(fā)展，高校信息數(shù)據(jù)存儲問題迅速涌現(xiàn)出來。然而，現(xiàn)存的數(shù)據(jù)存儲平臺不能夠滿足日益增長的海量數(shù)據(jù)的需求。因此，研究并開發(fā)一個有效的存儲平臺來存儲這些海量信息數(shù)據(jù)顯得尤其重要。云計算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用

2、軟件集合起來協(xié)同工作簡單來說，云存儲就是將儲存資源放到云上供用戶存取的一種新興方案，是目前的研究熱點。
　　基于HDFS的云存儲系統(tǒng)是指通過Internet遠(yuǎn)程Web方式實現(xiàn)終端用戶對文件信息的自由存取，并獲得文件和文件夾的上傳/下載以及管理功能。本文介紹了在IT服務(wù)大環(huán)境的基礎(chǔ)上構(gòu)建云存儲系統(tǒng)的必要性。通過分析和對比GFS、Amazons3、Hadoop的技術(shù)特性，確定了以HDFS作為平臺的基礎(chǔ)存儲模式。通過搭建Hadoop存儲

3、平臺，采用Java Web編程技術(shù)和Mysql數(shù)據(jù)庫完成了各子系統(tǒng)的編碼實現(xiàn)，并對云存儲系統(tǒng)的進(jìn)行性能測試。本文設(shè)計并實現(xiàn)了一種通用的基于Hadoop的校園云存儲系統(tǒng)，在HDFS基礎(chǔ)上實現(xiàn)了某學(xué)院云存儲系統(tǒng)的整體設(shè)計，包括系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)庫、后臺存儲、系統(tǒng)功能實現(xiàn)等。文中對HDFS原有的負(fù)載均衡算法進(jìn)行改進(jìn)，提出了一種多指標(biāo)的負(fù)載均衡算法。在HDFS自身負(fù)載均衡的基礎(chǔ)上，根據(jù)具體情況設(shè)定評價指標(biāo)，設(shè)計評價函數(shù)，得出負(fù)載量，并制定雙閾值策略