海量數(shù)據(jù)存儲系統(tǒng)的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術日益發(fā)達，網(wǎng)絡上的數(shù)據(jù)量呈爆炸式增長，海量數(shù)據(jù)的管理和維護，對企業(yè)和個人來說，都面臨著巨大的困難，不僅成本高昂，而且在海量數(shù)據(jù)存取的可靠性和可用性方面也都存在著巨大的問題。Google公司提出的GFS文件系統(tǒng)，最早給出了完整有效的海量數(shù)據(jù)存儲理論框架，并面向大型分布式數(shù)據(jù)密集型應用，建立以大量異構的存儲機器為基礎的集群，實現(xiàn)海量數(shù)據(jù)的存儲和讀取的高性能服務，并提供良好的系統(tǒng)容錯性。
　　本文是以Google的GFS文件系

2、統(tǒng)理論為基礎，結合海量數(shù)據(jù)存儲的特點以及存儲的高可靠性，并針對數(shù)據(jù)存儲節(jié)點的異構性，提出基于機器存儲性能和數(shù)據(jù)塊訪問次數(shù)等因素的負載計算模型，并給出了數(shù)據(jù)存儲節(jié)點選擇優(yōu)化策略、數(shù)據(jù)讀取節(jié)點選擇優(yōu)化策略以及負載均衡節(jié)點選擇優(yōu)化策略，同時將優(yōu)化策略和默認策略進行性能上的對比。
　　論文在詳細分析海量數(shù)據(jù)存儲理論、方法、技術的基礎上，對系統(tǒng)的整體結構進行設計，細分系統(tǒng)各個部分的功能，給出存儲系統(tǒng)的功能設計，并實現(xiàn)了包括數(shù)據(jù)存儲功能、集群