PPDSS存儲系統設計與實現.pdf

1、隨著Internet的高速發(fā)展，各種形式的新型應用層出不窮。特別是以Web2.0為代表的新一代互聯網應用，給傳統的數據存儲模式帶來了極大的挑戰(zhàn)。以往的Internet服務幾乎都基于Client/Server模式，資源集中存儲在服務器端。隨著存儲內容的急劇增長，單靠服務器已無法滿足同樣海量的互聯網用戶的訪問需求。 結合近年來流行的對等計算(P2P)技術，我們開發(fā)了基于專有存儲服務器的、面向Internet用戶的數據存儲服務。通過在

2、廣域網部署的少量存儲服務器，形成了可靠的結構化覆蓋網絡(DHT)，向用戶提供可保證的資源查找服務。存儲服務器負責文件分片副本的存儲與分發(fā)，通過少量的副本冗余即可保證數據的可靠存儲，避免了數據的單點故障，提供了極高的可用性。引入自適應的副本冗余管理算法，智能地控制副本的數量，引導副本向臨近用戶的存儲服務器遷移，更能適應未來的移動互聯網業(yè)務。通過讓下載同一文件的用戶構成P2P覆蓋網絡，利用它們的邊緣帶寬向其它客戶提供上傳服務，有效地減輕了S

3、erver的壓力。即使面對海量的用戶的請求，系統也能應付，保證了良好的可擴展性。 為了保證存儲服務器的高性能與高可靠性，網絡IO采用非阻塞的異步處理機制，基于epoll的Reactor框架。系統中存在大量的定時器，在Reactor框架中實現了高效的定時器管理。磁盤IO的處理采用Linuxaio來實現，在其之上構建了高效的磁盤緩存機制。通過UDP套接字實現了Chord查找算法。 本系統分為服務器(ChuakServer)與

4、客戶端(Client)，ChunkServer以Linux2.6為開發(fā)平臺，采用C++作為開發(fā)語言，運用面向對象的程序設計思想開發(fā)完成。如再加強對實際網絡中的異常情況處理的話，可以作為基礎的存儲平臺在Internet部署并向廣大用戶提供可靠的存儲服務。 為了減輕存儲服務器的服務壓力和增加系統的吞吐量，我們原創(chuàng)性地設計并實現了基于分片放大能力的存儲服務器直接鄰居節(jié)點選擇算法(PA-DNNS)。通過選取分片放大能力較大的peer，允