云存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除機(jī)制的研究.pdf

1、隨著云存儲(chǔ)技術(shù)的迅速發(fā)展，越來(lái)越多的企業(yè)和用戶傾向于將本地?cái)?shù)據(jù)轉(zhuǎn)移到云存儲(chǔ)系統(tǒng)中進(jìn)行存儲(chǔ)。雖然云存儲(chǔ)系統(tǒng)為用戶提供了低成本、便捷的網(wǎng)絡(luò)存儲(chǔ)服務(wù)，但是數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)對(duì)云存儲(chǔ)系統(tǒng)造成的存儲(chǔ)壓力也與日俱增，特別是大量重復(fù)性的冗余數(shù)據(jù)浪費(fèi)了大量的存儲(chǔ)資源。重復(fù)數(shù)據(jù)刪除技術(shù)可以有效縮減存儲(chǔ)系統(tǒng)中的冗余數(shù)據(jù)，但是現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)主要針對(duì)備份、歸檔系統(tǒng)等靜態(tài)數(shù)據(jù)場(chǎng)景，并不完全適用于云存儲(chǔ)系統(tǒng)。本文從云存儲(chǔ)系統(tǒng)的經(jīng)典體系架構(gòu)方式出發(fā)，針對(duì)有

2、中心云存儲(chǔ)系統(tǒng)和無(wú)中心云存儲(chǔ)系統(tǒng)的各自特點(diǎn)制定了較為完整的重復(fù)數(shù)據(jù)刪除策略。
　　對(duì)于有中心云存儲(chǔ)系統(tǒng)，本文首先從客戶端和元數(shù)據(jù)服務(wù)器對(duì)重復(fù)數(shù)據(jù)進(jìn)行檢測(cè)與避免，然后，針對(duì)存儲(chǔ)端因多用戶在線修改共享數(shù)據(jù)塊和副本管理不當(dāng)?shù)仍虍a(chǎn)生的新重復(fù)數(shù)據(jù)塊，提出基于數(shù)據(jù)塊訪問(wèn)頻率的延遲重復(fù)數(shù)據(jù)刪除策略，考慮存儲(chǔ)端的重復(fù)數(shù)據(jù)塊是否為熱點(diǎn)數(shù)據(jù)塊。該方法結(jié)合副本冗余的思想，對(duì)于熱點(diǎn)重復(fù)數(shù)據(jù)塊暫不刪除并將其作為副本以分擔(dān)系統(tǒng)當(dāng)前的訪問(wèn)負(fù)擔(dān)；對(duì)于非熱點(diǎn)數(shù)據(jù)

3、塊從負(fù)載均衡的角度有選擇地刪除。最后，本文通過(guò)仿真實(shí)驗(yàn)證明了延遲重刪策略在降低系統(tǒng)響應(yīng)時(shí)間和負(fù)載均衡方面確實(shí)比傳統(tǒng)重刪策略要好。
　　對(duì)于無(wú)中心云存儲(chǔ)系統(tǒng)，本文首先從客戶端對(duì)重復(fù)數(shù)據(jù)進(jìn)行檢測(cè)與避免，然后從路由表壓縮和優(yōu)化查找等角度改進(jìn)Chord算法，并使用改進(jìn)后的算法來(lái)構(gòu)建存儲(chǔ)端的邏輯網(wǎng)絡(luò)，使得存儲(chǔ)端查找數(shù)據(jù)指紋值的速度更快。最后，本文通過(guò)仿真實(shí)驗(yàn)證明了改進(jìn)后的Chord算法在指紋值的比對(duì)次數(shù)和查找時(shí)間方面確實(shí)優(yōu)于原算法。