大數(shù)據(jù)下重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)研究.pdf

1、近年來，隨著與數(shù)據(jù)相關(guān)的信息技術(shù)的高速發(fā)展，全球數(shù)據(jù)量呈現(xiàn)爆炸式增長，大數(shù)據(jù)給我們帶來了很多方便，但也存在大量的重復(fù)數(shù)據(jù)存儲，因此有效的處理重復(fù)數(shù)據(jù)達(dá)到節(jié)省存儲空間的目的，在大數(shù)據(jù)環(huán)境下提出了新的挑戰(zhàn)。目前提出的重復(fù)數(shù)據(jù)刪除技術(shù)，能很大程度地節(jié)省系統(tǒng)的存儲空間，但是系統(tǒng)的性能、可靠性和擴(kuò)展性也因此受到影響。本文對提升重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能進(jìn)行研究，提出一種基于指紋分類的索引方案，并在此基礎(chǔ)上設(shè)計和實現(xiàn)了一種新的重復(fù)數(shù)據(jù)刪除系統(tǒng)，主要工作

2、和創(chuàng)新點如下:
　　(1)為了減少磁盤訪問次數(shù)，提高重復(fù)數(shù)據(jù)刪除的性能，本文提出一種基于指紋分類的B樹二級索引方案SIAR(a Secondary Index Assisted Read scheme)。首先根據(jù)指紋的值域?qū)⑵溥M(jìn)行分類，對于每類指紋建立一顆B樹，相比于包含所有指紋的B樹，每一類指紋對應(yīng)的B樹高度更小，由此可以減少磁盤隨機訪問的次數(shù)，提升系統(tǒng)的讀性能。此外，對SIAR方法中的性能提升和內(nèi)存開銷的平衡關(guān)系進(jìn)行了理論分析

3、，依據(jù)存儲系統(tǒng)的數(shù)據(jù)量大小，設(shè)置相應(yīng)的參數(shù)，達(dá)到優(yōu)化系統(tǒng)的讀性能的目的。分析和實驗驗證了SIAR方法的有效性和高效性。
　　(2)設(shè)計并實現(xiàn)了一種新的重復(fù)數(shù)據(jù)刪除系統(tǒng)，系統(tǒng)由客戶端和服務(wù)器端兩部分構(gòu)成，客戶端采用文件類型分類的方式對不同文件進(jìn)行分類處理，不同類型的文件根據(jù)其內(nèi)容特點采用與之適應(yīng)的文件分塊算法，這樣可以保證重復(fù)刪除率的情況下減少計算開銷。客戶端首先發(fā)送數(shù)據(jù)塊指紋到服務(wù)端檢測，確保是非重復(fù)數(shù)據(jù)塊再傳輸數(shù)據(jù)到服務(wù)端，減少