基于HBase的數據壓縮技術研究.pdf

1、隨著大數據技術的發(fā)展以及Hadoop等大數據平臺的迅速普及與推廣，生活中產生的數據量呈現爆炸性增長的趨勢，數據種類呈現復雜化，存儲方式呈現多樣化。傳統(tǒng)的基于行存儲的大數據存儲方式并不能夠以較低的成本將大數據存儲起來。與此同時，由于數據的訪問頻度的不同，對于不同訪問級別的數據所采用的存儲方式提出了新的要求。針對以上情況，結合大數據平臺下的HBase數據庫，本文對大規(guī)模數據環(huán)境下基于HBase的壓縮存儲技術進行了研究，主要的創(chuàng)新點如下：

2、r>　　首先，提出一種基于訪問頻度的數據分類方法：根據一段時間內數據庫文件的訪問次數得到相應的訪問頻度，依據各數據文件的訪問頻度及相關閾值將數據文件劃分為冷熱數據并確定具體的訪問級別。在此基礎之上，提出基于數據訪問級別的壓縮策略選擇方法：定義了確定數據樣本的抽樣方法，針對原有的壓縮策略選擇方法中先驗知識未必可靠的缺陷，通過添加評估層及時調整先驗知識，并在基于相鄰參照區(qū)和基于統(tǒng)計列選擇方法的基礎上設計出HBase數據壓縮策略選擇方法，優(yōu)化

3、存儲成本。仿真實驗與結果表明，本文提出的方法不僅能夠有效實現大數據的存儲，同時還提高了數據的訪問性能。
　　其次，從數據遷移的角度，提出一種基于文件價值的數據遷移方法。首先，根據數據訪問頻度等因素計算出數據塊文件的價值，由這個文件價值得到數據遷移的目的設備。同時改進了數據遷移技術，利用數據緩沖區(qū)和雙緩沖隊列解決了數據遷入遷出速率不匹配的問題，提高了數據遷移效率，節(jié)省了內存和時間消耗，最終實現了對大數據平臺數據的存儲優(yōu)化。