基于對(duì)象的主動(dòng)存儲(chǔ)關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)存儲(chǔ)應(yīng)用現(xiàn)了一些新特點(diǎn)：數(shù)據(jù)總量爆炸性增長(zhǎng)的趨勢(shì)越來越快，存儲(chǔ)管理和維護(hù)的自動(dòng)化和智能化程度要求越來越高，多平臺(tái)的互操作性和數(shù)據(jù)共享能力越來越重要。網(wǎng)絡(luò)存儲(chǔ)正發(fā)生著革命性的變化，基于對(duì)象的存儲(chǔ)應(yīng)運(yùn)而生?；趯?duì)象的存儲(chǔ)將存儲(chǔ)接口作了根本性的改變，提出了對(duì)象接口，由此克服了塊接口與文件接口的缺陷，使得對(duì)象存儲(chǔ)系統(tǒng)在安全性，數(shù)據(jù)共享，可擴(kuò)展性及性能等方面能做到最好的折中。對(duì)象接口訪問的基本單位是對(duì)象，對(duì)象除了

2、包含用戶數(shù)據(jù)外，還包含能描述對(duì)象特征的屬性。通過在用戶和設(shè)備之間傳遞對(duì)象屬性信息，對(duì)象接口比其他接口具有更為豐富的語(yǔ)義表達(dá)能力。 隨著電子技術(shù)的發(fā)展，存儲(chǔ)設(shè)備上已嵌入了越來越多的處理能力，上層應(yīng)用的部分功能可以遷往設(shè)備（即“主動(dòng)存儲(chǔ)”的概念）。目前廣泛流行的存儲(chǔ)設(shè)備是“啞設(shè)備”，只能被動(dòng)地響應(yīng)用戶的請(qǐng)求，隨著設(shè)備功能越來越復(fù)雜，傳統(tǒng)的對(duì)設(shè)備透明的管理方式已很難勝任。人們迫切需要一種設(shè)備參與在內(nèi)、更簡(jiǎn)單靈活的方式來管理，而主動(dòng)存儲(chǔ)

3、能很好地滿足這些應(yīng)用的需求。另外，由于硬磁盤本身機(jī)械運(yùn)動(dòng)的本質(zhì)特征沒有明顯改變，在網(wǎng)絡(luò)存儲(chǔ)條件下網(wǎng)絡(luò)延遲不能忽略，特別是網(wǎng)絡(luò)共享跨越了廣域網(wǎng)，如何提高處理節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)間的數(shù)據(jù)傳輸速率成為當(dāng)前提高系統(tǒng)整體性能的關(guān)鍵因素。主動(dòng)存儲(chǔ)系統(tǒng)能夠在很大程度上解決該項(xiàng)難題?？梢哉f主動(dòng)存儲(chǔ)系統(tǒng)代表著將計(jì)算向數(shù)據(jù)移近的發(fā)展方向。但在對(duì)象接口出現(xiàn)之前，原有設(shè)備使用的接口是一種簡(jiǎn)單透明的接口，這妨礙了設(shè)備端和用戶端的任務(wù)合作。對(duì)象接口的出現(xiàn)加速了主動(dòng)存儲(chǔ)的

4、發(fā)展進(jìn)程，主動(dòng)存儲(chǔ)可以利用富于表達(dá)力的對(duì)象接口將更多的信息在設(shè)備端和用戶端之間傳遞?？梢哉f對(duì)象存儲(chǔ)與主動(dòng)存儲(chǔ)的結(jié)合將是未來存儲(chǔ)界領(lǐng)先的技術(shù)之一。 基于對(duì)象的主動(dòng)存儲(chǔ)系統(tǒng)（OBASS）結(jié)合了對(duì)象接口與主動(dòng)存儲(chǔ)的優(yōu)點(diǎn)，主動(dòng)存儲(chǔ)將建立在對(duì)象基礎(chǔ)上，所有信息都以對(duì)象的形式出現(xiàn)。OBASS的基礎(chǔ)是基于對(duì)象的存儲(chǔ)設(shè)備（OSD），在軟件層次上，OSD主要分為三層：對(duì)象層、主動(dòng)服務(wù)層以及存儲(chǔ)質(zhì)量控制層。對(duì)象層統(tǒng)一管理所有對(duì)象，負(fù)責(zé)對(duì)象的磁盤數(shù)據(jù)

5、組織（包括磁盤內(nèi)對(duì)象數(shù)據(jù)布局和磁盤間的對(duì)象放置）。主動(dòng)服務(wù)層實(shí)現(xiàn)了主動(dòng)存儲(chǔ)功能，上層應(yīng)用把功能模塊下載到OSD中后作為特殊的對(duì)象（方法對(duì)象），由對(duì)象層存儲(chǔ)與管理，由主動(dòng)服務(wù)層調(diào)度方法對(duì)象執(zhí)行。存儲(chǔ)服務(wù)質(zhì)量控制層對(duì)所有層次模塊的執(zhí)行過程施加影響，使OSD在不同的負(fù)載狀況下能滿足不同用戶的對(duì)象讀寫QoS要求。 磁盤內(nèi)的對(duì)象數(shù)據(jù)組織即對(duì)象文件系統(tǒng)，其中一個(gè)重要的特性是性能的持久性，即對(duì)象文件系統(tǒng)在長(zhǎng)期的使用的過程中，經(jīng)歷了頻繁的對(duì)象創(chuàng)

6、建、刪除和寫操作后，其性能仍然能夠維持在較高水平。性能持久性是通過柔性空閑空間管理和分配粒度可變的漸近空間分配策略實(shí)現(xiàn)的。 磁盤間的對(duì)象放置策略研究對(duì)象在多個(gè)磁盤間的放置，使得整個(gè)系統(tǒng)性能達(dá)到最優(yōu)，負(fù)載得以均衡。不同的應(yīng)用放置策略是不同的，對(duì)于流媒體應(yīng)用，適用的放置策略是基于阻塞概率模型的放置策略；而對(duì)于事務(wù)處理，基于響應(yīng)時(shí)間模型的放置策略更合適。對(duì)象放置策略應(yīng)能運(yùn)用于在線環(huán)境，但在線運(yùn)行時(shí)負(fù)載特點(diǎn)是無法事先預(yù)料的，利用OSD的

7、智能性及對(duì)象的屬性，對(duì)象放置策略可對(duì)負(fù)載的特征進(jìn)行自主學(xué)習(xí)，并根據(jù)學(xué)習(xí)的結(jié)果指導(dǎo)對(duì)象放置。 為實(shí)現(xiàn)基于對(duì)象的主動(dòng)存儲(chǔ)，首先對(duì)現(xiàn)有的T10 OSD標(biāo)準(zhǔn)進(jìn)行修改，擴(kuò)充對(duì)象概念引入方法對(duì)象使其支持主動(dòng)存儲(chǔ)。方法對(duì)象的執(zhí)行有兩種方式：一種是外界用戶的請(qǐng)求觸發(fā)執(zhí)行，另一種是條件滿足時(shí)的策略觸發(fā)執(zhí)行。主動(dòng)服務(wù)層建立了統(tǒng)一的框架，把這兩種方法的調(diào)度機(jī)制有效結(jié)合起來，支持計(jì)算任務(wù)與管理任務(wù)向OSD遷移。方法的執(zhí)行機(jī)制是主動(dòng)存儲(chǔ)的核心，針對(duì)過濾型

8、方法和服務(wù)型方法這兩類不同方法，分別提出了在Linux系統(tǒng)下的實(shí)現(xiàn)機(jī)制。為評(píng)估主動(dòng)存儲(chǔ)的效能，將這兩類方法分別運(yùn)用于兩種不同應(yīng)用：OSDFS文件系統(tǒng)及對(duì)象存儲(chǔ)系統(tǒng)的負(fù)載均衡。在OSDFS中，兩種常規(guī)操作lookup和unlink作為過濾型方法下放到OSD中，分析表明，這可以大大減少網(wǎng)絡(luò)延遲和內(nèi)存拷貝。而負(fù)載均衡算法可以作為服務(wù)型方法運(yùn)行在OSD中，實(shí)驗(yàn)表明，啟用對(duì)象復(fù)制和對(duì)象遷移的負(fù)載均衡算法能最大程度地減少平均系統(tǒng)響應(yīng)度。 存

9、儲(chǔ)服務(wù)質(zhì)量控制分三個(gè)層次實(shí)現(xiàn)QoS：上層調(diào)度器實(shí)現(xiàn)對(duì)象請(qǐng)求調(diào)度，從對(duì)象級(jí)保證QoS；中層調(diào)度器實(shí)現(xiàn)對(duì)象預(yù)處理，與對(duì)象文件系統(tǒng)及緩存結(jié)合，對(duì)于對(duì)象讀，通過對(duì)象的預(yù)取，對(duì)于對(duì)象寫，通過頁(yè)面預(yù)分配、延遲空間分配及延遲寫保障對(duì)象讀寫的QoS；而下層調(diào)度器與Linux I/O子系統(tǒng)中的塊I/O調(diào)度器結(jié)合，綜合考慮帶優(yōu)先級(jí)的實(shí)時(shí)負(fù)載以及非實(shí)時(shí)負(fù)載的調(diào)度，即考慮I/O請(qǐng)求的時(shí)限，磁頭定位時(shí)間和優(yōu)先級(jí)三個(gè)因素在內(nèi)的I/O調(diào)度。將OSD的QoS調(diào)度模塊（