大數(shù)據(jù)的國(guó)內(nèi)外研究現(xiàn)狀及發(fā)展動(dòng)態(tài)分析

1、大數(shù)據(jù)的國(guó)內(nèi)外研究現(xiàn)狀及發(fā)展動(dòng)態(tài)分析大數(shù)據(jù)的概念產(chǎn)生的背景與意義產(chǎn)生的背景與意義上世紀(jì)60年代到80年代早期，企業(yè)在大型機(jī)上部署財(cái)務(wù)、銀行等關(guān)鍵應(yīng)用系統(tǒng)，存儲(chǔ)介質(zhì)包括磁盤(pán)、磁帶、光盤(pán)等。盡管當(dāng)時(shí)人們稱(chēng)其為大數(shù)據(jù)，但以今日的數(shù)據(jù)量來(lái)看，這些數(shù)據(jù)無(wú)疑是非常有限的。隨著PC的出現(xiàn)和應(yīng)用增多，企業(yè)內(nèi)部出現(xiàn)了很多以公文檔為主要形式的數(shù)據(jù)，包括Wd、Excel文檔，以及后來(lái)出現(xiàn)的圖片、圖像、影像和音頻等。此時(shí)企業(yè)內(nèi)部生產(chǎn)數(shù)據(jù)的已不僅是企業(yè)的財(cái)務(wù)人員

2、，還包括大量的辦公人員，這極大地促進(jìn)了數(shù)據(jù)量的增長(zhǎng)?；ヂ?lián)網(wǎng)的興起則促成了數(shù)據(jù)量的第三次大規(guī)模增長(zhǎng)，在互聯(lián)網(wǎng)的時(shí)代，幾乎全民都在制造數(shù)據(jù)。而與此同時(shí)，數(shù)據(jù)的形式也極其豐富，既有社交網(wǎng)絡(luò)、多媒體等應(yīng)用所主動(dòng)產(chǎn)生的數(shù)據(jù)，也有搜索引擎、網(wǎng)頁(yè)瀏覽等被動(dòng)行為過(guò)程中被記錄、搜集的數(shù)據(jù)。時(shí)至今日，隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算應(yīng)用的進(jìn)一步豐富，數(shù)據(jù)已呈指數(shù)級(jí)的增長(zhǎng)，企業(yè)所處理的數(shù)據(jù)已經(jīng)達(dá)到PB級(jí)，而全球每年所產(chǎn)生的數(shù)據(jù)量更是到了驚人的ZB級(jí)。在數(shù)據(jù)的這

3、種爆炸式增長(zhǎng)的背景下，“大數(shù)據(jù)”的概念逐漸在科技界、學(xué)術(shù)界、產(chǎn)業(yè)界引起熱議。在大數(shù)據(jù)時(shí)代，我們分析的數(shù)據(jù)因?yàn)椤按蟆?，擺脫了傳統(tǒng)對(duì)隨機(jī)采樣的依賴，而是面對(duì)全體數(shù)據(jù)；因?yàn)樗行畔⒍际恰皵?shù)”，可以不再糾結(jié)具體數(shù)據(jù)的精確度，而是坦然面對(duì)信息的混雜；信息之“大”之“雜”，讓我們分析的“據(jù)”也由傳統(tǒng)的因果關(guān)系變?yōu)橄嚓P(guān)關(guān)系。大數(shù)據(jù)熱潮的掀起讓中國(guó)期待“彎道超越”的機(jī)會(huì)，創(chuàng)造中國(guó)IT企業(yè)從在紅海領(lǐng)域苦苦掙扎轉(zhuǎn)向在藍(lán)海領(lǐng)域奮起直追的戰(zhàn)略機(jī)遇。傳統(tǒng)IT行業(yè)

4、對(duì)于底層設(shè)備、基礎(chǔ)技術(shù)的要求非常高，企業(yè)在起點(diǎn)落后的情況下始終疲于追趕。每當(dāng)企業(yè)在耗費(fèi)大量人力、物力、財(cái)力取得技術(shù)突破時(shí)，IT革命早已將核心設(shè)備或元件推進(jìn)至下一階段。這種一步落后、處處受制于人的狀態(tài)在大數(shù)據(jù)時(shí)代有望得到改變。大數(shù)據(jù)對(duì)于硬件基礎(chǔ)設(shè)施的要求相對(duì)較低，不會(huì)受困于基礎(chǔ)設(shè)備核心元件的相對(duì)落后。與在傳統(tǒng)數(shù)據(jù)庫(kù)操作層面的技術(shù)差距相比，大數(shù)據(jù)分析應(yīng)用的中外技術(shù)差距要小得多。而且，美國(guó)等傳統(tǒng)IT強(qiáng)國(guó)的大數(shù)據(jù)戰(zhàn)略也都處于摸著石頭過(guò)河的試錯(cuò)階

5、段。中國(guó)市場(chǎng)的規(guī)模之大也為這一產(chǎn)業(yè)發(fā)展提供了大空間、大平臺(tái)。大數(shù)據(jù)對(duì)于中國(guó)企業(yè)不僅僅是信息技術(shù)的更新，更是企業(yè)發(fā)展戰(zhàn)略的變革。隨著對(duì)大數(shù)據(jù)的獲取、處理、管理等各個(gè)角度研究的開(kāi)展，企業(yè)逐漸認(rèn)識(shí)數(shù)據(jù)已經(jīng)逐漸演變成“數(shù)據(jù)資產(chǎn)”。任何硬件、軟件及服務(wù)都會(huì)隨著技術(shù)發(fā)展和需求變化逐漸被淘汰，只有數(shù)據(jù)才具有長(zhǎng)期可用性，值得積累。數(shù)據(jù)是企業(yè)的核心資產(chǎn)，可以是也應(yīng)該是獨(dú)立于軟硬件系統(tǒng)及應(yīng)用需求而存在的。大數(shù)據(jù)是信息技術(shù)演化的最新產(chǎn)物，確立了數(shù)據(jù)這一信息技

6、術(shù)元素的獨(dú)立型數(shù)據(jù)庫(kù)工具收集、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。”但它同時(shí)指出“大數(shù)據(jù)”并非總是說(shuō)有數(shù)百個(gè)TB才算得上。根據(jù)實(shí)際使用情況，有時(shí)候數(shù)百個(gè)GB的數(shù)據(jù)也可稱(chēng)為大數(shù)據(jù)，這主要要看它的第三個(gè)維度，也就是速度或者時(shí)間維度。權(quán)威IT研究與顧問(wèn)咨詢公司Gartner將大數(shù)據(jù)定義為“在一個(gè)或多個(gè)維度上超出傳統(tǒng)信息技術(shù)的處理能力的極端信息管理和處理問(wèn)題”。IBM公司把大數(shù)據(jù)概括為規(guī)模Volume快速Velocity和多樣Variety，即3V，

7、而4V則是3V的基礎(chǔ)上多一個(gè)Value價(jià)值。具體來(lái)講，Volume指數(shù)據(jù)量極大并仍在持續(xù)增大；Velocity指所需的處理速度快，響應(yīng)時(shí)間短；Variety指數(shù)據(jù)類(lèi)型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)甚至是非結(jié)構(gòu)化數(shù)據(jù)(以此區(qū)分大數(shù)據(jù)與海量數(shù)據(jù)兩個(gè)概念)；Value指價(jià)值密度低，以視頻為例，不間斷的監(jiān)控錄像中，有用的數(shù)據(jù)長(zhǎng)度可能僅有一兩秒。由以上概念的差異可以看出目前主要從數(shù)據(jù)來(lái)源和數(shù)據(jù)的處理工具與處理難度兩個(gè)方面對(duì)大數(shù)據(jù)進(jìn)行定義。但是

8、這種定義方式會(huì)和另一個(gè)詞發(fā)生混淆——海量數(shù)據(jù)。有文獻(xiàn)指出大數(shù)據(jù)=海量數(shù)據(jù)復(fù)雜類(lèi)型的數(shù)據(jù)，這一公式是否成立還待進(jìn)一步討論。如今“海量數(shù)據(jù)”研究方向主要考慮各種非結(jié)構(gòu)化數(shù)據(jù)的有效管理、多數(shù)據(jù)源的集成問(wèn)題。由此看來(lái)能區(qū)別兩次還需要借助IBM關(guān)于大數(shù)據(jù)4V特征，尤其是其中的Velocity。強(qiáng)調(diào)數(shù)據(jù)是快速動(dòng)態(tài)變化的，形成流式數(shù)據(jù)則是大數(shù)據(jù)區(qū)別于其他概念的最重要的特征。國(guó)外除在大數(shù)據(jù)的概念上的研究外，重點(diǎn)放在技術(shù)研究。美國(guó)政府六個(gè)部門(mén)啟動(dòng)的大數(shù)據(jù)

9、研究計(jì)劃中，除了國(guó)家科學(xué)基金會(huì)的研究?jī)?nèi)容提到要“形成一個(gè)包括數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特學(xué)科”外，絕大多數(shù)研究項(xiàng)目都是應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的技術(shù)挑戰(zhàn)，重視的是數(shù)據(jù)工程而不是數(shù)據(jù)科學(xué)，主要考慮大數(shù)據(jù)分析算法和系統(tǒng)的效率。在國(guó)內(nèi)，“大數(shù)據(jù)”尚未直接以專(zhuān)有名詞被我國(guó)政府提出并給予政策支持。因此國(guó)內(nèi)學(xué)者關(guān)于大數(shù)據(jù)概念上的研究并不充分，大多是引用以上定義進(jìn)行闡釋。同時(shí)在國(guó)內(nèi)對(duì)“海量數(shù)據(jù)”這一說(shuō)法認(rèn)同度較高，更習(xí)慣將“大數(shù)據(jù)”稱(chēng)為“海量數(shù)據(jù)，并沒(méi)有將

10、兩個(gè)詞進(jìn)行明確的區(qū)分。國(guó)內(nèi)在大數(shù)據(jù)研究領(lǐng)域的重點(diǎn)在大數(shù)據(jù)與云計(jì)算、數(shù)據(jù)挖掘，并行計(jì)算和分布式處理，應(yīng)用式主要集中在地理信息系統(tǒng)。發(fā)展動(dòng)態(tài)發(fā)展動(dòng)態(tài)（1）資源的管理與利用。數(shù)據(jù)作為一種重要的資源，對(duì)它價(jià)值的挖掘利用具有非常重要的意義，因此一直是該領(lǐng)域的研究重點(diǎn)。研究主要涉及到數(shù)字處理、數(shù)據(jù)分析以及數(shù)據(jù)挖掘，尤其是從海量、復(fù)雜、實(shí)時(shí)的大數(shù)據(jù)中挖掘知識(shí)，可見(jiàn)，對(duì)海量數(shù)據(jù)價(jià)值的挖掘、發(fā)現(xiàn)和創(chuàng)造價(jià)值一直是當(dāng)前的研究熱點(diǎn)。同時(shí)為了更好地建設(shè)數(shù)據(jù)資源，