需求高漲的數(shù)據(jù)科學(xué)家

1、需求高漲的數(shù)據(jù)科學(xué)家需求高漲的數(shù)據(jù)科學(xué)家從技術(shù)方面來看，硬盤價格下降，NoSQL數(shù)據(jù)庫等技術(shù)的出現(xiàn)，使得和過去相比，大量數(shù)據(jù)能夠以廉價高效的方式進行存儲。此外，像Hadoop這樣能夠在通用性服務(wù)器上工作的分布式處理技術(shù)的出現(xiàn)，也使得對龐大的非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)計處理的工作比以往更快速且更廉價。然而，就算所擁有的工具再完美，它本身是不可能讓數(shù)據(jù)產(chǎn)生價值的。接下來我們還需要能夠運用這些工具的人才，他們能夠從堆積如山的大量數(shù)據(jù)中找到金礦，并將數(shù)

2、據(jù)的價值以易懂的形式傳達給決策者，最終得以在業(yè)務(wù)上實現(xiàn)。具備這些技能的人才，就是在大數(shù)據(jù)浪潮如火如荼的美國目前正千金難求的“數(shù)據(jù)科學(xué)家”。對數(shù)據(jù)科學(xué)家的關(guān)注，源于大家逐步認識到，Google、Amazon、Facebook等公司成功的背后，存在著這樣的一批專業(yè)人才。這些Web公司對于大量數(shù)據(jù)不僅僅是進行存儲而已，而是將其變?yōu)橛袃r值的金礦——例如，搜索結(jié)果、定向廣告、準確的商品推薦、可能認識的好友列表等。數(shù)據(jù)科學(xué)（datascience）

3、是一個很久之前就存在的詞匯，但數(shù)據(jù)科學(xué)家（datascientist）卻是幾年前突然出現(xiàn)的一個新詞。關(guān)于這個詞的起源說法不一，其中在《數(shù)據(jù)之美》（BeautifulData，TobySegaran、JeffHammerbacher編著，O’Reilly出版）一書中，對于Facebook的數(shù)據(jù)科學(xué)家，有如下敘述。“在Facebook，我們發(fā)現(xiàn)傳統(tǒng)的頭銜如商業(yè)分析師、統(tǒng)計學(xué)家、工程師和研究科學(xué)家都不能確切地定義我們團隊的角色。該角色的工作是

4、變化多樣的：在任意給定的一天，團隊的一個成員可以用Python實現(xiàn)一個多階段的處理管道流、設(shè)計假設(shè)檢驗、用工具R在數(shù)據(jù)樣本上執(zhí)行回歸測試、在Hadoop上為數(shù)據(jù)密集型產(chǎn)品或服務(wù)設(shè)計和實現(xiàn)算法，或者把我們分析的結(jié)果以清晰簡潔的方式展示給企業(yè)的其他成員。為了掌握完成這多方面任務(wù)需要的技術(shù)，我們創(chuàng)造了‘數(shù)據(jù)科學(xué)家’這種角色?！眱H僅在幾年前，數(shù)據(jù)科學(xué)家還不是一個正式確定的職業(yè)，然而一眨眼的工夫，這個職業(yè)就已經(jīng)被譽為“今后10年IT行業(yè)最重要的人

5、才”了。Google首席經(jīng)濟學(xué)家，加州大學(xué)伯克利分校教授哈爾?范里安（HalVarian，1947～）先生，在2008年10月與麥肯錫總監(jiān)JamesManyika先生的對話中，曾經(jīng)講過下面一段話（中文版節(jié)選自麥肯錫季刊官方中文稿）。“我總是說，在未來10年里，最有意思的工作將是統(tǒng)計學(xué)家。人們都認為我在開玩笑。但是，過去誰能想到電腦工程師會成為上世紀90年代最有趣的工作？在未來10年里，獲取數(shù)據(jù)——以便能理解它、處理它、從中提取價值、使其

6、形象化、傳送它——的能力將成為一種極其重要的技能，不僅在專業(yè)層面上是這樣，而且在教育層面（包括對中小學(xué)生、高中生和大學(xué)生的教育）也是如此。由于如今我們已真正擁有實質(zhì)上免費的和無所不在的數(shù)據(jù)，因此，與此互補的稀缺要素是理解這些數(shù)據(jù)并從中提職務(wù)內(nèi)容職務(wù)內(nèi)容?確定重要的產(chǎn)品課題，并與產(chǎn)品工程團隊密切合作尋求解決方案?通過對數(shù)據(jù)運用合適的統(tǒng)計技術(shù)來解決課題?將結(jié)論傳達給產(chǎn)品經(jīng)理和工程師?推進新數(shù)據(jù)的收集以及對現(xiàn)有數(shù)據(jù)源的改良?對產(chǎn)品的實驗結(jié)果進

7、行分析和解讀?找到測量、實驗的最佳實踐方法，傳達給產(chǎn)品工程團隊必要條件必要條件?相關(guān)技術(shù)領(lǐng)域的碩士或博士學(xué)位，或者具備4年以上相關(guān)工作經(jīng)驗?對使用定量手段解決分析性課題擁有豐富的經(jīng)驗?能夠輕松操作和分析來自各方的、復(fù)雜且大量的多維數(shù)據(jù)?對實證性研究以及解決數(shù)據(jù)相關(guān)的難題擁有極大的熱情?能對各種精度級別的結(jié)果采用靈活的分析手段?具備以實際、準確且可行的方法傳達復(fù)雜定量分析的能力?至少熟練掌握一種腳本語言，如Python、PHP等?精通關(guān)系

8、型數(shù)據(jù)庫和SQL?對R、MATLAB、SAS等分析工具具備專業(yè)知識?具備處理大量數(shù)據(jù)集的經(jīng)驗，以及使用MapReduce、Hadoop、Hive等分布式計算工具的經(jīng)驗來源：Facebook（中文翻譯出自譯者）Twitter對數(shù)據(jù)科學(xué)家（負責增加用戶數(shù)量）的招聘對數(shù)據(jù)科學(xué)家（負責增加用戶數(shù)量）的招聘信息信息關(guān)于業(yè)務(wù)內(nèi)容關(guān)于業(yè)務(wù)內(nèi)容Twitter計劃招聘能夠為增加Twitter用戶數(shù)提供信息和方向性，具備行動力和高超技能的人才。應(yīng)聘者需要具

9、備統(tǒng)計和建模方面的專業(yè)背景，以及大規(guī)模數(shù)據(jù)集處理方面的豐富經(jīng)驗。我們期待應(yīng)聘者所具有的判斷力能夠在多個層面上決定Twitter產(chǎn)品群的方向性。職責職責?使用Hadoop、Pig編寫MapReduce格式的數(shù)據(jù)分析?能夠針對臨時數(shù)據(jù)挖掘流程和標準數(shù)據(jù)挖掘流程編寫復(fù)雜的SQL查詢?能夠使用SQL、Pig、腳本語言、統(tǒng)計軟件包編寫代碼?以口頭及書面形式對分析結(jié)果進行總結(jié)并做出報告?每天對數(shù)TB規(guī)模、10億條以上事務(wù)級別的大規(guī)模結(jié)構(gòu)化及非結(jié)構(gòu)化