網(wǎng)易視頻云kudu-支持快速分析的新型hadoop存儲(chǔ)系統(tǒng)

1、vcloud.網(wǎng)易視頻云：Kudu，支持快速分析的新型Hadoop存儲(chǔ)系統(tǒng)網(wǎng)易視頻云是網(wǎng)易傾力打造的一款基于云計(jì)算的分布式多媒體處理集群和專(zhuān)業(yè)音視頻技術(shù)，為客戶提供穩(wěn)定流暢、低時(shí)延、高并發(fā)的視頻直播、錄制、存儲(chǔ)、轉(zhuǎn)碼及點(diǎn)播等音視頻的PaaS服務(wù)。在線教育、遠(yuǎn)程醫(yī)療、娛樂(lè)秀場(chǎng)、在線金融等各行業(yè)及企業(yè)用戶只需經(jīng)過(guò)簡(jiǎn)單的開(kāi)發(fā)即可打造在在線音視頻平臺(tái)。Kudu是Cloudera開(kāi)源的新型列式存儲(chǔ)系統(tǒng)，是ApacheHadoop生態(tài)圈的新成員之一

2、（incubating），專(zhuān)門(mén)為了對(duì)快速變化的數(shù)據(jù)進(jìn)行快速的分析，填補(bǔ)了以往Hadoop存儲(chǔ)層的空缺。本文主要對(duì)Kudu的動(dòng)機(jī)、背景，以及架構(gòu)進(jìn)行簡(jiǎn)單介紹。背景——功能上的空白Hadoop生態(tài)系統(tǒng)有很多組件，每一個(gè)組件有不同的功能。在現(xiàn)實(shí)場(chǎng)景中，用戶往往需要同時(shí)部署很多Hadoop工具來(lái)解決同一個(gè)問(wèn)題，這種架構(gòu)稱為混合架構(gòu)(hybridarchitecture)。比如，用戶需要利用Hbase的快速插入、快讀romaccess的特性來(lái)導(dǎo)入

3、數(shù)據(jù)，HBase也允許用戶對(duì)數(shù)據(jù)進(jìn)行修改，HBase對(duì)于大量小規(guī)模查詢也非常迅速。同時(shí)，用戶使用HDFSParquetImpalaHive來(lái)對(duì)超大的數(shù)據(jù)集進(jìn)行查詢分析，對(duì)于這類(lèi)場(chǎng)景，Parquet這種列式存儲(chǔ)文件格式具有極大的優(yōu)勢(shì)。vcloud.這時(shí)候，用戶就希望能夠有一種優(yōu)雅的存儲(chǔ)解決方案，來(lái)應(yīng)付不同類(lèi)型的工作流，并保持高性能的計(jì)算能力。Cloudera很早就意識(shí)到這個(gè)問(wèn)題，在2012年就開(kāi)始計(jì)劃開(kāi)發(fā)Kudu這個(gè)存儲(chǔ)系統(tǒng)，終于在201

4、5年發(fā)布并開(kāi)源出來(lái)。Kudu是對(duì)HDFS和HBase功能上的補(bǔ)充，能提供快速的分析和實(shí)時(shí)計(jì)算能力，并且充分利用CPU和IO資源，支持?jǐn)?shù)據(jù)原地修改，支持簡(jiǎn)單的、可擴(kuò)展的數(shù)據(jù)模型。背景——新的硬件設(shè)備RAM的技術(shù)發(fā)展非常快，它變得越來(lái)越便宜，容量也越來(lái)越大。Cloudera的客戶數(shù)據(jù)顯示，他們的客戶所部署的服務(wù)器，2012年每個(gè)節(jié)點(diǎn)僅有32GBRAM，現(xiàn)如今增長(zhǎng)到每個(gè)節(jié)點(diǎn)有128GB或256GBRAM。存儲(chǔ)設(shè)備上更新也非?？?，在很多普通服務(wù)

5、器中部署SSD也是屢見(jiàn)不鮮。HBase、HDFS、以及其他的Hadoop工具都在不斷自我完善，從而適應(yīng)硬件上的升級(jí)換代。然而，從根本上，HDFS基于03年GFS，HBase基于05年BigTable，在當(dāng)時(shí)系統(tǒng)瓶頸主要取決于底層磁盤(pán)速度。當(dāng)磁盤(pán)速度較慢時(shí)，CPU利用率不足的根本原因是磁盤(pán)速度導(dǎo)致的瓶頸，當(dāng)磁盤(pán)速度提高了之后，CPU利用率提高，這時(shí)候CPU往往成為系統(tǒng)的瓶頸。HBase、HDFS由于年代久遠(yuǎn)，已經(jīng)很難從基本架構(gòu)上進(jìn)行修改，