樂(lè)視和小米基于openstack云計(jì)算方案

1、樂(lè)視云計(jì)算基于樂(lè)視云計(jì)算基于OpenStack的IaaS實(shí)踐實(shí)踐[日期：20150922]來(lái)源：KVM虛擬化實(shí)踐作者：[字體：大中小]本文作者岳龍廣，現(xiàn)在就職于樂(lè)視云計(jì)算有限公司，負(fù)責(zé)IaaS部門的工作。從開(kāi)始工作就混在開(kāi)源世界里，在虛擬化方面做過(guò)CloudStackOvirt開(kāi)發(fā)，現(xiàn)在是做以O(shè)penStack為基礎(chǔ)的樂(lè)視云平臺(tái)。所以對(duì)虛擬化情有獨(dú)鐘，也對(duì)虛擬化云計(jì)算的未來(lái)充滿了信心。樂(lè)視網(wǎng)的所有服務(wù)是跑在樂(lè)視云上的，樂(lè)視云提供所有的底

2、層支撐，包括IaaSPaaSStageCDN等等。為了帶給用戶更好的體驗(yàn)，樂(lè)視網(wǎng)的服務(wù)到哪，樂(lè)視云的底層服務(wù)就會(huì)跟到哪。其中虛擬化是必不可少的部分，它的快速提供、按需分配、資源隔離顯得特別重要，但我們會(huì)遇到什么問(wèn)題呢今天的主要目的是分享我們?cè)贠penStack項(xiàng)目中做的一部分工作，它們解決了內(nèi)部的一些需求，也是實(shí)際經(jīng)驗(yàn)，希望對(duì)大家有所啟發(fā)。開(kāi)始之前首先感謝肖總、浩宇、vict等朋友給予的大力支持，感謝群友、技術(shù)愛(ài)好者的圍觀。很榮幸有這次

3、機(jī)會(huì)來(lái)與大家做這個(gè)分享。提綱：1.IaaSArchitecture2.OpenStackDeploy&QOS3.MultipleRegions4.LeTVLBaaS5.DEV樂(lè)視云計(jì)算IaaS的基本架構(gòu)首先就是介紹一下樂(lè)視云計(jì)算基礎(chǔ)架構(gòu)，再介紹OpenStack網(wǎng)絡(luò)組件的部署，MultipleRegions是什么樣子的，更方便于使用的LeTVLBaaS，最后是開(kāi)發(fā)上線流程。樂(lè)視云計(jì)算IaaS采用了OpenStack和Ceph的開(kāi)源方案，

4、為樂(lè)視提供了云主機(jī)、虛擬網(wǎng)絡(luò)、云硬盤(pán)和S3對(duì)象存儲(chǔ)。Icehouse版本采用了Neutron，再做足調(diào)研的前提下，我們對(duì)Neutron做了大量的減法，所用服務(wù)僅為NeutronServer和OpenvSwitchAgent，控制節(jié)點(diǎn)部署NeutronServer(withML2plugin)，計(jì)算節(jié)點(diǎn)部署OpenvSwitchAgent。沒(méi)有網(wǎng)絡(luò)節(jié)點(diǎn)，因而沒(méi)有用到DHCPAgent，L3agent和MetadataAgent。物理網(wǎng)絡(luò)使

5、用VLAN做隔離。由于Region數(shù)量較多，每個(gè)region有不同的物理網(wǎng)絡(luò)(對(duì)應(yīng)ml2_conf中的physical_wk字段)，可以緩解VLAN數(shù)量的限制。私有云環(huán)境通過(guò)ConfigDrive配置虛擬機(jī)網(wǎng)卡和metadata，PublicIP地址直接配在虛擬機(jī)網(wǎng)卡上，走物理路由器。無(wú)論是novawk還是neutron，我們都采用了穩(wěn)定可靠的網(wǎng)絡(luò)，由于不存在網(wǎng)絡(luò)節(jié)點(diǎn)的單點(diǎn)問(wèn)題，因此集群在滿足私有云的需求前提下，兼顧了可靠性、穩(wěn)定性和可

6、擴(kuò)展性。優(yōu)點(diǎn)：簡(jiǎn)單穩(wěn)定，性能更好，這也是業(yè)務(wù)最需要的，線上業(yè)務(wù)穩(wěn)定、可用性是最重要的。缺點(diǎn)：犧牲了靈活性，和物理網(wǎng)絡(luò)的耦合度高為了防止某個(gè)虛擬機(jī)負(fù)載過(guò)高而影響其它虛擬機(jī)或者宿主機(jī)，我們做了了CPU，wk和DiskIO的QoS，其中Cpu的QoS采用cgroup實(shí)現(xiàn)，虛擬機(jī)網(wǎng)卡的QoS通過(guò)TC實(shí)現(xiàn)。一開(kāi)始我們采用了cgroup限制DiskIO，由于ceph采用了Nonhostblock，故cgroup無(wú)法限制基于ceph的DiskIO因此

7、我們采用了qemuiothrottling。和cgroup相比，qemuiothrottling不僅僅能支持nonhostblockIO，同時(shí)限速的效果也更為出色，限速后，虛擬機(jī)的IO不會(huì)有太大抖動(dòng)。此外，如果基于cgroup的DiskIO設(shè)置過(guò)小，會(huì)導(dǎo)致虛擬機(jī)刪除失敗。原因在于qemu提交的DirectIO必須完成后才能退出，使用過(guò)小的磁盤(pán)帶寬導(dǎo)致此動(dòng)作需很長(zhǎng)時(shí)間才能完成，導(dǎo)致qemu進(jìn)程不能及時(shí)響應(yīng)libvirt發(fā)出的SIGTERM