2019可信云大會(huì)丨2017/7245.html">華為標(biāo)準(zhǔn)工程師何蘆微：高性能異構(gòu)資源管理—Cyborg

7月2日，2019/34950.html">2019可信云大會(huì)在北京國際會(huì)議中心隆重開幕。2019/34950.html">2019可信云大會(huì)以“智能云網(wǎng)邊，可信創(chuàng)未來”為主題，由中國信息通信研究院主辦。

下午13:30大會(huì)特設(shè)的智能云論壇活動(dòng)正式開始，2017/7245.html">華為標(biāo)準(zhǔn)工程師何蘆微做了《高性能異構(gòu)資源管理—Cyborg》的精彩演講。

2017/7245.html">華為標(biāo)準(zhǔn)工程師何蘆微

大家好！我是來自2017/7245.html">華為的標(biāo)準(zhǔn)工程師何蘆微，今天要很大家介紹的是Cyborg。

將會(huì)從以下四個(gè)方面介紹一下Cyborg

什么是Cyborg？

Cyborg發(fā)展歷程

Cyborg涉及到相關(guān)概念組件

下一個(gè)版本的版本計(jì)劃

現(xiàn)在專有領(lǐng)域的硬件芯片。 NPU，主要是用于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的處理；GPU主要用于圖像處理、AR/VR視覺處理；可編程智能網(wǎng)卡。雖然邊緣計(jì)算、人工智能等需要高性能新業(yè)務(wù)的興起，用戶對(duì)這些GPU、NPU等硬件需求也日益劇增。

如何讓云計(jì)算的平臺(tái)能夠更好地管理、支撐這些業(yè)務(wù)需要的GPU等，成為業(yè)界越來越關(guān)注和重視的話題。

對(duì)于當(dāng)前云計(jì)算平臺(tái)來說，他們對(duì)管理這些專有硬件明顯是不足的，由此帶來一系列問題，如在人工智能領(lǐng)域的業(yè)務(wù)上，基礎(chǔ)設(shè)施無法有效調(diào)度CPU和GPU，導(dǎo)致GPU資源的嚴(yán)重浪費(fèi)。在邊緣計(jì)算業(yè)務(wù)上，由于基礎(chǔ)設(shè)施沒有辦法管理很多加速卡，導(dǎo)致在邊緣計(jì)算的場(chǎng)景中無法去使用IPG（音）智能網(wǎng)卡，在這種情況下，我們到底如何管理呢？

為了解決這一問題，Cyborg應(yīng)運(yùn)而生。Cyborg是由2017/7245.html">華為主導(dǎo)的，并和聯(lián)想、英特爾等公司一起合作，在OpenStack社區(qū)（即全球最大的云計(jì)算管理平臺(tái)開源社區(qū)）發(fā)起Cyborg項(xiàng)目，也獲得了社區(qū)廣泛認(rèn)可，于2017年9月份正式成為了官方項(xiàng)目。

Cyborg項(xiàng)目的出現(xiàn)就是為前面提到的這些專有硬件提供一套通用的管理框架，為了方便這些基礎(chǔ)設(shè)施的提供商或用戶能夠更好、更便捷使用這些專有應(yīng)用，去部署高性能業(yè)務(wù)。

Cyborg完整的發(fā)展歷程。

最初關(guān)于異構(gòu)資源管理的框架構(gòu)想最初來源于2017/7245.html">華為一位工程師，在OpenStack社區(qū)發(fā)起Cyborg項(xiàng)目。發(fā)展到今天，這個(gè)項(xiàng)目已經(jīng)吸引了海內(nèi)外數(shù)百位開發(fā)者的參與和加入，從這個(gè)項(xiàng)目的發(fā)展以及活躍度，發(fā)展到今天可以看到異構(gòu)資源管理已經(jīng)成為很多公司的痛點(diǎn)。這也是為什么Cyborg的出現(xiàn)吸引眾多開發(fā)者的加入。

 從幾個(gè)維度看一下Cyborg的成長。

（圖）餅狀圖中數(shù)據(jù)代表的是每家公司貢獻(xiàn)度，2018-2019年，從最初8家公司發(fā)展到后來十幾家公司的加入，2018年，代碼貢獻(xiàn)比重占比較大的是2017/7245.html">華為、英特爾和聯(lián)想三家貢獻(xiàn)比較多。2019年，項(xiàng)目貢獻(xiàn)比重除了這三家以外，發(fā)展了很多其他公司，如九九云、移動(dòng)等公司的開發(fā)者也都參與進(jìn)來，比重也在逐步增加。

從一個(gè)開源項(xiàng)目角度來看，越多越多公司開發(fā)者的參與對(duì)于這個(gè)項(xiàng)目的設(shè)計(jì)、架構(gòu)的成型、討論、發(fā)展落地會(huì)變得更加全方位，而不僅僅是傾向于某家公司。所以可以看到Cyborg這個(gè)項(xiàng)目正在朝著健康的架構(gòu)方向去發(fā)展。

從項(xiàng)目本身成熟度來看，在2018-2019年時(shí)間里，Commit的數(shù)在逐步提升。我們?cè)趨⑴c一個(gè)開源項(xiàng)目時(shí)，假如有一個(gè)項(xiàng)目時(shí)隔兩三年才會(huì)提交幾個(gè)Commit，可以看到這個(gè)項(xiàng)目本身不活躍，不敢用它。因?yàn)闀?huì)擔(dān)心這個(gè)項(xiàng)目會(huì)不會(huì)用到后來沒有人維護(hù)了。但Cyborg這幾年比較活躍，表示出開發(fā)者在這里的貢獻(xiàn)，包括項(xiàng)目本身可以看到多人參與的現(xiàn)狀，所以這個(gè)項(xiàng)目本身非常活躍和健康。

這個(gè)項(xiàng)目剛開始時(shí)只是一個(gè)抽象的框架，并沒有具體的實(shí)現(xiàn)。當(dāng)時(shí)在11月份還有一個(gè)demo演示，識(shí)別人臉時(shí)用了LPG卡（音）。到了2019年，除了底層支持硬件專家，2018年只有一個(gè)英特爾的LPG卡，2019年有英偉達(dá)、GPU等都已經(jīng)實(shí)現(xiàn)了。除此之外還做了一些類似底層設(shè)備配額管理，因?yàn)閷?duì)于Cyborg來說，在這里只是一個(gè)單獨(dú)的項(xiàng)目，但要想落地，要想商用，必須通過跟Nova結(jié)合，所以還做了一個(gè)跟Nova的集成。

Cyborg架構(gòu)。

它合乎OpenStack其他項(xiàng)目，如類似Nova等，Cyborg也有分層架構(gòu)，有API架構(gòu)有DB，對(duì)于API模組來說，主要對(duì)加速器加速設(shè)備的操作，如List、conduetor等，LIST列舉后端有哪些加速器設(shè)備。對(duì)于conduetor這個(gè)模塊主要跟DB配套出現(xiàn)的，假如對(duì)DB做一些加速器查詢更新操作，必須通過conduetor發(fā)送一個(gè)IPC消息去觸發(fā)DB的查詢操作，對(duì)于DB來說，conductor就是它的全線網(wǎng)絡(luò)控制，避免了用戶直接操作這個(gè)DB，當(dāng)在使用量比較多或高復(fù)雜情況下，有可能會(huì)把DB給擊穿或?qū)е略L問量太大，DB會(huì)出現(xiàn)問題，就設(shè)計(jì)了這個(gè)模塊。

對(duì)于Agent來說會(huì)和Nova交互，會(huì)把加速器分配給虛擬機(jī)。

最下面一層是有不同driver，不同加速器設(shè)備有不同連接方法，Agent需要有不同driver連接各自硬件設(shè)備。

Cyborg抽象的設(shè)備模型。