2019可信云大會丨2017/7245.html">華為標準工程師何蘆微：高性能異構資源管理—Cyborg
7月2日，2019/34950.html">2019可信云大會在北京國際會議中心隆重開幕。2019/34950.html">2019可信云大會以“智能云網邊，可信創未來”為主題，由中國信息通信研究院主辦。
下午13:30大會特設的智能云論壇活動正式開始，2017/7245.html">華為標準工程師何蘆微做了《高性能異構資源管理—Cyborg》的精彩演講。
2017/7245.html">華為標準工程師何蘆微
大家好！我是來自2017/7245.html">華為的標準工程師何蘆微，今天要很大家介紹的是Cyborg。
將會從以下四個方面介紹一下Cyborg
什么是Cyborg？
Cyborg發展歷程
Cyborg涉及到相關概念組件
下一個版本的版本計劃
現在專有領域的硬件芯片。 NPU，主要是用于深度學習神經網絡的處理；GPU主要用于圖像處理、AR/VR視覺處理；可編程智能網卡。雖然邊緣計算、人工智能等需要高性能新業務的興起，用戶對這些GPU、NPU等硬件需求也日益劇增。
如何讓云計算的平臺能夠更好地管理、支撐這些業務需要的GPU等，成為業界越來越關注和重視的話題。
對于當前云計算平臺來說，他們對管理這些專有硬件明顯是不足的，由此帶來一系列問題，如在人工智能領域的業務上，基礎設施無法有效調度CPU和GPU，導致GPU資源的嚴重浪費。在邊緣計算業務上，由于基礎設施沒有辦法管理很多加速卡，導致在邊緣計算的場景中無法去使用IPG（音）智能網卡，在這種情況下，我們到底如何管理呢？
為了解決這一問題，Cyborg應運而生。Cyborg是由2017/7245.html">華為主導的，并和聯想、英特爾等公司一起合作，在OpenStack社區（即全球最大的云計算管理平臺開源社區）發起Cyborg項目，也獲得了社區廣泛認可，于2017年9月份正式成為了官方項目。
Cyborg項目的出現就是為前面提到的這些專有硬件提供一套通用的管理框架，為了方便這些基礎設施的提供商或用戶能夠更好、更便捷使用這些專有應用，去部署高性能業務。
Cyborg完整的發展歷程。
最初關于異構資源管理的框架構想最初來源于2017/7245.html">華為一位工程師，在OpenStack社區發起Cyborg項目。發展到今天，這個項目已經吸引了海內外數百位開發者的參與和加入，從這個項目的發展以及活躍度，發展到今天可以看到異構資源管理已經成為很多公司的痛點。這也是為什么Cyborg的出現吸引眾多開發者的加入。
從幾個維度看一下Cyborg的成長。
（圖）餅狀圖中數據代表的是每家公司貢獻度，2018-2019年，從最初8家公司發展到后來十幾家公司的加入，2018年，代碼貢獻比重占比較大的是2017/7245.html">華為、英特爾和聯想三家貢獻比較多。2019年，項目貢獻比重除了這三家以外，發展了很多其他公司，如九九云、移動等公司的開發者也都參與進來，比重也在逐步增加。
從一個開源項目角度來看，越多越多公司開發者的參與對于這個項目的設計、架構的成型、討論、發展落地會變得更加全方位，而不僅僅是傾向于某家公司。所以可以看到Cyborg這個項目正在朝著健康的架構方向去發展。
從項目本身成熟度來看，在2018-2019年時間里，Commit的數在逐步提升。我們在參與一個開源項目時，假如有一個項目時隔兩三年才會提交幾個Commit，可以看到這個項目本身不活躍，不敢用它。因為會擔心這個項目會不會用到后來沒有人維護了。但Cyborg這幾年比較活躍，表示出開發者在這里的貢獻，包括項目本身可以看到多人參與的現狀，所以這個項目本身非常活躍和健康。
這個項目剛開始時只是一個抽象的框架，并沒有具體的實現。當時在11月份還有一個demo演示，識別人臉時用了LPG卡（音）。到了2019年，除了底層支持硬件專家，2018年只有一個英特爾的LPG卡，2019年有英偉達、GPU等都已經實現了。除此之外還做了一些類似底層設備配額管理，因為對于Cyborg來說，在這里只是一個單獨的項目，但要想落地，要想商用，必須通過跟Nova結合，所以還做了一個跟Nova的集成。
Cyborg架構。
它合乎OpenStack其他項目，如類似Nova等，Cyborg也有分層架構，有API架構有DB，對于API模組來說，主要對加速器加速設備的操作，如List、conduetor等，LIST列舉后端有哪些加速器設備。對于conduetor這個模塊主要跟DB配套出現的，假如對DB做一些加速器查詢更新操作，必須通過conduetor發送一個IPC消息去觸發DB的查詢操作，對于DB來說，conductor就是它的全線網絡控制，避免了用戶直接操作這個DB，當在使用量比較多或高復雜情況下，有可能會把DB給擊穿或導致訪問量太大，DB會出現問題，就設計了這個模塊。
對于Agent來說會和Nova交互，會把加速器分配給虛擬機。
最下面一層是有不同driver，不同加速器設備有不同連接方法，Agent需要有不同driver連接各自硬件設備。
Cyborg抽象的設備模型。
