微軟Azure將Cray XC系列超級計算機和CS Storm集群應(yīng)用到其公共云中已有兩年多的時間，目前尚不清楚有多少用戶采用了Cray公司(現(xiàn)在是HPE公司的一部分)的產(chǎn)品。希望在公共云平臺上運行高性能計算(HPC)和人工智能工作負載(尤其是GPU加速的工作負載)的用戶更有可能將現(xiàn)有實例集群集中在一起以創(chuàng)建虛擬超級計算機。

但是，微軟公司非?？释贏zure公共云平臺上建立高性能計算(HPC)業(yè)務(wù)，從而讓用戶在外觀上和感覺上都像在自己的數(shù)據(jù)中心中部署的集群一樣，從而消除體驗差異。  

微軟公司日前在丹佛舉行的SC19超級計算機會議上宣布，Azure新實例將在技術(shù)預(yù)覽版中發(fā)布，它實際上是微軟公司正在選定地區(qū)部署的100節(jié)點集群中的一個節(jié)點(目前還不清楚是哪一個節(jié)點)。這個名為NDv2的高性能計算(HPC)實例顯然同樣適用于運行機器學(xué)習(xí)訓(xùn)練工作負載以及GPU加速工作負載。NDv2實例是基于一個HGX的Tesla V100 GPU加速器捆綁在一起共享數(shù)據(jù)，通過NVLink(可以把它想象成Nvidia的DGX-2系統(tǒng)中一半的GPU復(fù)合體，其中抽出了NVSwitch，并在這些GPU之間直接引導(dǎo)NVLink，這樣它們就可以尋址彼此的32GB HBM2內(nèi)存)。這個GPU計算組件連接到主機CPU系統(tǒng)，該主機CPU系統(tǒng)基于一對20個“Skylake” Xeon SP-6168 Platinum核心處理器，該處理器運行在2.7 GHz頻率上，并安裝在微軟公司自己開發(fā)的“Project Olympus”系統(tǒng)中。服務(wù)器節(jié)點具有672 GB的內(nèi)存，這表明某個地方有一個虛擬機管理程序會消耗一些內(nèi)存資源。估計可能是96GB，并且這個超級計算機在其24個內(nèi)存插槽中裝有64GB的內(nèi)存條。  

每個NDv2節(jié)點都有一個100Gb/秒的ConnectX-5網(wǎng)絡(luò)接口卡，可以和100 Gb/秒的EDR InfiniBand互連，這顯然是從Mellanox科技公司那里獲得的技術(shù)，Nvidia公司正在收購該公司。多年來，以太網(wǎng)已切換到微軟公司的Azure公共云中。目前尚不清楚微軟公司正在使用哪種拓撲來相互鏈接NDv2實例，但是猜測它是高性能計算(HPC)和人工智能工作負載中通常使用的FatTree拓撲，而不是超大規(guī)模廠商和云計算供應(yīng)商通常使用的拓撲。Nvidia公司副總裁兼加速計算總經(jīng)理Ian Buck表示，NDv2中的機器將以8臺服務(wù)器為一個單元的形式出售，總共有64個GPU，這意味著隨著用戶擴展他們的NDv2集群，他們正在購買一棵FatTree的相鄰分支。知道這一點，人們可能會認為NDv2的高端Pod是96個節(jié)點，帶有768個GPU，但是被告知實際上是100個節(jié)點，總共有800個GPU。

這些系統(tǒng)顯然是在運行某些Linux變體的情況下設(shè)置的(CentOS或Ubuntu Server是默認版本，但Red Hat Enterprise Linux和SUSE Linux Enterprise Server也是一個很好的選項)，并且可以通過以下方式獲得完整的Nvidia軟件堆棧：Nvidia NGC云或Azure市場。微軟公司表示已經(jīng)安裝了Mellanox OFED網(wǎng)絡(luò)驅(qū)動程序(就像有任何其他選擇一樣)，并且支持所有MPI類型和版本。顯然，某處有一個虛擬機管理程序，大概是Hyper-V，微軟公司用來構(gòu)建Azure云。Hyper-V運行時，沒有任何性能下降的跡象。  

微軟公司目前還沒有正式公布其定價，但有消息表明，每個NDv2實例的定價將為26.44美元。但是需要了解所有的GPU性能和內(nèi)存帶寬帶來的負擔(dān)。而且，即使客戶沒有充分利用InfiniBand網(wǎng)絡(luò)的成本，也必須為此支付費用。

如果沒有任何數(shù)據(jù)存儲服務(wù)，用戶將一個96節(jié)點的集群運行三年將會花費6,675萬美元，并且這個超級計算機將具有5.76 petaflops的總峰值雙精度性能。DGX-1V具有8個Tesla V100和兩個Xeon處理器，大致類似于微軟公司為NDv2實例組裝的節(jié)點，當(dāng)前價格為119,000美元(低于兩年前發(fā)布時的169,000美元)。因此，其中96臺服務(wù)器將花費1140萬美元，其中包括大量的本地閃存和4倍的網(wǎng)絡(luò)帶寬。這些費用并沒有包括電源、冷卻、房地產(chǎn)、系統(tǒng)管理或InfiniBand的交換機和布線成本，但是如果用戶將其向后計算并在四年內(nèi)攤銷，則僅硬件就具有相同的5.76 petaflops的性能，并且可以計算出DGX-1節(jié)點的費用為每小時4.53美元，用戶自行承擔(dān)構(gòu)建一個96節(jié)點集群的成本，并了解如何比較它們的負擔(dān)?；蛘?，相當(dāng)于ODM和OEM服務(wù)器的成本，甚至比Nvidia公司的價格還要低。微軟公司為其公共云上的高性能計算(HPC)設(shè)置了上限。  

這里要考慮的另一件事是利用率。為了進行論證，假設(shè)一個內(nèi)部DGX-1集群每小時僅需花費10美元，僅用于計算和聯(lián)網(wǎng)，directadmin授權(quán)，而無需來自Pure Storage或DataDirect Networks的本地閃存存儲陣列，也無需使用Excelero、Vast Data或Lightbits自產(chǎn)實驗室軟件定義的存儲。如果企業(yè)擁有自己的混合CPU-GPU集群，并且只在50%的時間內(nèi)使用它，那么實際上每小時要支付20美元才能擁有該集群。因此，免備案主機，云計算與內(nèi)部部署之間的差距很快就消除了。但是，用戶也可以使用ODM或OEM服務(wù)器來降低成本，例如浪潮、Supermicro、戴爾、HPE公司的服務(wù)器，而價格卻要比Nvidia公司要低得多，大概減少40%的成本。這樣可以降低一些總成本，但可能不會達到用戶的期望。如果提高利用率，那么每小時的本地成本也會下降。這里要了解的是，利用率是決定因素，而利用率模式可能會驅(qū)動用戶選擇在內(nèi)部部署和云平臺部署多少容量。   或者只需管理所有這些，然后將其全部移至云中就可以。一些高性能計算(HPC)和人工智能從業(yè)者會這樣做，因為他們不會大規(guī)模運作。