微軟Azure將Cray XC系列超級計算機和CS Storm集群應用到其公共云中已有兩年多的時間，目前尚不清楚有多少用戶采用了Cray公司(現在是HPE公司的一部分)的產品。希望在公共云平臺上運行高性能計算(HPC)和人工智能工作負載(尤其是GPU加速的工作負載)的用戶更有可能將現有實例集群集中在一起以創建虛擬超級計算機。

但是，微軟公司非常渴望在Azure公共云平臺上建立高性能計算(HPC)業務，從而讓用戶在外觀上和感覺上都像在自己的數據中心中部署的集群一樣，從而消除體驗差異。  

微軟公司日前在丹佛舉行的SC19超級計算機會議上宣布，Azure新實例將在技術預覽版中發布，它實際上是微軟公司正在選定地區部署的100節點集群中的一個節點(目前還不清楚是哪一個節點)。這個名為NDv2的高性能計算(HPC)實例顯然同樣適用于運行機器學習訓練工作負載以及GPU加速工作負載。NDv2實例是基于一個HGX的Tesla V100 GPU加速器捆綁在一起共享數據，通過NVLink(可以把它想象成Nvidia的DGX-2系統中一半的GPU復合體，其中抽出了NVSwitch，并在這些GPU之間直接引導NVLink，這樣它們就可以尋址彼此的32GB HBM2內存)。這個GPU計算組件連接到主機CPU系統，該主機CPU系統基于一對20個“Skylake” Xeon SP-6168 Platinum核心處理器，該處理器運行在2.7 GHz頻率上，并安裝在微軟公司自己開發的“Project Olympus”系統中。服務器節點具有672 GB的內存，這表明某個地方有一個虛擬機管理程序會消耗一些內存資源。估計可能是96GB，并且這個超級計算機在其24個內存插槽中裝有64GB的內存條。  

每個NDv2節點都有一個100Gb/秒的ConnectX-5網絡接口卡，可以和100 Gb/秒的EDR InfiniBand互連，這顯然是從Mellanox科技公司那里獲得的技術，Nvidia公司正在收購該公司。多年來，以太網已切換到微軟公司的Azure公共云中。目前尚不清楚微軟公司正在使用哪種拓撲來相互鏈接NDv2實例，但是猜測它是高性能計算(HPC)和人工智能工作負載中通常使用的FatTree拓撲，而不是超大規模廠商和云計算供應商通常使用的拓撲。Nvidia公司副總裁兼加速計算總經理Ian Buck表示，NDv2中的機器將以8臺服務器為一個單元的形式出售，總共有64個GPU，這意味著隨著用戶擴展他們的NDv2集群，他們正在購買一棵FatTree的相鄰分支。知道這一點，人們可能會認為NDv2的高端Pod是96個節點，帶有768個GPU，但是被告知實際上是100個節點，總共有800個GPU。

這些系統顯然是在運行某些Linux變體的情況下設置的(CentOS或Ubuntu Server是默認版本，但Red Hat Enterprise Linux和SUSE Linux Enterprise Server也是一個很好的選項)，并且可以通過以下方式獲得完整的Nvidia軟件堆棧：Nvidia NGC云或Azure市場。微軟公司表示已經安裝了Mellanox OFED網絡驅動程序(就像有任何其他選擇一樣)，并且支持所有MPI類型和版本。顯然，某處有一個虛擬機管理程序，大概是Hyper-V，微軟公司用來構建Azure云。Hyper-V運行時，沒有任何性能下降的跡象。  

微軟公司目前還沒有正式公布其定價，但有消息表明，每個NDv2實例的定價將為26.44美元。但是需要了解所有的GPU性能和內存帶寬帶來的負擔。而且，即使客戶沒有充分利用InfiniBand網絡的成本，也必須為此支付費用。

如果沒有任何數據存儲服務，用戶將一個96節點的集群運行三年將會花費6,675萬美元，并且這個超級計算機將具有5.76 petaflops的總峰值雙精度性能。DGX-1V具有8個Tesla V100和兩個Xeon處理器，大致類似于微軟公司為NDv2實例組裝的節點，當前價格為119,000美元(低于兩年前發布時的169,000美元)。因此，其中96臺服務器將花費1140萬美元，其中包括大量的本地閃存和4倍的網絡帶寬。這些費用并沒有包括電源、冷卻、房地產、系統管理或InfiniBand的交換機和布線成本，但是如果用戶將其向后計算并在四年內攤銷，則僅硬件就具有相同的5.76 petaflops的性能，并且可以計算出DGX-1節點的費用為每小時4.53美元，用戶自行承擔構建一個96節點集群的成本，并了解如何比較它們的負擔。或者，相當于ODM和OEM服務器的成本，甚至比Nvidia公司的價格還要低。微軟公司為其公共云上的高性能計算(HPC)設置了上限。  

這里要考慮的另一件事是利用率。為了進行論證，假設一個內部DGX-1集群每小時僅需花費10美元，僅用于計算和聯網，directadmin授權，而無需來自Pure Storage或DataDirect Networks的本地閃存存儲陣列，也無需使用Excelero、Vast Data或Lightbits自產實驗室軟件定義的存儲。如果企業擁有自己的混合CPU-GPU集群，并且只在50%的時間內使用它，那么實際上每小時要支付20美元才能擁有該集群。因此，免備案主機，云計算與內部部署之間的差距很快就消除了。但是，用戶也可以使用ODM或OEM服務器來降低成本，例如浪潮、Supermicro、戴爾、HPE公司的服務器，而價格卻要比Nvidia公司要低得多，大概減少40%的成本。這樣可以降低一些總成本，但可能不會達到用戶的期望。如果提高利用率，那么每小時的本地成本也會下降。這里要了解的是，利用率是決定因素，而利用率模式可能會驅動用戶選擇在內部部署和云平臺部署多少容量。   或者只需管理所有這些，然后將其全部移至云中就可以。一些高性能計算(HPC)和人工智能從業者會這樣做，因為他們不會大規模運作。