比以往任何時(shí)候都更重要的是，對(duì)于每個(gè)新的數(shù)據(jù)中心工作負(fù)載，IT組織必須回答的問題是在哪里運(yùn)行。如今，最新的企業(yè)計(jì)算工作負(fù)載是機(jī)器學(xué)習(xí)(或人工智能)的變體，無論是深度學(xué)習(xí)模型培訓(xùn)還是推理(使用經(jīng)過培訓(xùn)的模型)，人工智能基礎(chǔ)設(shè)施已經(jīng)有太多的選擇，因此很難直接為企業(yè)找到最佳的解決方案。

市場(chǎng)上有各種各樣的人工智能硬件選項(xiàng)，廣泛且快速增長(zhǎng)的人工智能云服務(wù)范圍，以及用于托管人工智能硬件的各種數(shù)據(jù)中心選項(xiàng)。Nvidia公司是機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施生態(tài)系統(tǒng)中最重要的一家公司，它不僅為全球的人工智能工作負(fù)載(Nvidia GPU)銷售和生產(chǎn)大多數(shù)處理器，它還構(gòu)建了大量運(yùn)行在這些芯片上的軟件，并銷售自己的人工智能超級(jí)計(jì)算機(jī)。

行業(yè)媒體Datacenter Knowledge(DCK)與Nvidia公司的DGX人工智能超級(jí)計(jì)算機(jī)高級(jí)營(yíng)銷總監(jiān)Charlie Boyle一起探討了人工智能硬件發(fā)展和人工智能基礎(chǔ)設(shè)施的發(fā)展趨勢(shì)。以下是采訪內(nèi)容：

DCK：企業(yè)如何決定是將云計(jì)算服務(wù)用于其機(jī)器學(xué)習(xí)還是購(gòu)買自己的人工智能硬件采用機(jī)器學(xué)習(xí)?

Charlie Boyle：我們的大多數(shù)客戶都使用內(nèi)部部署和云計(jì)算的組合。我們看到的最大動(dòng)態(tài)是數(shù)據(jù)所在位置決定處理它的位置。在人工智能環(huán)境中，需要處理大量數(shù)據(jù)才能得到結(jié)果。如果所有這些數(shù)據(jù)都已經(jīng)存在于企業(yè)數(shù)據(jù)中心中(企業(yè)可能收集了10～30年的歷史數(shù)據(jù))，那么希望將處理過程盡可能接近企業(yè)所在的位置。因此，它有利于內(nèi)部部署系統(tǒng)。如果是一家業(yè)務(wù)從云端起步的公司，并且其所有客戶數(shù)據(jù)都在云端，那么最好在云平臺(tái)中處理這些數(shù)據(jù)。

DCK：是因?yàn)楹茈y將大量數(shù)據(jù)移入和移出云端嗎?

Charlie Boyle：這還取決于企業(yè)如何生成數(shù)據(jù)。大多數(shù)企業(yè)的數(shù)據(jù)都是動(dòng)態(tài)的，因此總是會(huì)添加數(shù)據(jù)，因此，歐洲服務(wù)器，如果他們?cè)谙到y(tǒng)中收集所有數(shù)據(jù)，那么他們就更容易繼續(xù)在內(nèi)部處理它們。如果他們將大量數(shù)據(jù)聚合到云服務(wù)中，那么他們就會(huì)在云平臺(tái)上處理它。

這適用于生產(chǎn)用例。許多實(shí)驗(yàn)性用例可以從云端開始，企業(yè)只需啟動(dòng)瀏覽器即可訪問人工智能基礎(chǔ)設(shè)施，但隨著他們轉(zhuǎn)向生產(chǎn)，企業(yè)就可以做出本地決策、財(cái)務(wù)決策、安全決策，以及是否更好地在內(nèi)部部署或在云平臺(tái)上處理它。

Nvidia公司的客戶通常在內(nèi)部進(jìn)行一些人工智能模型培訓(xùn)，因?yàn)檫@是他們的歷史數(shù)據(jù)所在。他們構(gòu)建了一個(gè)很好的模型，但是該模型隨后由他們的在線服務(wù)提供服務(wù)——他們?cè)谠浦谢谒麄冊(cè)趦?nèi)部部署構(gòu)建的模型進(jìn)行的推理。

DCK：對(duì)于那些在自己的內(nèi)部部署或托管數(shù)據(jù)中心運(yùn)行人工智能工作負(fù)載的企業(yè)，考慮到機(jī)架的功率密度越來越高，您認(rèn)為他們將采用哪種冷卻方法?

Charlie Boyle：數(shù)據(jù)中心采用液體冷卻還是空氣冷卻始終是一個(gè)熱門的爭(zhēng)論話題，我們一直在研究這個(gè)問題。一般來說，數(shù)據(jù)中心運(yùn)行大量服務(wù)器機(jī)架，有的多達(dá)50個(gè)，采用傳統(tǒng)的空氣冷卻設(shè)施效果良好。當(dāng)運(yùn)行更高功率密度的機(jī)架時(shí)，例如機(jī)架的功率為30千瓦～50千瓦，通常采用水冷式熱交換器進(jìn)行冷卻，這就是在數(shù)據(jù)中心實(shí)施的最新冷卻措施，因?yàn)檫@樣數(shù)據(jù)中心就不會(huì)改造冷卻系統(tǒng)本身的管道。

現(xiàn)在，我們的一些OEM合作伙伴也基于我們的GPU構(gòu)建可以直接冷卻芯片的水冷系統(tǒng)，一些企業(yè)希望構(gòu)建一個(gè)超級(jí)密集的計(jì)算基礎(chǔ)設(shè)施，他們將會(huì)提前部署冷卻基礎(chǔ)設(shè)施。但是，通過我們與大多數(shù)托管服務(wù)提供商的合作，發(fā)現(xiàn)只有水冷系統(tǒng)才能更好地支持高功率密度的機(jī)架運(yùn)行。

直接冷卻芯片更像是一個(gè)運(yùn)營(yíng)問題。我們的技術(shù)現(xiàn)在可以做到，但如何為它提供服務(wù)呢?對(duì)于正常運(yùn)營(yíng)的企業(yè)來說，這將是一個(gè)學(xué)習(xí)曲線。

DCK：NVIDIA DGX系統(tǒng)和其他GPU驅(qū)動(dòng)的人工智能硬件如此密集，以至于無法采用空氣冷卻進(jìn)行冷卻嗎?

Charlie Boyle：我們所有系統(tǒng)都可以采用空氣冷卻和液體冷卻技術(shù)。主要是因?yàn)槲铱吹酱蠖鄶?shù)客戶都在采用這些方法。在我們對(duì)于功率密度的處理并不是固有的方法，因?yàn)樵诳深A(yù)見的將來，我們不能實(shí)施空氣冷卻或混合冷卻技術(shù)，這主要是因?yàn)榇蠖鄶?shù)客戶會(huì)受到機(jī)架功率的限制。

現(xiàn)在，我們正在運(yùn)行30～40kW的機(jī)架。當(dāng)然也可以運(yùn)行100kW和200kW的機(jī)架，但現(xiàn)在沒有人愿意部署這樣功率密度的機(jī)架。那么可以采用液體冷卻嗎?也許，但它確實(shí)是每個(gè)客戶最有效的選擇。我們看到客戶采用混合體冷卻方式，他們正在回收廢熱。我們將繼續(xù)關(guān)注這一點(diǎn)，繼續(xù)與在這些公司合作，看看他們的方法是否具有意義。

我們的工作站產(chǎn)品DGX station采用的是一種內(nèi)部閉環(huán)水冷技術(shù)。但是在數(shù)據(jù)中心基礎(chǔ)設(shè)施的服務(wù)器端，大多數(shù)客戶還沒有采用。

DCK：大多數(shù)企業(yè)數(shù)據(jù)中心甚至不能冷卻30kW和40kW機(jī)架。這是DGX產(chǎn)品銷售的障礙嗎?