什么是GPU服務器？GPU服務器是基于GPU的應用于視頻編解碼、深度學習、科學計算等多種場景的快速、穩定、彈性的計算服務。

GPU服務器有什么作用？GPU 加速計算可以提供非凡的應用程序性能，能將應用程序計算密集部分的工作負載轉移到 GPU，同時仍由 CPU 運行其余程序代碼。從用戶的角度來看，應用程序的運行速度明顯加快。

選擇GPU服務器時首先要考慮業務需求來選擇適合的GPU型號。在HPC高性能計算中還需要根據精度來選擇，比如有的高性能計算需要雙精度，這時如果使用P40或者P4就不合適，只能使用V100或者P100；同時也會對顯存容量有要求，比如石油或石化勘探類的計算應用對顯存要求比較高；還有些對總線標準有要求，因此選擇GPU型號要先看業務需求。

當GPU型號選定后，再考慮用什么樣GPU的服務器。這時我們需要考慮以下幾種情況：

第一、 在邊緣服務器租用上需要根據量來選擇T4或者P4等相應的服務器，同時也要考慮服務器的使用場景，比如火車站卡口、機場卡口或者公安卡口等；在中心端做Inference時可能需要V100的服務器，需要考慮吞吐量以及使用場景、數量等。


第二、 需要考慮客戶本身使用人群和IT運維能力，對于BAT這類大公司來說，他們自己的運營能力比較強，這時會選擇通用的PCI-e服務器；而對于一些IT運維能力不那么強的客戶，他們更關注數字以及數據標注等，我們稱這類人為數據科學家，選擇GPU服務器的標準也會有所不同。

第三、 需要考慮配套軟件和服務的價值。

第四、 要考慮整體GPU集群系統的成熟程度以及工程效率，比如像DGX這種GPU一體化的超級計算機，它有非常成熟的從底端的操作系統驅動Docker到其他部分都是固定且優化過的，這時效率就比較高。