利用AI模型(程序)進行實際問題的推理和判斷仍舊需要對應的硬件系統擁有強大的運算能力。但與模型訓練的復雜場景不同，由于需要運行的程序和處理的數據類型的相對固定，硬件系統并不需要很高的靈活性。相反，在實際的AI應用場景中，用戶往往對硬件的采購成本、能效和部署效率有著更高的要求。
在模型訓練方面，由于輸入的數據類型和使用的DL/ML框架不同，硬件不僅需要有強大的并行計算和浮點能力，國內服務器租用 服務器托管，更要具備強大的靈活性。但這兩種需求都不是傳統x86服務器所擅長的，因此就需要與x86異構的協處理器來完成對應的模型訓練任務。在這一領域，最大的贏家無疑就是NVIDIA。面對這一市場的巨大需求和豐厚利潤，NVIDIA不僅推出了針對不同性能和應用環境的多款GPU產品，更推出了對應的一體機甚至是為大規模GPU互聯提供更高帶寬的NVLink總線。此外，針對云數據中心的虛擬化環境和相關訓練程序的開發，NVIDIA也有專門的GRID虛擬化技術及提高并行運算效率的CUDA語言。
但除了已經淪為陳詞濫調的AI光明未來，在實際的應用中，云主機，AI技術卻仍舊處于萌芽狀態。在目前的階段，人工智能——Artificial Intelligence仍舊處于相當初級的階段，還只能根據海量數據所構建出的模型來完成應用中的推理與判斷，離真正的自主型人工智能或根據有限信息來自主拓展模型并作出判斷的強人工智能還有很大的差距。
與AI模型訓練領域中NVIDIA的一家獨大不同，推理判斷領域卻呈現出了百家爭鳴、群雄逐鹿的景象。
自從Alpha GO戰勝人類圍棋選手以來，AI就成為了整個商業社會中熱度最高的一個名詞。在AI的背后是對傳統商業模式的巨大顛覆和對社會生產力的空前解放。雖然AI很可能在未來淘汰掉一部分重復性勞動很高的工作崗位，但因此所釋放出的勞動力將在未來把人類的創造力推向新的高峰。
隨著云理念和云優勢被越來越多的企業認可，云計算市場也經歷著一輪又一輪的高速增長。而將AI能力通過云計算的形式交付給企業和用戶也成為了AI技術迅速發展并取得廣泛應用的前提條件。于是，對于云數據中心來說各類計算卡和AI芯片就成為了擴容建設的重中之重。
指望在復雜多變的AI市場建立統一的管理和運行框架在目前這個時間節點是不現實的;寄希望于初出茅廬的AI芯片獨角獸們從整個數據中心未來管理和運營的角度來設計產品也不太可能。但從市場的規律來看，在沒有新的顛覆性技術出現之前，誰能夠解決好這一問題誰才有可能成為AI硬件市場未來真正的贏家。
但隨著云計算市場和應用集中趨勢的愈發明顯，很快，大型云數據中心就會發現，越來越多的GPU、ASIC、FPGA會開始堆滿數據中心，他們分別運行著不同的程序、發揮著不同的作用、并且有著不同的管理方式。而這對于數據中心來說則是一種巨大的挑戰。
二十年前，當時的CPU性能遠沒有現在的強大，而面對龐大的數據存儲和管理壓力，大多數企業都開始研發運行效率更高的ASIC芯片，并使之成為存儲系統的核心功能實現單元。期初，這一思路取得了很好的效果，滿足的用戶的需求。但隨著時間得推移，越來越多不同廠牌、不同管理框架、不同功能的ASIC也讓存儲網絡的管理和運營成本直線飆升;最終受苦的仍舊是企業。直到現在，軟件定義存儲技術才開始慢慢扭轉這一局面，將企業從存儲系統結構的深淵中慢慢拉出來。
于是，專門對應某種算法的AI芯片被越來越多的制造了出來。最近在資本圈和市場上引起廣泛關注的華為海思、寒武紀、地平線、比特大陸等公司都是這一領域的新貴。在產品形態上，他們大多采用ASIC方式將AI應用固化在芯片中，從而獲得更低的成本和更高的性能及能效。當然，傳統科技企業也沒有在這一領域缺席，包括Google的TPU、Intel的Arria 10系列(FPGA芯片)和Xilinx的Versal芯片(FPGA)等也紛紛進入AI推理判斷領域。
