對于AI企業來說，GPU等計算資源昂貴，如何提高資源利用率，保護計算力投資？如何解決資源搶占，保證資源使用公平合理？如何減少等待時間，提高模型訓練效率……這些問題都關系著研發創新的進度。且看浪潮AIStation人工智能開發平臺用三招“組合拳”打破計算力壁壘，加速企業AI開發進程。
某企業AI開發面臨的問題
某企業有四臺8卡GPU服務器供50位開發人員使用，典型的人多資源少。具體來說，有以下幾大問題：
每十多人為一個小組共用一個GPU節點，國內服務器，可能使有的小組資源空閑而有的小組卻無資源可用，造成資源孤島；
缺乏優先機制，重要任務無法得到及時提交；
在白天GPU卡幾乎全部用于開發環境創建，開發人員只能在晚上提交訓練任務，模型訓練數量非常有限。
AIStation三招解決企業算力問題
AIStation是面向AI企業開發場景的人工智能資源平臺，可通過資源配額、GPU共享、排隊托管三招“組合拳”，智能化分配GPU計算資源，提高資源利用率，幫助用戶提高開發效率。
首先，AIStation收攏分散的計算資源，提供集群式的池化管理，并設置資源配額策略，實現多用戶公平均衡使用資源。
AIStation將開發用戶劃分為5個用戶組，每個用戶組10人，并根據業務需求設置每組和每個用戶的使用配額，如可設置每組使用6張GPU卡、40個CPU核。并對每個用戶的開發環境使用時長、同時提交任務數量進行限制。
其次，AIStation通過GPU共享策略，可以讓多人共用一張GPU卡且互不影響。
AIStation統一管理4臺GPU節點，將其中2個節點的16張GPU卡設置為開發資源組，用于開發環境創建，剩下16張GPU卡為訓練資源組，用于模型訓練。通過共享策略，AIStation可將開發資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來的16張GPU卡相當于變為了128張卡。并且通過設置CPU超線程策略擴展CPU核數，滿足50個用戶同時創建開發環境的需求。用戶也可以根據自己的模型設置batchsize和顯存使用的大小。
GPU共享模式
最后，AIStation通過任務排隊托管、定義任務優先級，充分利用空閑時間訓練任務，并且可根據優先級調度任務排隊運行。
用戶可同時提交多個訓練任務，資源不足時排隊等待，一個任務訓練結束后自動釋放資源給排隊等待的任務，從而可以充分利用夜間、周末訓練任務，延長GPU的使用時間。同時用戶可設置優先級，讓重要任務優先訓練。
開發用戶任務托管
AIStation取得顯著效果
GPU使用時間加大近1倍。原來單個GPU節點分配給一個用戶小組使用，每卡每天的平均使用時間僅為14.4小時。AIStation通過GPU共享、任務托管，解決資源孤島，將每卡每天的平均使用時間提升到22.8小時。
一天周期內集群GPU使用情況
GPU利用率提升50%。原來用戶在開發階段獨占一張GPU，GPU利用率僅為10%，訓練階段可達90%，每天每卡的平均利用率為30%。使用AIStation后，開發階段8人共用一張GPU卡，GPU利用率可上升為80%，訓練階段為90%，每天每卡的利用率可達到80%。
GPU使用情況對比
每周訓練任務的數量增大一倍多。假設提交一個ImageNet數據集和一個ResNet50模型，使用1張Tesla V100 GPU卡訓練任務，每個任務的訓練時間大概為12小時。
原來因為人均不夠一張卡， 白天GPU卡用于創建開發環境，晚上才能訓練任務，那么一個工作日可以完成的任務數最多為32個，即一周可以完成160個任務。
而AIStation支持任務排隊，可以最大限度的使用GPU資源。一周可以完成368個任務數，效率提升2.3倍。假設開發團隊單個項目平均需要訓練的任務數為50，那么每個月的項目完成數從3個提升到7個。
可以看出，浪潮AIStation通過對計算資源的高效管理、調度，在GPU使用時間、利用率和訓練任務數量上，相比原方案均實現了大幅提升，最大化地優化了資源使用。
