CFD(Computational Fluid Dynamics,計算流體動力學)是一種利用計算機來解決工程流體流動問題的方法,具體方法是數值計算,通過計算機求解流體流動過程中的質量傳遞、能量傳遞、動量傳遞以及化學反應問題,不受物理模型和實驗模型的限制,省錢省時,可以模擬真實條件和實驗中很難達到的理想條件。
Fluent算得上應用最廣泛的CFD應用了。2006年5月,正式成為Ansys大家庭中的重要成員,共享先進的Ansys公共CAE技術。
數值計算方法有幾個難點:
1、很大程度上依賴于經驗與技巧;
2、數值處理方法可能導致計算結果不真實;
3、因為涉及大量數學計算,有很高的計算資源需求。隨著應用的物理建模不斷精細,數值模擬分辨率越來越高,對計算能力的要求也越來越高。
當求解問題規模越來越大,網格數上升到幾千萬甚至上億的時候,如何讓Fluent仿真任務在更短的時間迭代收斂呢?
速石科技通過其一站式CAE云計算分析平臺為永無止境的計算需求提供了一整套解決方案。
用戶需求
某高校實驗室使用Ansys Fluent進行基于化學反應模型的CFD流體仿真,因科研項目需要結題,需要在一周內完成10多個case的運算。
該實驗室有80核本地資源,通常情況都是單機跑,沒有集群環境。根據以往經驗推斷,要完成這組任務需要花費至少45天才能完成。
實驗室老師也考慮過使用超算。
但一方面,超算的使用門檻比較高,且應用需要用戶配置,無法做到開箱即用,他們更習慣拖拉曳的圖形界面操作方式。
另一方面,該實驗室迫切需要能夠在短時間內使用比較大規模的算力資源,而超算沒這么快,需要等。
實證目標
1、Fluent任務能否在云端有效運行?
2、fastone能夠短時間內獲取大量算力資源,大幅度縮短項目周期?
3、Fluent應用的高效率并行性是否在云端同樣適用?
4、針對擅長和不擅長編程的用戶,fastone能否提供不同的操作方式?
5、fastone平臺能否支持實時查看殘差圖?
實證參數
平臺:
fastone企業版產品
應用:
Ansys Fluent 20.20
操作系統:
CentOS 7.6
適用場景:
油/氣能量的產生和環境應用
航天和渦輪機械的應用
汽車工業的應用
熱交換應用
電子/HVAC應用
材料處理應用
建筑設計和火災研究
云端硬件配置:
Ansys Fluent一直宣稱自己支持高效率的并行計算功能,在2016年曾聯手CRAY和HLRS超算創了一項世界記錄,將Fluent擴展到超過172,000個計算機核心。
對于以有限單元法為基礎的CFD類計算,尤其是選用隱式格式和耦合算法的時候,并行計算時會將網格分成很多塊放在不同的計算節點上,在計算時每個迭代步節點之間需要進行大量的數據交換。因此,節點之間的數據通信就顯得尤為重要。
Fluent通過內置MPI并行機制來大幅度提高可擴展性,通過放大計算資源規模來最短時間給出高精度的計算結果。
而在本地或超算環境,比較有效的解決方案就是IB-Infiniband。
針對這一特性,速石科技分別在云端選擇了計算優化型實例和網絡加強型實例進行驗證。
調度器:
Fluent原生只支持LSF/SGE/PBS調度器,平臺通過Slurm Wrapper的方式都可以支持。
關于這一點,下次再細講。
技術架構圖:
場景一
云端擴展性驗證
理想值 VS 云端計算優化型實例
結論:
1、在云端使用計算優化型實例,當所調度資源在480核及以下時,云端擴展性較好。
2、隨著核數逐漸增加,由于節點間通信開銷指數級上升,性能的提升隨著線程數增長逐漸變緩。當核數增加到960核時,計算優化型實例共耗時106.6小時,比理想耗時高16.6小時。
實證過程:
1、云端調度120核計算優化型實例運算一組Fluent任務,香港免備案主機,耗時721.8小時;
2、云端調度240核計算優化型實例運算一組Fluent任務,耗時362.2小時;
3、云端調度360核計算優化型實例運算一組Fluent任務,耗時242.4小時;
4、云端調度480核計算優化型實例運算一組Fluent任務,耗時183.3小時;
5、云端調度600核計算優化型實例運算一組Fluent任務,耗時152.1小時;
6、云端調度720核計算優化型實例運算一組Fluent任務,耗時130.8小時;
7、云端調度840核計算優化型實例運算一組Fluent任務,耗時117.3小時;
8、云端調度960核計算優化型實例運算一組Fluent任務,耗時106.6小時。
實證場景二
云端擴展性驗證
云端計算優化型實例 VS 云端網絡加強型實例
結論: