我們還有智能網卡，可以通過RDMA將數據和控制卸載在網卡上做。
SHIELD是針對大規(guī)模網絡里面可靠性的解決方案，以前網絡斷了交給子網管理器，去重新規(guī)劃路徑，這是軟件方面來做。如果一千個節(jié)點，大概需要5秒鐘，用戶基本無法忍受，應用也會中斷。但是如果我們通過SHIELD的功能硬件做網絡收斂，不管是端口斷了還是線斷了，硬件自己解決。這基本上可以控制在毫秒級之內，交換機自動找另外一個端口，數據從A傳送到B。可以有本地恢復的功能，也可以通過網絡的方式把通知信息發(fā)給相鄰的交換機，直到找到另外一條路，數據傳過來就可以了。
另外隨著網絡的規(guī)模越來越大，網絡的可靠性要求非常高，如果網絡有問題的話可能需要提交作業(yè)重新做。目前來說用CPR的技術來做，但是要消耗很多時間，尤其作業(yè)非常大的情況下是不可以接受的，所以可靠性就非常重要。如果一個端口、線斷掉了，能不能不有任何影響，我們可以做到。
另外SHARP可以極大的降低CPU的使用率，因為我們可以把CPU工作負載進行工作，免備案空間 香港服務器，AI里面也可以用到這樣的技術。
以下是Mellanox資深系統(tǒng)工程師于若信的演講實錄：
10月17日，2018年開放數據峰會（Open Data Center Summit 2018，下文簡稱ODCC）數據中心網絡分論壇在北京國際會議中心舉辦。ODCC關注數據中心產業(yè)的各個方面，從國家政策和法規(guī)，到地方制度和項目，從產業(yè)全局發(fā)展到具體技術落地，從尖端熱點技術到傳統(tǒng)行業(yè)推廣，從國內到國際，從宏觀到微觀，全力推動中國數據中心產業(yè)發(fā)展。
另外就是Tag Matching，一個點到另一個點傳輸數據的時候有一個Tag，需要匹配標簽。以前都需要CPU去做，造成CPU的負載很大，現在Tag Matching可以跟網卡交換機做，這樣對于小的信息或者大的信息都可以應用，可以極大的降低延遲和CPU的使用率。
RDMA可以用在哪幾個方面呢？MPI、SHMEM、PGAS都可以支持，非常成熟。還有AI領域，現在幾乎所有的框架都支持RDMA，當然還有大數據分析里面的spark、Hadoop，可以用RDMA，我們也有一些測試、例子，在高頻交易、數據庫、以及分布式數據庫解決方案都可以用到RDMA解決方案，還有存儲，包括文件系統(tǒng)，像常見的并行文件系統(tǒng)都可以支持RDMA。
這是目前最快的系統(tǒng)，實際上是全球真正的E級計算。用到了我們的交換機，其中用到了EDR，Dual-Rail是很好的技術，把兩個網口可以提高到一個并行帶寬。一個計算節(jié)點有42Tflops計算能力，最后兩個網卡可以提供23GB/s的速度，來滿足對高性能計算數據處理的要求。當然一些新的技術在這個項目里也用到了，比如說自適應路由，還有亂序包的處理，都可以提高網絡的使用效率。
如果基于硬件來看的話，隨著節(jié)點數量的增加，延時基本上實現是穩(wěn)定的。相對于CPU做的話，延時基本上是很快的，大概有10倍的差距。如果是30—40微秒用CPU做的話，用SHARP做的話是3—4微秒。
SHARP最早是HPC里用的非常多的，在AI特別是深度學習的數據并行的時候很多操作是跟HPC非常類似的，就是聚合類通信的操作。所以我們在AI里也可以用到SHARP，比如說是數據并行的應用模式。有很多Worker拿到模型之后需要做一些訓練，會有一些節(jié)點梯度平均、梯度同步，同步完了之后要有一個參數服務器，更新的模型再發(fā)給Worker去訓練，實際上就是這樣一個操作。我們就可以用到SHARP這種技術。SHARP有兩點，第一點可以極大的減少節(jié)點之間數據通訊，我們不需要從這個節(jié)點把數據傳到另外一個節(jié)點，我們直接給交換機就可以了，交換機去做工作，這是減少節(jié)點間通信，尤其是對于AI訓練的時候節(jié)點非常多的應用場景來說，效果是非常明顯的。
網絡內計算對性能提升來講還是非常明顯的，剛才提到了SHARP是10倍的提升。
降低CPU使用率對用戶來說帶來很多好處，不管在計算還是其他的應用場景里，都可以擴展到更多的核數。以前我們有這種經驗，如果我們提交一個作業(yè)到64、128線程，性能都在增加，但是超過512線程之后性能就會下降了，其原因是CPU更多時間花在了數據通信上面，而用在計算的時間反而少了。優(yōu)化之后CPU核利用率降低，計算時間很多，實際上Tag Matching可以很好的提升應用擴展能力，起到加速作用。
GPUDirect RDMA/Async，很多場景都會用到它，InfiniBand卡可以直接注冊、調用GPU的內存，通過網絡來操作數據直接拷貝，使用起來也非常方便，也非常成熟。
這是一個比較，如果你用到RDMA和不用RDMA的差別還是很大的，從延時到帶寬。
