RDMA產(chǎn)生背景互聯(lián)網(wǎng)中大量的在線業(yè)務(wù)，例如在線搜索、購(gòu)物、直播等，它需要以非常快的速度對(duì)高頻率的用戶請(qǐng)求做出應(yīng)答，數(shù)據(jù)中心內(nèi)任何一個(gè)環(huán)節(jié)導(dǎo)致延遲，都會(huì)對(duì)終端用戶的訪問體驗(yàn)造成極大的影響，從而影響其流量、口碑、活躍用戶等。

還有在機(jī)器學(xué)習(xí)和AI的技術(shù)趨勢(shì)下，對(duì)計(jì)算能力的需求是呈幾何級(jí)數(shù)上升的，為了滿足日益復(fù)雜的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)模型，數(shù)據(jù)中心會(huì)存在大量的分布式計(jì)算集群，但大量并行程序的通訊延遲，則會(huì)極大影響整個(gè)計(jì)算過程的效率。

另外為了解決數(shù)據(jù)中心內(nèi)爆炸式增長(zhǎng)的數(shù)據(jù)存儲(chǔ)和讀取效率問題，利用以太網(wǎng)融合組網(wǎng)的分布式存儲(chǔ)越來越受到歡迎。但因?yàn)?a href='http://www.qzkangyuan.com/cnidc/dc/jhcc/20170704/14135.html' target='_blank'>存儲(chǔ)網(wǎng)絡(luò)中數(shù)據(jù)流以大象流為主，所以一旦因擁塞造成丟包，將會(huì)引發(fā)大象流重傳，不僅降低效率，還會(huì)加重?fù)砣?/p>

所以從前端用戶的體驗(yàn)和后端應(yīng)用的效率來看，眼下對(duì)于數(shù)據(jù)中心網(wǎng)絡(luò)的要求是：延遲越低越好，效率越高越好。為了降低數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)延遲，提高處理效率，RDMA技術(shù)應(yīng)運(yùn)而生，通過允許用戶態(tài)的應(yīng)用程序直接讀取和寫入遠(yuǎn)程內(nèi)存，而無需CPU介入多次拷貝內(nèi)存，并可繞過內(nèi)核直接向網(wǎng)卡寫數(shù)據(jù)，實(shí)現(xiàn)了高吞吐量、超低時(shí)延和低CPU開銷的效果。

以數(shù)據(jù)中心當(dāng)前主流的spine-leaf架構(gòu)為例，其主要是2級(jí)、3級(jí)CLOS，少數(shù)可能達(dá)到5級(jí)、6級(jí)CLOS。而many-to-one流量模型和all-to-all流量模型，使得這種架構(gòu)在未來數(shù)據(jù)中心新場(chǎng)景下存在丟包、時(shí)延、吞吐等多方面的挑戰(zhàn)。

圖1 傳統(tǒng)TCP/IP數(shù)據(jù)傳輸過程

圖2 RDMA數(shù)據(jù)傳輸過程

傳統(tǒng)的TCP/IP軟硬件架構(gòu)及應(yīng)用存在著網(wǎng)絡(luò)傳輸和數(shù)據(jù)處理的延遲過大、存在多次數(shù)據(jù)拷貝和中斷處理、復(fù)雜的TCP/IP協(xié)議處理等問題。RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問）是一種為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理延遲而產(chǎn)生的技術(shù)。RDMA將用戶應(yīng)用中的數(shù)據(jù)直接傳入服務(wù)器的存儲(chǔ)區(qū)，通過網(wǎng)絡(luò)將數(shù)據(jù)從一個(gè)系統(tǒng)快速傳輸?shù)竭h(yuǎn)程系統(tǒng)的存儲(chǔ)器中，消除了傳輸過程中多次數(shù)據(jù)復(fù)制和文本交換的操作，降低了CPU的負(fù)載。

RDMA技術(shù)優(yōu)勢(shì)

RDMA技術(shù)實(shí)現(xiàn)了在網(wǎng)絡(luò)傳輸過程中兩個(gè)節(jié)點(diǎn)之間數(shù)據(jù)緩沖區(qū)數(shù)據(jù)的直接傳遞，在本節(jié)點(diǎn)可以直接將數(shù)據(jù)通過網(wǎng)絡(luò)傳送到遠(yuǎn)程節(jié)點(diǎn)的內(nèi)存中，繞過操作系統(tǒng)內(nèi)的多次內(nèi)存拷貝，相比于傳統(tǒng)的網(wǎng)絡(luò)傳輸，RDMA無需操作系統(tǒng)和TCP/IP協(xié)議的介入，可以輕易的實(shí)現(xiàn)超低延時(shí)的數(shù)據(jù)處理、超高吞吐量傳輸，不需要遠(yuǎn)程節(jié)點(diǎn)CPU等資源的介入，不必因?yàn)閿?shù)據(jù)的處理和遷移耗費(fèi)過多的資源。

RDMA技術(shù)概述

IB技術(shù)

IB簡(jiǎn)介InfiniBand是一種基于InfiniBand架構(gòu)的RDMA技術(shù)，它提供了一種基于通道的點(diǎn)對(duì)點(diǎn)消息隊(duì)列轉(zhuǎn)發(fā)模型，每個(gè)應(yīng)用都可通過創(chuàng)建的虛擬通道直接獲取本應(yīng)用的數(shù)據(jù)消息，無需其他操作系統(tǒng)及協(xié)議棧的介入。InfiniBand架構(gòu)的應(yīng)用層采用了RDMA技術(shù)，可以提供遠(yuǎn)程節(jié)點(diǎn)間RDMA讀寫訪問，完全卸載CPU工作負(fù)載；網(wǎng)絡(luò)傳輸采用了高帶寬的傳輸；鏈路層設(shè)置特定的重傳機(jī)制保證服務(wù)質(zhì)量，不需要數(shù)據(jù)緩沖。

InfiniBand必須運(yùn)行在InfiniBand網(wǎng)絡(luò)環(huán)境下，必須使用IB交換機(jī)及IB網(wǎng)卡才可實(shí)現(xiàn)。

圖3  InfiniBand架構(gòu)

 IB技術(shù)特點(diǎn)InfiniBand技術(shù)具有以下特點(diǎn)

· 應(yīng)用層采用RDMA技術(shù)，降低了在主機(jī)側(cè)數(shù)據(jù)處理的延遲。

· 消息轉(zhuǎn)發(fā)控制由子網(wǎng)管理器完成，沒有類似以太網(wǎng)復(fù)雜的協(xié)議交互計(jì)算。

· 鏈路層通過重傳機(jī)制保證服務(wù)質(zhì)量，不需要數(shù)據(jù)緩沖，無丟包。

· 具有低延遲、高帶寬、低處理開銷的特點(diǎn)。

RoCE技術(shù)

RoCE簡(jiǎn)介RoCE技術(shù)支持在以太網(wǎng)上承載IB協(xié)議，實(shí)現(xiàn)RDMA over Ethernet。RoCE與InfiniBand技術(shù)有相同的軟件應(yīng)用層及傳輸控制層，僅網(wǎng)絡(luò)層及以太網(wǎng)鏈路層存在差異。

圖4 RoCE架構(gòu)

RoCE協(xié)議分為兩個(gè)版本