為了降低數據中心內部網絡延遲,提高處理效率,RDMA技術(Remote Direct Memory Access,遠程直接內存訪問)的出現為新興業務的高效應用提供了新的機遇。RDMA允許用戶態的應用程序直接讀取和寫入遠程內存,無需CPU介入多次拷貝內存,并可繞過內核直接向網卡寫數據,實現了高吞吐量、超低時延和低CPU開銷的效果。但是RDMA作為新技術,如何更好的與現有以太網絡相結合(RoCE,RDMA over Converged Ethernet,歐洲服務器,基于融合以太網的RDMA),是一項很大的挑戰。歸根結底,就是RDMA技術給數據中心網絡交換體系(RDMA Switch)帶來了全新的變化,為了適應這種變化,有太多的問題亟待解決,包括新協議、新架構、新設備形態、新技術等等。ODCC圍繞RDMA Switch理念,近年來開展了多種研究,數據中心三網合一項目就是基于此產生。
在以往數據中心中,不同類型的應用對數據中心網絡有著不同的要求。對于前端網絡,為了跟DCN外的用戶終端對接,通常采用TCP協議。IP/以太網絡技術成為前端網絡主流技術,成本低、擴展性好。
存儲網絡一直在追求大帶寬高吞吐以充分發揮存儲盤和CPU的效率,上世紀90年代末采用同時期比Ethernet速率更高的FC技術(Fibre Channel,光纖通道)。進入20世紀,隨著更高速率的SSD(Solid-State Drive,固態硬盤)的規模應用,特別是近來高速低時延的NVMe技術的出現,存儲需要更高速更高效的網絡。RDMA技術因其更低時延更高吞吐、Ethernet技術因其遠超FC的更高帶寬更低成本, 這兩個因素使得RDMA和Ethernet技術的結合即RoCE成為存儲網絡技術的新趨勢。存儲業務系統的開源軟件如Ceph的廣泛應用進一步加速了這個趨勢。
計算網絡,典型代表為HPC等高性能業務,低時延是其的極致追求,之前采用InfiniBand專網。但隨著RoCE技術的深入發展,Ethernet在計算網絡中的應用也逐漸普遍。
鑒于以太網是生態最完整、應用最廣泛的網絡技術路線,為了降低數據中心網絡的總擁有成本(TCO,Total Cost of Ownership),前端網絡、存儲網絡和計算網絡三張網絡的技術歸一到以太是不可避免的,這就“數據中心三網合一”。如圖1所示,利用三網合一技術,可以大幅降低數據中心網絡的TCO,并顯著降低組網和運維工作的復雜性。
三網合一:在一張網絡(Eth.)中提供不同業務
在ODCC數據中心三網合一項目中,業界開展了廣泛而深入的討論及技術研究,識別出目前RDMA技術在以太網大規模應用中存在的挑戰與難點。其中針對大規模RDMA應用時的死鎖問題、TCP/RoCE流量混跑問題、參數自動調優問題的研究,得到了業界廣泛的認可和共識。ODCC數據中心三網合一項目組共同研發的技術開展了詳盡的測試,測試結果表明,項目研究所得,能夠有效支撐三網合一場景下的大規模RDMA應用,性能優異。相關研究成果,將以《三網合一技術與應用白皮書》與《三網合一測試規范》的形式在峰會上發布。
RDMA傳輸協議當前業界關注的重點,本項目還對下一代RDMA協議開展了探討。目前RDMA傳輸協議是RoCEv2,這一代RDMA傳輸協議依賴ECN、CNP等技術,歐洲服務器,現在研究中已經發現會有場景出現ECN失效、CNP失效等,這些問題威脅到RoCEv2的根基,下一代RDMA傳輸協議的探索被提上日程。ODCC基于三網合一項目,在業界率先開展了下一代RDMA協議的討論,相關思考也將在白皮書中向業界發布。
更多相關信息披露,詳見2019年ODCC峰會,歡迎各位蒞臨。
項目經理:孫黎陽
華為技術有限公司
中央研究院數據中心 標準產業總監
掃描上方二維碼,報名參加2019ODCC開放數據峰會!