數據中心網絡起著承上啟下的作用，將計算和存儲資源連接在一起，并以服務的形式對內部及外部的用戶提供數據訪問能力。雖說網絡建設和運維投入遠比機房基礎建設、服務器設備、存儲設備、應用開發及運維小，但大家最怕它出現性能問題或故障長時間不能恢復，因為網絡一旦不可用，意味著一切服務都將停止。因此，域名注冊，設計運維一張高性能、高可靠的網絡是網絡架構及運維團隊的首要目標。  

結合我在銳捷網絡服務互聯網企業的實踐經驗，分享幾個典型的網絡架構設計，供大家參考。

數據中心10G/40G網絡架構

主要設計理念：

a 核心設備全線速高性能轉發，核心之間不互聯，采用Fabric架構，隔離核心故障，                   

最大程度降低核心故障影響；

b 三層路由組網，通過ECMP提高冗余度，降低故障風險；

c 通過TOR上的服務器接入數量和上聯40G鏈路數量控制單TOR收斂比，通過提高核心設備接口密度擴展單集群服務器規模。

注：千兆網絡已跟不上業務發展，本文不再涉及。

適用網絡

架構設計

架構特性

中小型

（集群規模300-1000臺）

每臺TOR 2*40GE上聯2核心，OSPF組網；

IDC內收斂比6:1，集群帶寬1.5Tbps ；

上聯帶寬根據集群規模靈活配置。

中型

（集群規模1000-10000臺）

?   每臺TOR 4*40GE上聯2核心，OSPF或BGP組網；

?   IDC內收斂比3:1，集群帶寬30Tbps ；

?   上聯帶寬根據集群規模靈活配置。

大型

（集群規模5000-20000臺）

W   每臺TOR 4*40GE上聯4核心，BGP組網；

W   IDC內收斂比3:1，集群帶寬60Tbps；

W   上聯帶寬根據集群規模靈活配置。

超大型

（集群規模20000+臺）

案   單POD集群規模300-1000臺，數據中心集群規模20000+，BGP組網；

案   POD內收斂比6:1或3:1，單POD集群帶寬1.5Tbps；

案   上聯帶寬根據集群規模靈活配置。

數據中心25G/100G網絡架構

與10G/40G網絡一致，主要變化在于：

a 下行鏈路由10G變為25G，提升至2.5倍；

b 上行鏈路每端口由40G變為100G，提升至2.5倍；

c 下一代主流芯片方案實現為48*25GE+8*100GE（Broadcom TD3），上行收斂比提升為1.5:1。

下面僅以大型數據中心為例做組網說明：

適用網絡

架構設計

架構特性

大型

（集群規模5000-10000臺）

CLOS網絡架構

最后，想與大家分享的是今年國內不少互聯網企業考慮使用的新架構設計。

從上述架構設計說明中，不難看出數據中心集群規模和收斂比，主要受限于機框式核心設備的端口密度，而業界核心設備的更新換代都是以數年為單位進行的，大大阻礙了數據中心規模和發展。另外，動輒數百個40GE接口或者100GE接口的核心設備單臺運行功率已達20KW，而國內大部分IDC機房的平均功率只有5KW~6.5KW/機柜，這給機房供電系統的維護管理帶來了極大的挑戰。如何擺脫核心設備端口密度的限制？如何擺脫核心設備對IDC機房供電系統的挑戰？

此時，CLOS架構誕生了。

25G /100G CLOS網絡架構圖

架構特性：   

Leaf、Fabric、Spine交換機選用中低端盒式交換機48*25GE+8*100GE/32*100GE；

每臺Leaf，下聯32個25GE做Server接入，8個100GE用于向上連接的上行鏈路；每個POD 16臺Leaf交換機；

每臺Fabric交換機， 有32個100GE，16個下連16臺Leaf，16個上連至16組Spine；每個POD 8臺Fabric交換機，共32個POD；

每臺Spine交換機，有32個100GE，全部用于下連32個POD Fabric交換機；

每組8臺，共16組Spine交換機；

通過Edge PODs連接外網，單POD集群帶寬12.8Tbps，整數據中心集群帶寬超過400Tbps。

隨著智能時代的來臨，大數據、人工智能等新技術的應用，對數據中心網絡提出了新的挑戰。如何更好地支撐Hadoop、RDMA等技術應用，成為網絡運維團隊關注和思考的問題。高性能、低時延、無損網絡已然成為數據中心網絡設計和運維的主流思路。