數據中心的系統互連架構設計和物理布線互連設計日益成為數據中心的焦點。基于光互連速率和密度的不斷升級展望,人們對數據中心的架構設計和投資成本回報性產生了躊躇和疑慮。數據中心的系統設計橫跨了多個學科,確實很少人能對數個學科的未來都有精確的預計。基于不同存儲量和不同計算量的數據中心理應有不同的設計模型,希望本文對鏈路采用平行和波分復用的架構討論能夠厘清一些思路,帶來更多有益的思考。
數據中心是一個含混的概念。它不僅僅包括計算機系統和其它與之配套的設備(例如通信和存儲系統),還包含冗余的數據通信連接、環境控制設備、監控設備以及各種安全裝置。因此我們在考量數據中心設計的時候必須基于計算能力、存儲能力,互連能力,以及環境控制和監控能力來做對應的設計,這些設計無疑將帶來計算成本、存儲成本,互連成本,以及環境控制和監控的成本。如果我們不清晰地依據當前的技術以及當前的需求,結合未來需求和未來技術展望性做出合理的規劃,數據中心會成為一個巨大燒錢的倉庫。數據中心一旦建成,其是不可逆的。架構設計師必須非常小心!
在數據中心內,普遍建議的光互連方案如下:
基于系統對運算和傳輸速率的不同,系統設備的內連可以采用10G AOC(300米鏈路),4*10G AOC(300米鏈路) 和4*25G AOC(100米鏈路) 以及100G PSM4 技術(500米到2公里)。近年來海量數據中心更引入CWDM4(2公里鏈路)作為減少光纖數量管理的手段。由于不同方案會帶來不同的性能和成本,我們認為:鏈路采用多模光互連技術是最成熟和最合理的方案,按照目前的成本估量,40G 多模鏈路的成本是10G 多模鏈路成本的2.5-3.0倍,而100G 多模鏈路大約是40G 的2.5-3.0倍,其中40G/100G 多模鏈路采用的均是MPO 多模光纖,意味著從40G 到100G 可以實現技術的平滑升級,并不需要觸動現有的網絡布線架構。
人們之前一直擔憂多模VCSEL的技術瓶頸到25GB/b將是極限,從而對多模數據中心的可延伸性產生了顧慮,近而放棄多模數據中心架構直接采用理論上(注意是理論上)可一直擴展升級的單模數據中心架構。可是最近的研究表明,50G VCSEL NRZ 技術并不是問題,在同樣的QSFP28封裝空間內,可以輕松地實現8*25G AOC 光互連。這使得系統架構面向8*25G 和4*50G 根本不是問題。可能人們進一步會擔心400G VCSEL 技術可行性,目前盡管我們沒有結論,但是400G VCSEL 遇到的技術瓶頸和單模400G遇到的技術瓶頸是相同的。某種意義上,是錯覺打亂了人們的眼睛,就已知的知識,200G VCSEL AOC將進一步縮短傳輸距離(估計是50米),但是康寧的OM5光纖可以很好地彌補這一缺陷。問題當然還在于,采用OM5光纖將需要更換現有的布線架構。但是這個問題和其它問題是糾結在一起的,并不適合單項的做結論,它需要就其它技術做權衡取舍。
PSM4技術是對多模100G 數據中心的補充。目前業界低估了PSM4技術的潛在性。而把焦點放在了CWDM4技術上。這或許多少有些誤區。PSM4技術采用的是單模MPO 光纖傳輸,目前的傳輸距離到2KM非常輕松,而不是行業標準的500米,其實PSM4技術應該是10KM 傳輸的規格,只是業內對于它的應用幾乎是不假思索的定義為2KM.這是一個焦點被轉移后錯誤的認知。從一開始,分布式計算和并行傳輸就應該是這個領域的綱領性標準。100G PSM4的成本應該是100G VCSEL 的3倍。,只要人們愿意,未來可能降低到1.5-2倍水平。相對于100G CWDM4技術,PSM4技術使用了4倍光纖數量,光纖的成本可以假設為零,系統設計者考慮最多的是:一,光纖資源的有限性和日后可擴容性, 二,數據機房的布線成本。讓我們細致地討論這些集合不同領域的知識和見解,然后給出一個建設性結論
一、光纖傳輸之所以采用粗波分復用和密集粗波分復用是由于已經布設的光纜資源的有限性,所以設計者考慮用波分復用設備替代單波長設備。在光纖資源并不緊張的情況下,這種空分復用技術本身是增加成本的,因為光纖成本接近于零,如果空間建筑允許,第一次布設的時候應該布設足夠的光纖以便于日后擴容采用。數據中心和骨干城域網不同, 骨干城域網的光纜建設已經完成,不管是之前思慮不周還是沒有了望到更長遠的需求,地底下被埋設的光纜資源都是有限的,因此必須啟用波分復用技術。但是數據中心不同,數據中心屬于第一次建設, 它不需要采用未來還不明確的在哪種速率和帶寬下的波分復用技術。不能為波分復用而去做波分系統,波分復用僅是對現有光纖資源的一個有效利用手段,這個手段需要付出很多成本代價,但是在現在的需求看來基本是沒有必要付出的。波分復用僅是同一種速率下的密度升級,按照現有的模塊與系統設計,它的第一次部署等同于喧賓奪主或者本木倒置,必將阻礙系統的速率和帶寬升級。