新的數據中心架構提出了新的數據挑戰:數據采集將如何驅動從邊緣到核心的數據中心架構的發展。
數據顯然不再是以往的樣子。作為數字化轉型的一部分,各種組織正在尋找數據的新用途。從飛機引擎的數據到雜貨店的消費數據,每個行業都有大量的例子,數據成為企業競爭優勢的關鍵所在。人們將這些數據稱之為新數據,這與人們最熟悉的財務和ERP數據截然不同。那些原有的數據大部分是交易性的,而且是從內部資源中捕獲的,而新數據推動了客戶機/服務器的革命。
新的數據既是交易型的,也是非結構化的,公開可用,以及私下收集的,其價值來源于對其進行匯總和分析的能力。粗略地說,人們可以將這些新數據分為兩類:大數據——用于批量分析的大量聚合數據集,快速數據——從許多來源收集的用于推動立即決策的數據。大數據和快速數據模式正在推動數據中心的全新架構的發展。
以下介紹數據中心新架構所提出的五個主要的數據挑戰:
(1) 數據捕獲正在推動數據中心架構從邊緣到核心的發展:
從源頭獲取新的數據。這些數據來自海洋,來自石油和天然氣勘探,也可能來自于衛星軌道、天氣應用、電話、圖片、視頻和推特或電影的場景中。從源頭收集的數據量將比人們目前所知道的高出幾個數量級。
(2) 數據規模正在推動數據中心的自動化發展:
大型云提供商的規模已經十分龐大,他們必須在自動化和智能化方面投入大量資金來管理基礎設施。任何人工管理在其運營規模上成本高昂。
(3) 移動數據正在改變全球網絡:
如果數據無處不在,那么必須移動數據才能進行匯總和分析。當人們認為并且希望網絡在40到100 Gbps的速度可以滿足互聯網帶寬要求時,數據移動的需求卻可能會增加100倍到1000倍。
(4) 數據價值是革命性存儲:
毫無疑問,數據對組織來說越來越有價值,數據在較長時間內的實用性隨著機器學習和基于人工智能(AI)的分析而日益增長。這意味著更多的數據需要存儲更長的時間,并且數據必須是可以整體處理的,以便有效分析。
(5) 數據分析是未來計算密集型體系結構的驅動因素:
通過分析的性質,特別是機器學習,組織必須保留更多的數據,以便將其聚合到大數據存儲庫中。當應用于多個更大的數據源時,這些類型的分析提供了更好的答案。而分析和機器學習是一種計算密集型操作,因此大數據集上的分析驅動大量的高速處理。與此同時,分析的計算密集性促使組織推出從內存數據庫到100 PB級別的對象存儲多種新方式來存儲和訪問數據。
新的數據在源頭被采集。從源頭收集的數據量將比人們目前所熟悉的高出幾個數量級。例如,一輛自動駕駛汽車每天將產生高達4TB的數據。而全球的汽車數量數以億計,人們在未來必須應對這種新的數據沖擊。
很明顯,人們不能從源頭采集所有的數據,并嘗試通過當今的網絡將其傳輸到集中的位置進行處理和存儲。這推動了數據中心全新模式的發展,站群服務器,不同的環境以不同類型的數據為特征,美國服務器租用,這種新的“邊緣計算”環境被優化,以便在傳輸到一個獨立的核心數據中心環境之前,對大量數據進行捕獲、存儲,以及部分分析。
新的邊緣計算環境將推動計算基礎架構各個方面的根本性變革:從CPU到GPU甚至MPU(微處理單元),從低功耗的小型閃存存儲到物聯網(IoT)網絡和協議,不需要寶貴的IP地址。
以下來看不同的數據采集例子。在生物信息學領域,數據在源頭上得到爆炸式增長。在X光檢查乳腺癌的情況下,拍攝這些圖像的系統正在從二維圖像轉變成三維圖像。二維圖像需要大約20MB的容量來存儲,而三維圖像則需要多達3GB的存儲容量,這意味著存儲這些圖像所需的容量增加了150倍。不幸的是,大多數存儲二維圖像的數字存儲系統根本無法經濟有效地存儲三維圖像。以往的存儲系統被大數據庫取代才能使數據蓬勃發展。
另外,組織希望對這些圖像執行的處理類型是基于機器學習的,并且比以前任何類型的圖像處理計算強大得多。最重要的是,為了進行機器學習,研究人員必須匯集大量的圖像進行處理才能有效。處理這些圖像意味著要跨組織來移動或共享圖像,這些圖像需要從源頭獲取數據,保存在可訪問的表單中(不是磁帶上),聚合成大型圖像庫,然后用于大規模的機器學習分析。
圖像可能以原始形式存儲,但元數據通常在源頭添加。另外,可以在源頭完成一些處理以實現“信噪比”的最大化。可以支持這些圖像的最終架構的特點是:(1)在源頭存儲數據。(2)將數據復制到共享存儲庫(通常在公共云中)。(3)從共享的存儲庫處理資源以分析和處理數據。(4)采用網絡連接以便結果可以返回給研究人員。這個新的工作流程正在推動包含多個存儲位置的數據架構發展,并根據需要移動數據并在多個位置進行處理。