北京2019年8月19日,在科學技術不斷發展的今天,人們通過對地觀測、地表傳感器網絡、遙感技術等手段,獲取了海量的地球科學數據集,這些數據統稱為地球大數據。
2015年,聯合國發布了可持續發展目標議程,以期面向2030年解決貧困、不平等和全球變化等的挑戰。這議程的眾多目標中,地球大數據至少可以為實現其中八個提供不同形式的支持,特別是純凈的水源、低廉的能源、可持續發展的城市、全球變化、水下生命、陸上生命、健康和平等發展目標。
2017年中科院成立了為期五年的“地球大數據科學工程”先導專項,其中大數據云服務平臺是“地球大數據科學工程”先導專項的重要建設任務之一,屬于綜合型基礎設施項目。
構建“大數據云服務平臺”的關鍵在于兩個層面,一是對中科院積累的海量基礎物理數據及其相互關系的建模;二是將對數據使用邏輯實現“服務化”,以支撐各單位實現數據共享和個性化應用孵化。
如何助力“地球大數據科學工程”構建包含資源、環境、生物、生態等多個領域的大數據云服務平臺,將海量“地球大數據”掌握在手中并實現云化?中科院和中科曙光通過“院企合作”的方式,將中科院的科研成果注入曙光 Cloudview 云計算操作系統產品中,實現科研成果的工程化。
依托專家力量,將其對海量數據的獨特使用邏輯框架化,并形成對底層資源支撐要求的量化,站群服務器,曙光以此作為輸入,在原有 Cloudview 云計算操作系統的基礎上,擴充資源調度功能并優化,為地球大數據科學工程提供 IaaS 層資源支撐及資源管理與調度,通過靈活的調度、簡便的運維,讓“大”數據輕松一手掌握,推動并實現地球大數據技術創新、重大科學發現和一站式全方位宏觀決策支持。
系統總體架構圖
建設國際領先的大數據云服務平臺,需不斷提高對資源層高標準的使用要求,如彈性、高性能的計算資源、海量的數據存儲、高并發的數據訪問、簡便的集群運維管理等。針對“地球大數據科學工程”的大數據云系統建設所形成的曙光云計算 Cloudview 操作系統的優勢主要體現為三個方面:
第一,體現在大規模彈性及異構計算,達到更高的計算能力。
基于數百臺計算節點的調度提供計算資源的彈性擴展,滿足大氣、海洋領域科學應用對計算資源不斷變化的需求,不會產生計算資源瓶頸,不同業務系統之間均衡使用,使資源得到充分、合理的使用。利用 GPU 透傳、PCI 設備透傳能力,CPU 獨占特性,為業務應用提供資源獨占能力,避免資源的爭搶、達到更高性能的計算能力,支撐基于 Hadoop 大數據系統及 Spark 等流式數據處理,幫助用戶實現一鍵構建大數據處理環境功能。
第二,支持高并發海量存儲、提供更優的數據治理能力。
中科曙光 Cloudview 云計算操作系統提供海量的存儲管理,提供統一的存儲管理與調度。可同時對接幾十PB級文件存儲系統和對象存儲系統,“文件存儲系統”主要用于存儲來自全國不同科研組織提交的科研數據,提供數據遠程匯交的人機接口和功能,同時提供空間配額、訪問權限控制、數據隔離等功能。“對象存儲系統”主要用于將匯交的、有價值的科研數據以對象格式存儲,便于后期的數據處理和發布共享。數據網絡采用10Gb/40Gb網絡,10Gb網絡用于虛擬機鏡像在鏡像存儲與計算資源池之間的傳輸,“數據內網”采用40Gb高速網絡,用于科研數據在超級計算系統、大數據云系統、數據存儲系統之間的相互流轉。
第三,體現在簡單的運維,實現自動化交付。
整個系統的易用性,體現在上層應用的使用時候的便利性,專家建議對各使用單位的系統使用習慣做認真分類,并提出“強資源編排”的應用模塊化構建理念。曙光 Cloudview 云計算操作系統提供資源編排服務,可以實現從基礎架構到應用的端到端的自動化交付工作。資源編排服務采用完全圖形化 UI 操作,用戶可以通過簡單的圖表拖拽進行可視化編排。資源編排實現了資源及其拓撲關系的自動執行,不僅獨立資源可按配置實現自動化部署,各資源間的拓撲關系也將自動執行,幫助運維管理人員省去大量機械重復的手動配置操作。
通過與客戶緊密合作,中科曙光 Cloudview 云計算操作系統為“地球大數據科學工程”提供了高可靠、高性能、高彈性、易運維的 IaaS 平臺,切實提高了客戶在基礎架構和應用程序構建效率,為系統正常運行及業務創新保駕護航。讓海量復雜的地球大數據,輕松靈活地掌握在手中。
【凡本網注明來源非中國IDC圈的作品,directadmin漢化,均轉載自其它媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責。】