從前的人們很難想象,有朝一日我們能夠利用遙感衛星從太空窺探深藏大地的“秘密”。

6月初,大理州劍川縣的劍湖單看像一片月牙,給人一種圓潤的美感。加上被旁筆直的阡陌、錯落的村莊以及綠油油的田野包圍,劍湖又好似一個正在孕育中的“寶寶”。

8月中旬,一片呈螺旋性旋轉的巨大云團以每秒數十米的強風速呈逆時針方向旋轉的同時,又以每小時數十公里的運行速度向我國沿海城市襲來……

這些遙感衛星不僅能生動形象地展示祖國的秀麗河山還能監測臺風。當然,遙感衛星的作用遠不止于此:天氣預報、國防建設、城市規劃、森林火災監測、洪澇災害監測等也是遙感衛星的重要應用領域,國內某衛星單位幾十年如一日的做著這些事情,為我國的經濟建設和社會發展作出了重要貢獻。

國內某衛星單位成立于1991年,承擔著我國對地觀測衛星數據處理、存檔、分發和服務設施建設與運行管理。例如,在礦產勘察工作中,該單位通過遙感圖像數據收集、數據預處理、信息提取、遙感異常圈定和遙感地質編圖等處理步驟,實現礦場資源預測評價。

經過多年發展,該單位的衛星系統已經從過去單一類型的衛星轉變為現在的陸地觀測和高分系列衛星,業務范圍也從過去只專注于國內需求,轉向國內和國際。迄今為止,該單位運行管理著資源系列、環境減災系列、高分系列等十余顆衛星;有將近3000個法人單位,1萬多個注冊用戶。截至目前,該單位分發的數據量已超過1000萬件,已經成為國家陸地、氣象、海洋三大衛星數據中心之一。

海量數據的存儲、檢索、分發是難題

遙感衛星收集的影像數據,需要在地面進行集中處理和分發。2005年,該單位的數據處理系統主要有三個,即:CBERS衛星實驗系統用戶服務分系統、CBERS-02B衛星用戶服務分系統和全國陸地觀測衛星數據分發分系統。海量的數據需要高效的地面數據處理系統。2011年,該單位在資源三號衛星和資源02C衛星地面系統建設時,將上述所有分系統數據進行了整合,建成了統一對外服務的數據分發服務分系統。

以往的影像數據是對歷史真實、客觀的記錄,隨著時間推移會越來越珍貴,需要永久留存,而多顆衛星同時運作,需要存檔的數據就會越來越多。據統計,2015年9月,該單位衛星的在線數據存儲達到了10拍,這些衛星每天還會產生超過10太的數據需要存儲。

當前對地觀測衛星的主要特點表現在高空間分辨率、高光譜分辨率、回訪周期短、影像條帶寬、立體成像能力和多種成像模式等方面,越來越多的不同平臺搭載的觀測傳感器使得人們可以獲得近乎連續高維度數據,這種信息采集的爆炸式增長給分發服務系統帶來了巨大的壓力,該系統逐漸暴露出了效率和服務等各種問題,而且隨著新型載荷不斷發展,對分發服務的服務模式也提出了更多要求。

為了更好地開展對海量數據的大數據分析與挖掘,該單位想在私有云上使用搜索引擎和數據庫等應用。部署的時候,IT團隊發現,這些應用與原有的虛擬化環境并不能很好的兼容,要解決這個問題需要對現有的虛擬化云平臺以及裸機平臺進行統一的資源管理,營造一個隨時、隨需的申請和使用存儲、計算資源的云實施環境。

基于Animbus打造“即申即用”的云環境

為此,該單位早前就采用了九州云Animbus平臺,該平臺基于OpenStack、Ceph、外接EMC商業存儲為其構建了一個內部OpenStack私有云平臺。私有云平臺對現有的網絡交換機、X86服務器、Isilon存儲等硬件資源進行了集成,軟件層面則提供前臺門戶、虛機定制、流程審批、分布式存儲和對象存儲等功能。具體如下圖所示:

私有云平臺的搭建,一方面實現了異構資源統一納管,兼顧傳統網絡和云網絡的無縫對接、平滑過渡和統一管理,幫助該單位減小了云平臺的運維難度;另一方面,該單位已經形成了基于專線、電子政務網和互聯網“三網合一”的不同層次、多類用戶的數據分發體系,該平臺的使用也實現了資源實時推送管理分發,為信息共享提供了數據保障。具體效果如下:

專線:與國土資源部、環境保護部、水利部、住建部、減災委、交通部等國家部委建設了21條專線,實現了數據的自動推送服務;

電子政務網:覆蓋范圍擴展到京內85家部委行業用戶以及京外31個省、自治區、直轄市和新疆建設兵團;

互聯網:所有互聯網連接的用戶都可通過互聯網方便快捷地獲得數據。

擴容升級,讓遙感衛星數據更好地“落地”