從前的人們很難想象,有朝一日我們能夠利用遙感衛(wèi)星從太空窺探深藏大地的“秘密”。
6月初,大理州劍川縣的劍湖單看像一片月牙,給人一種圓潤的美感。加上被旁筆直的阡陌、錯落的村莊以及綠油油的田野包圍,劍湖又好似一個正在孕育中的“寶寶”。
8月中旬,一片呈螺旋性旋轉的巨大云團以每秒數十米的強風速呈逆時針方向旋轉的同時,又以每小時數十公里的運行速度向我國沿海城市襲來……
這些遙感衛(wèi)星不僅能生動形象地展示祖國的秀麗河山還能監(jiān)測臺風。當然,遙感衛(wèi)星的作用遠不止于此:天氣預報、國防建設、城市規(guī)劃、森林火災監(jiān)測、洪澇災害監(jiān)測等也是遙感衛(wèi)星的重要應用領域,國內某衛(wèi)星單位幾十年如一日的做著這些事情,為我國的經濟建設和社會發(fā)展作出了重要貢獻。
國內某衛(wèi)星單位成立于1991年,承擔著我國對地觀測衛(wèi)星數據處理、存檔、分發(fā)和服務設施建設與運行管理。例如,在礦產勘察工作中,該單位通過遙感圖像數據收集、數據預處理、信息提取、遙感異常圈定和遙感地質編圖等處理步驟,實現礦場資源預測評價。
經過多年發(fā)展,該單位的衛(wèi)星系統(tǒng)已經從過去單一類型的衛(wèi)星轉變?yōu)楝F在的陸地觀測和高分系列衛(wèi)星,業(yè)務范圍也從過去只專注于國內需求,轉向國內和國際。迄今為止,該單位運行管理著資源系列、環(huán)境減災系列、高分系列等十余顆衛(wèi)星;有將近3000個法人單位,1萬多個注冊用戶。截至目前,該單位分發(fā)的數據量已超過1000萬件,已經成為國家陸地、氣象、海洋三大衛(wèi)星數據中心之一。
海量數據的存儲、檢索、分發(fā)是難題
遙感衛(wèi)星收集的影像數據,需要在地面進行集中處理和分發(fā)。2005年,該單位的數據處理系統(tǒng)主要有三個,即:CBERS衛(wèi)星實驗系統(tǒng)用戶服務分系統(tǒng)、CBERS-02B衛(wèi)星用戶服務分系統(tǒng)和全國陸地觀測衛(wèi)星數據分發(fā)分系統(tǒng)。海量的數據需要高效的地面數據處理系統(tǒng)。2011年,該單位在資源三號衛(wèi)星和資源02C衛(wèi)星地面系統(tǒng)建設時,將上述所有分系統(tǒng)數據進行了整合,建成了統(tǒng)一對外服務的數據分發(fā)服務分系統(tǒng)。
以往的影像數據是對歷史真實、客觀的記錄,隨著時間推移會越來越珍貴,需要永久留存,而多顆衛(wèi)星同時運作,需要存檔的數據就會越來越多。據統(tǒng)計,2015年9月,該單位衛(wèi)星的在線數據存儲達到了10拍,這些衛(wèi)星每天還會產生超過10太的數據需要存儲。
當前對地觀測衛(wèi)星的主要特點表現在高空間分辨率、高光譜分辨率、回訪周期短、影像條帶寬、立體成像能力和多種成像模式等方面,越來越多的不同平臺搭載的觀測傳感器使得人們可以獲得近乎連續(xù)高維度數據,這種信息采集的爆炸式增長給分發(fā)服務系統(tǒng)帶來了巨大的壓力,該系統(tǒng)逐漸暴露出了效率和服務等各種問題,而且隨著新型載荷不斷發(fā)展,對分發(fā)服務的服務模式也提出了更多要求。
為了更好地開展對海量數據的大數據分析與挖掘,該單位想在私有云上使用搜索引擎和數據庫等應用。部署的時候,IT團隊發(fā)現,這些應用與原有的虛擬化環(huán)境并不能很好的兼容,要解決這個問題需要對現有的虛擬化云平臺以及裸機平臺進行統(tǒng)一的資源管理,營造一個隨時、隨需的申請和使用存儲、計算資源的云實施環(huán)境。
基于Animbus打造“即申即用”的云環(huán)境
為此,該單位早前就采用了九州云Animbus平臺,該平臺基于OpenStack、Ceph、外接EMC商業(yè)存儲為其構建了一個內部OpenStack私有云平臺。私有云平臺對現有的網絡交換機、X86服務器、Isilon存儲等硬件資源進行了集成,軟件層面則提供前臺門戶、虛機定制、流程審批、分布式存儲和對象存儲等功能。具體如下圖所示:
私有云平臺的搭建,一方面實現了異構資源統(tǒng)一納管,兼顧傳統(tǒng)網絡和云網絡的無縫對接、平滑過渡和統(tǒng)一管理,幫助該單位減小了云平臺的運維難度;另一方面,該單位已經形成了基于專線、電子政務網和互聯網“三網合一”的不同層次、多類用戶的數據分發(fā)體系,該平臺的使用也實現了資源實時推送管理分發(fā),為信息共享提供了數據保障。具體效果如下:
專線:與國土資源部、環(huán)境保護部、水利部、住建部、減災委、交通部等國家部委建設了21條專線,實現了數據的自動推送服務;
電子政務網:覆蓋范圍擴展到京內85家部委行業(yè)用戶以及京外31個省、自治區(qū)、直轄市和新疆建設兵團;
互聯網:所有互聯網連接的用戶都可通過互聯網方便快捷地獲得數據。
擴容升級,讓遙感衛(wèi)星數據更好地“落地”
