你是否對天氣預報電視報道的背后的運作感到好奇?是誰在管理政府衛星?也許你會思考關于傳感器的一個問題——數據會流向何處?
在荷蘭,這些數據是由KNMI或政府的氣象部門-(Kininklijk Nederlands Meteorologisch Instituut)收集和管理的。KNMI預報天氣,研究氣候變化并監視地震活動,他們的影響力遠遠超出了荷蘭。
2017年,由KNMI制造的TROPOMI隨Sentinel-5 Precursor衛星發射升空。最近,TROPOMI測量并繪制了由于COVID-19導致的12月至3月中國二氧化氮濃度下降的圖表。
但是如何收集這些數據?TROPOMI和其他傳感器任何將數據傳到KNMI?收到后如何處理?
最近,TNW與Saskia Wagenaar和Roy Engelen進行了交談,他們兩個是為KNMI進行數據收集和分發的開發人員。
1、從傳感器到天氣室
云工程師Roy Engelen告訴我們:“KNMI由幾個部門組成。有些部門負責研究工作,有的部門在現場進行實地工作,更換傳感器并進行測試。而氣象學家,他們實際上負責向荷蘭人發出預警。”
如果我們要簡單描繪一下數據如何在KNMI中從A到B,現場傳感器將是起點。Engelen在IT遷移團隊中擔任云工程師,該團隊負責整個信息鏈,從傳感器一直到天氣室。他說:“我的部門是使整條鏈保持運行和信息運行的助手。因此涉及更多IT相關的工作。”
這些傳感器可以完成人類數百年來的工作-觀察天氣。但現在,他們會自動收集溫度,降雨量和氣壓等數據。
Engelen說:“因此,在荷蘭,擁有48個傳感場地,其中陸地上34個,海上14個”。當地還有一些人,他們的花園里有一個小型傳感場地,或者是農民,他們的田里也有傳感器,所有這些數據在KNMI得到收集。”
Engelen猜測:“這些人大多數都是個人志愿者。該國大約有300名志愿者。但是,愿意幫助的志愿者人數有所減少,因為這是需要每日都進行的工作。”Engelen告訴我們,這是KNMI要解決的一個問題,因為當地志愿者非常重要:“這300個額外的數據點對于獲得清晰的畫面確實至關重要,因為預測模型需要高分辨率。”更多數據意味著更準確的天氣預報。
現場傳感器收集到數據后,將通過KNMI的模型運行數據。“所有這些數據輸出都會生成地圖,視頻等。”
Engelen說,“還收集了來自雷達和衛星的原始數據,并將這些數據用作預測模型的輸入,并生成實時地圖。然后將這些地圖發送給氣象室(以及著名的布恩拉達爾)中的氣象學家,氣象學家給出有關天氣的警告和信息。原始數據得到存檔,以便研究氣候變化并建立更好的天氣預報模型的研究人員可以使用。”
該數據一直在收集,理論上是如此。有時,傳感器會在現場掉落。
Engelen繼續說:“例如,使用激光測量鳥群的多云度,或鳥在傳感器上筑巢都可以影響傳感器。而且,由于測量雨水,在很久以前(帶有傳感器)的田地還沒有關閉,所以任何人都可以越過它們。喝醉了的人會在里面排尿,所以突然那里有很多降雨。”但是,香港服務器,Engelen保證:“傳感器將不斷得到改進,類似的事情過去曾發生過。”
2、數據會如何處理?
Saskia Wagenaar是從事KNMI數據平臺(KPD)的軟件工程師,該平臺可通過API訪問所有KNMI的開放數據和許可數據。Wagenaar的團隊使用Engelen建立的云基礎架構。
Wagenaar告訴TNW:“我的責任是真正收集數據并使之可用。“我作為數據分發者的角色的好處在于,不僅KNMI的科學家可以將其用于研究;每個人都有訪問權限。因為我們是政府機構,所以我們必須免費提供開放數據。”
最常訪問此開放數據的人員是學者、政府研究人員,還有商業公司,例如史基浦機場和荷航,他們使用這些數據來根據天氣情況安排飛行航班。
管理如此眾多的開放訪問數據并非沒有挑戰。除了人工和數據存儲的成本外,還要確保以一種有效的方式提供數據:“如何為用戶提供如此龐大的數據量,以便他們可以正確使用它們?這就是我的團隊正在努力的事情。我們從許多不同的領域收集數據,例如雷達測量,風向測量或衛星數據等,我們必須以不同的方式處理所有這些數據。
因此,我們一直在向量身定制的API開發邁進,這些API可訪問這些不同域的數據。我們正在積極地收集用戶的意見,詢問他們如何使用數據。根據他們的使用經驗,我們可以確保API有用。
KNMI的研究不僅僅對荷蘭有重要意義。Wagenaar從事的項目旨在合并歐洲國家的數據,這些數據均以不同的方式收集和提供。Wagenaar說:“這使得在重大事件發生時很難迅速地了解清楚情況。”
3、自然災害與氣候變化