大數據工程技術人員是人社部發布的13個新職業之一。據計算機專業論壇統計,目前全國大數據人才僅為46萬,,未來3-5年內,大數據人才缺口150萬。各企業紛紛以高薪聘請大數據人才,國內大數據工程技術人員平均年薪30-50萬元。
雖然是新職業,但人們的生活早已與大數據工程息息相關:用手機軟件查詢水電燃氣用量、網購、一站式政務服務……我們享受到的便捷生活背后總少不了大數據工程技術人員。
建立大數據
“讓數據多跑路,讓你我少跑腿”
劉巖
今年48歲的劉巖算是IT行業里年齡比較大的,當年從廣州暨南大學計算機專業畢業 ,20多年來一直在互聯網行業摸爬滾打。從最開始的軟件開發到現在的大數據采集、分析,劉巖說,如果將IT行業比喻成大海,大數據就是大海中最前端的潮頭,大數據工程技術人員就是大海中最前沿的弄潮兒。
“最早期的大數據需求是從上世紀90年代開始的。”劉巖說,當時國家推行政務信息化,要求政府將各類信息登記和存儲。比如,民政部門要把本地的婚姻情況錄入婚姻登記系統,公安部門把本地市民信息錄入公民信息系統。最開始這些系統都是孤立的,只針對內部人員使用。隨著信息化不斷發展,各系統之間信息交互需求增加,各個獨立數據系統進入海量大數據融合階段,政府間的信息互容互通,一直發展到如今“一個窗口辦齊所有業務”的高度融合,真正實現“讓數據多跑路,讓百姓少跑腿”的設計初衷。
現在,劉巖作為哈爾濱國裕數據技術服務有限公司大數據平臺規劃管理高級工程師,負責建設智慧城市大數據資源管理中心項目。“一個智慧城市建設,包括許多子系統,我們的工作就是將這些子系統數據進行數據化采集。舉個例子,一個城市包含許多委辦局,有的委辦局信息化做得比較好,那么我們就在大數據信息系統中采集、清洗、分析并加以利用、管理和維護。”劉巖說,所謂“清洗”,就是說并不是所有信息都是規范的、數字化的,有時候有的信息只記載某段時間的數據,有的信息前后記錄標準不一,這時就需要大數據工程技術人員將這些非結構化或半結構化數據處理成結構化數據,統一錄入系統,對于那些殘缺不全的數據還要想辦法彌補上。
還有的時候,一些單位從沒有進行過信息化數據處理,許多數據都是手工記錄的,甚至根本就沒有,這就需要相關工作人員查找資料,盡量找回資料。“這個過程其實是最耗費時間的,許多時候我們要一個單位一個單位去溝通,將那些常年放置在文件柜里落滿塵埃的數據翻出來,讓這些數據發揮價值。”劉巖說。
如何發揮數據的價值呢?“我們將一個城市的相關數據整理后錄入大數據系統,根據我們設定的程序,系統會對海量數據進行再次挖掘和分析,從而得出橫向和縱向的分析數據,進而對未來進行預測。”比如,某一個城市路口的視頻監控,既可以抓拍車輛、行人違章情況,站群服務器,也可以對車流量、信號燈等情況進行監控,通過一段時間的數據比較和分析,優化出最合理的車流導向和信號燈分配,此外還能運用視頻監控抓獲違法犯罪人員。
目前,應用大數據對城市進行智慧管理幾乎已遍布全國各大中城市,并正在向中小城鎮滲透中。讓更多人辦事更便捷、輕松,就是大數據應用的最大成果。2015年,劉巖在大慶建設智慧城市并建設了一個專門服務百姓的“百湖匯”APP軟件,大慶市民用這個軟件查詢水電氣等,實現一站式繳費。
“不久的將來,隨著大數據進一步發展,城市的大數據系統將更加開放,更加以人為本。”劉巖說,也許到那時,老百姓可以到家門口的派出所辦工商執照,甚至不用出門,在家里通過網絡就可辦理戶口遷移手續。
管理大數據
各種數據被托管到數據中心
邵天富
老家在廣州的邵天富來哈爾濱工作剛剛三個月,盡管常常思念遠在萬里之遙的新婚妻子,但當邵天富全神貫注于大數據運營的時候,似乎把整個世界都拋在了腦后。今年33歲的邵天富正好趕上了中國互聯網跨越式發展的黃金期,當年他從廣東工業大學機電一體化專業畢業,就一頭扎入大數據管理“藍海”,如今已成為一個技術全面、經驗豐富的大數據工程技術人員。用他們自己的話說,只要地球不爆炸,大數據永遠不停歇。
每天早上8點半,邵天富準時出現在位于平房哈南十五路的哈爾濱云谷名氣通數據服務有限公司數據中心操控平臺中心,同時聽取夜班技術人員對各種技術參數的監控情況匯報。“昨天晚上各項數據都在正常范圍內,8號機電池近期需要更換。”主管機房動力的李旭說完,隨手把數據監控報告遞給邵天富。