大數(shù)據(jù)工程技術(shù)人員是人社部發(fā)布的13個新職業(yè)之一。據(jù)計算機專業(yè)論壇統(tǒng)計，目前全國大數(shù)據(jù)人才僅為46萬，，未來3-5年內(nèi)，大數(shù)據(jù)人才缺口150萬。各企業(yè)紛紛以高薪聘請大數(shù)據(jù)人才，國內(nèi)大數(shù)據(jù)工程技術(shù)人員平均年薪30-50萬元。
雖然是新職業(yè)，但人們的生活早已與大數(shù)據(jù)工程息息相關(guān)：用手機軟件查詢水電燃?xì)庥昧俊⒕W(wǎng)購、一站式政務(wù)服務(wù)……我們享受到的便捷生活背后總少不了大數(shù)據(jù)工程技術(shù)人員。
建立大數(shù)據(jù)
“讓數(shù)據(jù)多跑路，讓你我少跑腿”
劉巖
今年48歲的劉巖算是IT行業(yè)里年齡比較大的，當(dāng)年從廣州暨南大學(xué)計算機專業(yè)畢業(yè) ，20多年來一直在互聯(lián)網(wǎng)行業(yè)摸爬滾打。從最開始的軟件開發(fā)到現(xiàn)在的大數(shù)據(jù)采集、分析，劉巖說，如果將IT行業(yè)比喻成大海，大數(shù)據(jù)就是大海中最前端的潮頭，大數(shù)據(jù)工程技術(shù)人員就是大海中最前沿的弄潮兒。
“最早期的大數(shù)據(jù)需求是從上世紀(jì)90年代開始的。”劉巖說，當(dāng)時國家推行政務(wù)信息化，要求政府將各類信息登記和存儲。比如，民政部門要把本地的婚姻情況錄入婚姻登記系統(tǒng)，公安部門把本地市民信息錄入公民信息系統(tǒng)。最開始這些系統(tǒng)都是孤立的，只針對內(nèi)部人員使用。隨著信息化不斷發(fā)展，各系統(tǒng)之間信息交互需求增加，各個獨立數(shù)據(jù)系統(tǒng)進(jìn)入海量大數(shù)據(jù)融合階段，政府間的信息互容互通，一直發(fā)展到如今“一個窗口辦齊所有業(yè)務(wù)”的高度融合，真正實現(xiàn)“讓數(shù)據(jù)多跑路，讓百姓少跑腿”的設(shè)計初衷。
現(xiàn)在，劉巖作為哈爾濱國裕數(shù)據(jù)技術(shù)服務(wù)有限公司大數(shù)據(jù)平臺規(guī)劃管理高級工程師，負(fù)責(zé)建設(shè)智慧城市大數(shù)據(jù)資源管理中心項目。“一個智慧城市建設(shè)，包括許多子系統(tǒng)，我們的工作就是將這些子系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)化采集。舉個例子，一個城市包含許多委辦局，有的委辦局信息化做得比較好，那么我們就在大數(shù)據(jù)信息系統(tǒng)中采集、清洗、分析并加以利用、管理和維護(hù)。”劉巖說，所謂“清洗”，就是說并不是所有信息都是規(guī)范的、數(shù)字化的，有時候有的信息只記載某段時間的數(shù)據(jù)，有的信息前后記錄標(biāo)準(zhǔn)不一，這時就需要大數(shù)據(jù)工程技術(shù)人員將這些非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，統(tǒng)一錄入系統(tǒng)，對于那些殘缺不全的數(shù)據(jù)還要想辦法彌補上。
還有的時候，一些單位從沒有進(jìn)行過信息化數(shù)據(jù)處理，許多數(shù)據(jù)都是手工記錄的，甚至根本就沒有，這就需要相關(guān)工作人員查找資料，盡量找回資料。“這個過程其實是最耗費時間的，許多時候我們要一個單位一個單位去溝通，將那些常年放置在文件柜里落滿塵埃的數(shù)據(jù)翻出來，讓這些數(shù)據(jù)發(fā)揮價值。”劉巖說。
如何發(fā)揮數(shù)據(jù)的價值呢？“我們將一個城市的相關(guān)數(shù)據(jù)整理后錄入大數(shù)據(jù)系統(tǒng)，根據(jù)我們設(shè)定的程序，系統(tǒng)會對海量數(shù)據(jù)進(jìn)行再次挖掘和分析，從而得出橫向和縱向的分析數(shù)據(jù)，進(jìn)而對未來進(jìn)行預(yù)測。”比如，某一個城市路口的視頻監(jiān)控，既可以抓拍車輛、行人違章情況，站群服務(wù)器，也可以對車流量、信號燈等情況進(jìn)行監(jiān)控，通過一段時間的數(shù)據(jù)比較和分析，優(yōu)化出最合理的車流導(dǎo)向和信號燈分配，此外還能運用視頻監(jiān)控抓獲違法犯罪人員。
目前，應(yīng)用大數(shù)據(jù)對城市進(jìn)行智慧管理幾乎已遍布全國各大中城市，并正在向中小城鎮(zhèn)滲透中。讓更多人辦事更便捷、輕松，就是大數(shù)據(jù)應(yīng)用的最大成果。2015年，劉巖在大慶建設(shè)智慧城市并建設(shè)了一個專門服務(wù)百姓的“百湖匯”APP軟件，大慶市民用這個軟件查詢水電氣等，實現(xiàn)一站式繳費。
“不久的將來，隨著大數(shù)據(jù)進(jìn)一步發(fā)展，城市的大數(shù)據(jù)系統(tǒng)將更加開放，更加以人為本。”劉巖說，也許到那時，老百姓可以到家門口的派出所辦工商執(zhí)照，甚至不用出門，在家里通過網(wǎng)絡(luò)就可辦理戶口遷移手續(xù)。
各種數(shù)據(jù)被托管到數(shù)據(jù)中心
邵天富
老家在廣州的邵天富來哈爾濱工作剛剛?cè)齻€月，盡管常常思念遠(yuǎn)在萬里之遙的新婚妻子，但當(dāng)邵天富全神貫注于大數(shù)據(jù)運營的時候，似乎把整個世界都拋在了腦后。今年33歲的邵天富正好趕上了中國互聯(lián)網(wǎng)跨越式發(fā)展的黃金期，當(dāng)年他從廣東工業(yè)大學(xué)機電一體化專業(yè)畢業(yè)，就一頭扎入大數(shù)據(jù)管理“藍(lán)海”，如今已成為一個技術(shù)全面、經(jīng)驗豐富的大數(shù)據(jù)工程技術(shù)人員。用他們自己的話說，只要地球不爆炸，大數(shù)據(jù)永遠(yuǎn)不停歇。
每天早上8點半，邵天富準(zhǔn)時出現(xiàn)在位于平房哈南十五路的哈爾濱云谷名氣通數(shù)據(jù)服務(wù)有限公司數(shù)據(jù)中心操控平臺中心，同時聽取夜班技術(shù)人員對各種技術(shù)參數(shù)的監(jiān)控情況匯報。“昨天晚上各項數(shù)據(jù)都在正常范圍內(nèi)，8號機電池近期需要更換。”主管機房動力的李旭說完，隨手把數(shù)據(jù)監(jiān)控報告遞給邵天富。
