大數(shù)據(jù)是從各種渠道收集的大量數(shù)字數(shù)據(jù)的總稱,由于它數(shù)量巨大、未經(jīng)處理、非結(jié)構(gòu)化,無法通過目前主流的軟件工具在合理時(shí)間進(jìn)行采集、存儲和處理。據(jù)IBM統(tǒng)計(jì),全球近90%的數(shù)據(jù)是在過去的2年中生成的,每天增加2.5 EB(1 EB=1 024 PB)數(shù)據(jù),其中,約90%的數(shù)據(jù)是非結(jié)構(gòu)化的。來自網(wǎng)絡(luò)和云平臺的大數(shù)據(jù)為價(jià)值創(chuàng)造和商業(yè)智能提供了新的機(jī)會(huì),可以為任何組織提供決策支持。盡管如此,大數(shù)據(jù)也意味著新的挑戰(zhàn),涉及復(fù)雜性、安全性和隱私風(fēng)險(xiǎn)以及對新技術(shù)和技能的要求。雖然商業(yè)企業(yè)在大數(shù)據(jù)應(yīng)用和技術(shù)開發(fā)領(lǐng)域處于領(lǐng)先地位,但是政府部門也已開始利用來自網(wǎng)絡(luò)、生物和傳感器、視頻等多種渠道的快速增長的動(dòng)態(tài)數(shù)據(jù),以獲得洞察力和進(jìn)行及時(shí)決策。面對大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn),各國政府都想在這個(gè)領(lǐng)域占得先機(jī),雖然實(shí)施方案有所差異,但在決策理念上卻幾乎一致,即在宏觀層面部署符合本國國情的大數(shù)據(jù)戰(zhàn)略,在中觀層面設(shè)計(jì)大數(shù)據(jù)治理的體制機(jī)制,在微觀層面考慮大數(shù)據(jù)管理的應(yīng)對策略、程序和行動(dòng)。
2009年,美國政府上線了data.gov,這是全球第一個(gè)開放政府數(shù)據(jù)項(xiàng)目,它是一個(gè)數(shù)據(jù)倉庫,目前它擁有近500萬個(gè)數(shù)據(jù)集,涵蓋交通、經(jīng)濟(jì)、醫(yī)療、教育和公共服務(wù)以及多種應(yīng)用領(lǐng)域的數(shù)據(jù)。2012年,美國政府宣布了“大數(shù)據(jù)研究與開發(fā)計(jì)劃(big data research and development initiative)”,投資2億美元,主要目標(biāo)是發(fā)展最先進(jìn)的核心大數(shù)據(jù)技術(shù),加快科學(xué)和工程學(xué)的發(fā)現(xiàn)速度,加強(qiáng)國家安全,轉(zhuǎn)變教學(xué)方式,擴(kuò)大開發(fā)和使用大數(shù)據(jù)技術(shù)。2012年,美國國家科學(xué)基金會(huì)(National Science Foundation,NSF)和美國國立衛(wèi)生研究院(National Institutes of Health,NIH)聯(lián)合啟動(dòng)了“發(fā)展大數(shù)據(jù)科學(xué)與工程核心技術(shù)(core techniques and technologies for advancing big data science & engineering)”項(xiàng)目,旨在發(fā)展核心科學(xué)技術(shù)手段,以提取、管理、分析、可視化來自大量、多樣、分布式、異構(gòu)數(shù)據(jù)集中的有用信息。2014年,NIH已在亞馬遜云服務(wù)(AWS)平臺上累積了數(shù)百TB的人類基因數(shù)據(jù),研究人員無需開發(fā)自身的超級計(jì)算功能即可訪問和分析其中的大量基因數(shù)據(jù)。2010 年,歐盟啟動(dòng)“歐洲數(shù)字議程(digital agenda for Europe)”戰(zhàn)略,以解決如何通過快速和超快速的互操作互聯(lián)網(wǎng)應(yīng)用程序在單一數(shù)字市場為歐盟公民帶來可持續(xù)的經(jīng)濟(jì)和社會(huì)利益的問題。2012年,歐盟委員會(huì)在“歐洲數(shù)字議程以及2012挑戰(zhàn)(digital agenda for Europe and challenges for 2012)”計(jì)劃中詳細(xì)介紹了大數(shù)據(jù)戰(zhàn)略,為確保歐盟成員國之間的網(wǎng)絡(luò)安全和數(shù)據(jù)互聯(lián)安全,該戰(zhàn)略強(qiáng)調(diào)了歐盟成員國之間公共數(shù)據(jù)的安全性以及包括政府等在內(nèi)的公共機(jī)構(gòu)管理下的大數(shù)據(jù)的價(jià)值潛力,并明確該戰(zhàn)略是歐盟數(shù)字化議程的一部分。歐盟20個(gè)成員國與IBM合作發(fā)起了一項(xiàng)名為穹頂(DOME)的大數(shù)據(jù)項(xiàng)目,該項(xiàng)目由荷蘭射電天文學(xué)研究所(ASTRON)和IBM合作提供Exa超級計(jì)算機(jī)技術(shù),旨在解決有關(guān)可觀測宇宙的一系列科學(xué)問題,每天能夠處理從平方公里射電陣(square kilometre array,SKA)射電望遠(yuǎn)鏡產(chǎn)生的超過1 EB的數(shù)據(jù)。英國是歐洲較早實(shí)施大數(shù)據(jù)計(jì)劃的國家之一,于2004年成立了英國地平線掃描中心(Horizon Scanning Center, HSC),以提高政府應(yīng)對跨部門和多學(xué)科挑戰(zhàn)的能力。英國政府于2009年創(chuàng)建了開放政府數(shù)據(jù)網(wǎng)站data.gov.uk,為公共部門的數(shù)據(jù)利用和數(shù)據(jù)共享提供一站式數(shù)據(jù)服務(wù)。韓國于2011年發(fā)布的“大數(shù)據(jù)計(jì)劃(big data initiative)”旨在通過大數(shù)據(jù)促進(jìn)知識融合和行政大數(shù)據(jù)分析。2005年到2011年,日本教育、文化、體育、科學(xué)和技術(shù)部(MEXT)與大學(xué)以及其他研究機(jī)構(gòu)合作,啟動(dòng)了“信息爆炸時(shí)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施(cyber infrastructure for the information-explosion era,Infoplosion)”項(xiàng)目;MEXT與日本國家科學(xué)基金會(huì)合作,加強(qiáng)研究并利用大數(shù)據(jù)技術(shù)預(yù)防、緩解和管理自然災(zāi)害;日本內(nèi)政和通信部下屬的信息通信委員會(huì)和信息通信技術(shù)(information communication and technology,ICT)戰(zhàn)略委員會(huì)將“大數(shù)據(jù)應(yīng)用”作為日本2020年的關(guān)鍵任務(wù)。
在世界各國紛紛借助大數(shù)據(jù)技術(shù)發(fā)展提升國家治理能力和戰(zhàn)略能力的同時(shí),我國對大數(shù)據(jù)的認(rèn)識也不斷加強(qiáng)。2006年我國發(fā)布了《國家電子政務(wù)總體框架》,明確要建設(shè)國家電子政務(wù)網(wǎng)絡(luò)、政府信息資源目錄體系與交換體系(government information resource catalog system and interchange system,GIRCSIS)和信息安全基礎(chǔ)設(shè)施。2009年至今,已經(jīng)建起全國性的政府信息資源目錄體系與交換體系基礎(chǔ)設(shè)施。2015年中華人民共和國國務(wù)院通過了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,指出大數(shù)據(jù)在日常生活中發(fā)揮著越來越重要的作用。在中國共產(chǎn)黨第十八屆中央委員會(huì)第五次全體會(huì)議上,與大數(shù)據(jù)相關(guān)的概念被反復(fù)提及,“實(shí)施國家大數(shù)據(jù)戰(zhàn)略,推進(jìn)數(shù)據(jù)資源開放共享”的建議被正式提出。李國杰認(rèn)為大數(shù)據(jù)可能是中國信息產(chǎn)業(yè)從跟蹤走向引領(lǐng)的突破口。長期以來,我國政府數(shù)據(jù)僅被視為管理類項(xiàng)目的下屬內(nèi)容,在數(shù)據(jù)管理方面暫未建立政府機(jī)構(gòu)體系下符合關(guān)聯(lián)部門合作實(shí)情的治理體系。