自2010年國際上首次提出“數據湖”概念以來,數據湖就被視為大數據的終極挑戰。所謂數據湖,即把所有的數據以原始格式存儲在一個統一的地方,以供后續使用。數據湖的出現,是為了應對城市和企業無法及時處理各種海量數據而先行將數據存儲起來,后續使用的時候隨需取用。“數據湖”被視為打破城市和企業的數據孤島的重要基礎設施,而且由于“數據湖”中存儲了全量全域數據而更能為人工智能所用,從而創造更大的價值,例如用人工智能對一個城市或企業的全量數據進行分析,從而得出超越現有經驗的全新洞察。
近年來,各地都在興建“數據湖”,往往一個數據湖項目就涉及上百畝產業園以及數十億投資。因此,“數據湖”也被視為智慧城市和智慧企業發展的重大投資。簡單理解,數據湖就是要給城市和企業建立一個數據中臺,建立一個打通城市和企業的智慧基礎設施。然而,Gartner曾預測,到2018年將有90%的數據湖將毫無用處,因為這些原始數據,缺乏有效的技術手段去使用它們。換句話說,只有“數據+智能”的智能數據解決方案,才能喚醒數據湖的真正價值。
2019年6月5日,華為在北京發布智能數據解決方案FusionData,支持智能的數據全生命周期管理,讓數據存得下、流得動、算得快、用得好,把數據資源轉變為數據資產。華為Cloud & AI產品與服務總裁侯金龍表示:“不久的將來,可實現一家企業一個數據湖,一座城市一個數據湖,滿足居民的生產與生活、企業的運營和發展、城市政府的管理和服務等各項需求,加速全社會的智能化進程。”
數字化轉型也要不斷升級
眾所周知,世界上90%的數據是在過去兩年內產生的,并且以每兩年翻倍的數據往上遞增,這些數據有結構化、非結構化和半結構化數據。從現在到未來五年,將有500億臺互聯的智能機器,這些互聯智能機器和設備用來分析、收集和采集數據。如何獲得數據、如何有效使用數據并且把數據用以指導業務,這是新的課題。
國家戰略性新興產業專家委員會秘書長杜平在2019數博會的專業論壇上發言認為,數字經濟是數字技術與資本、人才、市場相融合的一種經濟形態,歐洲服務器,當前整個社會經濟發展向網絡化、數字化、智能化轉型,在轉型過程中由于人們的社會經濟活動而源源不斷產生新的數據,這是數字社會與之前工業社會和信息社會中前期最大的不同之處。
對于當前正在進行的數字化轉型,杜平強調轉型必須不斷迭代升級,同時要取得投資回報,特別是長期要有投資回報,否則不可持續。為此,要同時強調成本和產出:成本既包括資金,也包括時間、效率、營商環境;而產出不僅要有資金回報,還要帶來體驗感,也就是數字社的便利性、安全感、獲得感。換句話說,數字經濟時代是大家共享發展成果,香港服務器租用,這與之前的社經經濟模式不同,因此要統籌考慮成本和產出問題。
然而,當前的大部分應用仍為舊應用或傳統應用。政府和企業擁有大量的數據管理員,他們當中的大多數在管理著傳統數據庫,日常管理包括打補丁和升級等,都屬于重復性人工勞動。而政府和企業希望至少能拿出50%的人力進行創新和革新,希望這些人員用更多時間在數據建模、數據生命周期管理,以及前置性措施預測數據漏洞及安全,以保障和提升企業在市場上的聲譽。
因此,不論對于政府還是企業來說,“數據湖”能夠統一容納和管理傳統數據技術以及新興數據技術,把所有的數據管理員集中起來重新分配工作特別是進行創新性工作,而不是像之前那樣不同的數據庫系統都要配備高級數據管理員從事日常管理工作。更重要的是,“數據湖”作為一個企業和一個城市的統一數據基礎設施,可以在統一軟件架構的管理下,不斷升級舊技術的同時容納新技術,最終實現可持續發展的基礎設施。從這個角度來說,“數據湖”是大數據的終極基礎設施。
華為全球產業展望(GIV)報告顯示,全球數據量將從2018年32.5ZB快速增長到2025年的180ZB。但企業生產活動產生的數據中只有不到2%被保存,而其中得到分析利用的不足10%,數據價值沒有得到充分釋放,并且企業普遍存在煙囪式業務系統,導致數據管理、應用效率低。對此,華為IT產品線副總裁、智能數據與存儲領域總裁周躍峰表示,“各行各業在實現數據價值時面臨數據接入難、分析難、消費難等挑戰,亟待更智能的數據解決方案。”