企業(yè)致力于收集和存儲大量數(shù)據(jù),但通常只分析其中的一小部分。他們發(fā)現(xiàn)數(shù)據(jù)是新的貨幣,因為數(shù)據(jù)中隱藏著很多價值。他們正在利用數(shù)據(jù)科學和大數(shù)據(jù)分析工具從其“數(shù)據(jù)寶庫”中提取價值。這有助于他們進行數(shù)字化轉型。一些組織在這方面取得了巨大的成功,并不斷創(chuàng)新、獲得市場份額、增加價值(例如Amazon、谷歌、Facebook等公司),而其他公司也在努力效仿。
麥肯錫全球研究院于2011年5月發(fā)表了一篇開創(chuàng)性論文,名為“大數(shù)據(jù):創(chuàng)新,競爭和生產(chǎn)力的下一個前沿”,使得大數(shù)據(jù)和分析開始引起人們的關注。根據(jù)谷歌公司的趨勢分析(它提高了人們對關鍵詞的搜索興趣),大數(shù)據(jù)和分析熱潮在2016年6月達到了頂峰。而云計算一直持續(xù)受到人們的高度關注,因為越來越多的企業(yè)繼續(xù)實施云計算技術,以提高業(yè)務靈活性、運營彈性、改進性能,以及更高的效率。
數(shù)字化轉型需要在組織層面上發(fā)揮作用,并將成為一種永久的運營方式。
人們可能會想知道,在大數(shù)據(jù)和分析達到發(fā)展頂峰之后將會變成什么樣子。只要所公布的客戶調(diào)查、供應商利益、分析師報告、收入來源等資料具有價值,那么企業(yè)都將采用大數(shù)據(jù)和分析來獲取。調(diào)研機構Gartner公司2016年進行的一項調(diào)查報告表明,在過去五年中,企業(yè)對大數(shù)據(jù)和分析的投資一直在不斷增長,但對其未來投資的興趣似乎有所下降。這可能是由于這些投資獲得實際收益的一種停頓。而Gartner公司的另一份調(diào)查報告顯示,只有大約12%的大數(shù)據(jù)項目取得了可衡量的成果。然而,社交媒體、物聯(lián)網(wǎng)(IoT)、智能手機、移動設備、游戲裝備、可穿戴設備、傳感器、無人機、遠程監(jiān)控器、精密醫(yī)療、精準農(nóng)業(yè)、智能城市、智能建筑、自動駕駛汽車、遠程控制車輛等技術將產(chǎn)生大量需要收集、匯總和分析的數(shù)據(jù),以做出有用且有價值的決策。
而使用傳統(tǒng)方法和系統(tǒng)來人工分析數(shù)據(jù)是不可能的。來自大數(shù)據(jù)和分析的潛在價值每年達到數(shù)十億美元。這被認為是一個保守的估計。因為麥肯錫公司2011年進行的調(diào)查報告僅僅占據(jù)了大數(shù)據(jù)潛在價值的一小部分。只有基于位置的數(shù)據(jù)的采用率和價值捕獲率高達50%-60%,其次是美國零售業(yè),達到30%-40%,制造業(yè)占20%-30%,美國醫(yī)療保健行業(yè)為10%-20%,歐盟公共部門為10%-20%.因此,大數(shù)據(jù)和分析的興趣和投資在幾乎所有行業(yè)都會增加,云主機租用,以捕捉大數(shù)據(jù)中隱藏的價值。預計在未來幾年中企業(yè)對云計算的大數(shù)據(jù)會持續(xù)產(chǎn)生興趣。
數(shù)據(jù)安全
隨著越來越多的數(shù)據(jù)被收集、匯總、分析,并用于做出影響人們生活的決策,數(shù)據(jù)安全性成為人們最為關切的問題。數(shù)據(jù)治理需要處理從不同來源收集的數(shù)據(jù)高峰以及管理這些數(shù)據(jù)元素所涉及的風險的中心階段。美國聯(lián)邦、州、市和地方政府機構以及其他非營利性公共服務組織需要符合嚴格的保密性、完整性和可用性(CIA)規(guī)則,并且還要提供良好的治理、滿足合規(guī)要求和管理風險(GCR)。
人們一個常見的誤解是,組織需要從不同來源收集的大量結構化和非結構化數(shù)據(jù),包括外部來源(需要驗證和風險評估)來開始分析。企業(yè)不需要大量數(shù)據(jù)來啟動分析項目。可以從已有的“黃金標準數(shù)據(jù)”開始,并考慮單獨使用這些數(shù)據(jù)或將其與其他內(nèi)部數(shù)據(jù)集結合使用,以解決業(yè)務問題作為向決策者購買的概念證明的可能性。企業(yè)可以嘗試和分析以前沒有查看的不同變量,以確定相關性、因果關系和預測因素,謹慎發(fā)現(xiàn),并避免重合。這是行業(yè)領域知識和專業(yè)知識發(fā)揮作用的地方。利用可用且經(jīng)濟實惠的計算能力、存儲和網(wǎng)絡容量,企業(yè)可以輕松地分析更多數(shù)據(jù),以查看隱藏在數(shù)據(jù)中的模式和概率。基于業(yè)務需求,分析可用于描述性、診斷性、預測性、規(guī)定性的目的。物聯(lián)網(wǎng)、傳感器、操作技術、設備維護、精密醫(yī)療、電網(wǎng)、航運、物流、執(zhí)法和精準農(nóng)業(yè)正在越來越多地利用上述不同類型的分析來處理一個或多個業(yè)務問題,或根據(jù)需要來提供解決方案。
大數(shù)據(jù)的需求
大數(shù)據(jù)對不同的人意味著不同的事物。不同的IT分析師、商業(yè)領袖、顧問、學術研究人員、標準組織已經(jīng)根據(jù)他們的觀點定義了大數(shù)據(jù),其中包括數(shù)量、速度、品種、準確性、復雜性等因素。雖然在大數(shù)據(jù)方面沒有明確的共識,他們現(xiàn)有的能力在人員、過程和技術方面的處理能力太大了。就大數(shù)據(jù)和分析而言,人員是最難的部分。存在組織慣性、缺乏決策者的支持,以及難以找到正確理解分析的數(shù)據(jù)和業(yè)務領域的數(shù)據(jù)科學家等問題。同樣,大數(shù)據(jù)分析師也很缺乏。世界各地的許多高校或認證機構都在提供數(shù)據(jù)科學和分析方面的新課程,以滿足日益增長的需求。