近十年前,隨著技術(shù)的不斷更新迭代,大數(shù)據(jù)逐漸走向成熟,而如今,大數(shù)據(jù)已經(jīng)漸地淡出人們的談資。從2015年開始,大數(shù)據(jù)已經(jīng)在Gartner新興技術(shù)成熟度曲線中消失,Gartner對此的解釋是,大數(shù)據(jù)不再是“新興的”,而是正在慢慢融入我們的生活中。
這一說法,也得到了永洪科技高級副總裁邵文龍的認(rèn)同。他表示,雖然新興技術(shù)成熟度曲線中已經(jīng)沒有了大數(shù)據(jù),但是很多其他技術(shù)都是基于大數(shù)據(jù)的,大數(shù)據(jù)已經(jīng)成為這些技術(shù)的基礎(chǔ)。
永洪科技高級副總裁邵文龍
根據(jù)福布斯的報道,89%的行業(yè)領(lǐng)袖認(rèn)為大數(shù)據(jù)將像互聯(lián)網(wǎng)一樣改變傳統(tǒng)的商業(yè)運(yùn)作模式。的確,隨著新興技術(shù)的不斷演進(jìn),大數(shù)據(jù)逐漸成為了企業(yè)中最重要的資產(chǎn)。如何從數(shù)據(jù)中挖掘出有價值的信息,輔助企業(yè)甚至是直接進(jìn)行決策,成為了眾多企業(yè)的必行之路。
大數(shù)據(jù)已經(jīng)走向成熟?
得益于互聯(lián)網(wǎng)的飛速發(fā)展,企業(yè)中的數(shù)據(jù)越來越多,過去,VPS租用,企業(yè)的關(guān)注點(diǎn)在于大量的多樣的數(shù)據(jù)如何存儲,而如今,更多的企業(yè)則希望從這些數(shù)據(jù)中挖掘價值,為企業(yè)的業(yè)務(wù)發(fā)展做出決策。
大數(shù)據(jù)發(fā)展了很多年后,是否已經(jīng)走向了成熟呢?邵文龍告訴筆者,從企業(yè)的數(shù)據(jù)架構(gòu)方面來看,技術(shù)還在不斷地演進(jìn),還有很多創(chuàng)新的技術(shù)在不斷推出來,比如Spark、Flink等等;如果從企業(yè)應(yīng)用的角度來判斷,大數(shù)據(jù)是已經(jīng)走向成熟了,因為更多的企業(yè)開始行動,將大數(shù)據(jù)作為企業(yè)的基礎(chǔ)設(shè)施。
在當(dāng)前階段,大數(shù)據(jù)的熱點(diǎn)更多集中在大數(shù)據(jù)的應(yīng)用以及分析方面,怎樣從數(shù)據(jù)中挖掘價值,是很多企業(yè)的關(guān)注點(diǎn)。此外,企業(yè)希望服務(wù)提供商可以提供大數(shù)據(jù)一站式的解決方案,從大數(shù)據(jù)的基礎(chǔ)架構(gòu)、數(shù)據(jù)倉庫,到數(shù)據(jù)分析平臺、商業(yè)智能的展現(xiàn)能力,甚至是數(shù)據(jù)挖掘能力、人工智能的能力全部包含,一攬子的解決方案受到了更多企業(yè)的青睞。
數(shù)據(jù)爆炸式增長帶來多方變化
過去數(shù)據(jù)大多都是由業(yè)務(wù)系統(tǒng)所產(chǎn)生,靜靜的存儲在企業(yè)的數(shù)據(jù)庫中,而如今產(chǎn)生數(shù)據(jù)的來源也是多種多樣的,有來自新媒體、社交數(shù)據(jù),也有來自物聯(lián)網(wǎng)等傳感器的數(shù)據(jù),并且這些數(shù)據(jù)的形態(tài)也是多樣的、雜亂的。而這些不同來源的數(shù)據(jù)給企業(yè)的大數(shù)據(jù)處理、分析帶來了更大的挑戰(zhàn)。此外,數(shù)據(jù)的類型,例如視頻、音頻、圖片等不同格式的數(shù)據(jù)也增加了企業(yè)的存儲、清洗、甚至是分析挖掘的難度。
在數(shù)據(jù)爆炸的時代,帶來的變化不僅是數(shù)據(jù)處理分析難度的變化,更多的是用戶以及技術(shù)上的變化。邵文龍表示,大數(shù)據(jù)分析和數(shù)據(jù)挖掘已經(jīng)逐漸變成企業(yè)領(lǐng)導(dǎo)人的共識,他們需要從數(shù)據(jù)中挖掘價值從而指導(dǎo)自己企業(yè)的運(yùn)營以及決策,因此企業(yè)需要利用好歷史數(shù)據(jù)以及外部數(shù)據(jù),從而更好的做出規(guī)劃以及決策。此外,企業(yè)對于大數(shù)據(jù)處理的需求也更為清晰。過去很多用戶只是看到大數(shù)據(jù)很熱就開始做大數(shù)據(jù),但是并不知道用大數(shù)據(jù)來具體做什么事情。而現(xiàn)在這樣的小白用戶越來越少,大部分企業(yè)還都是需求明確的。這說明企業(yè)對于大數(shù)據(jù)是有一定的認(rèn)可度的,大數(shù)據(jù)已經(jīng)成為企業(yè)的必備品。
第二個變化是技術(shù)方面的變化。從Gartner的新興技術(shù)成熟度曲線中可以看到,雖然大數(shù)據(jù)在Gartner的新興技術(shù)成熟度曲線2015年的報告中消失,但是很多新興的技術(shù)背后都是由大數(shù)據(jù)作為支撐,大數(shù)據(jù)已經(jīng)變成其他技術(shù)的基礎(chǔ)。比如,像人工智能,數(shù)據(jù)就是其重要的因素,如果沒有數(shù)據(jù),那么算法模型都只是空殼,并不能產(chǎn)生真正的價值。
雖然,現(xiàn)在像視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)很多,但是企業(yè)中大部分?jǐn)?shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)居多。邵文龍表示,結(jié)構(gòu)化數(shù)據(jù)更加容易挖掘出價值,規(guī)律性和特征比較容易總結(jié),因此價值密度相對較高。
永洪科技的PASO應(yīng)對之法
數(shù)據(jù)來源多樣化、數(shù)據(jù)量級增加、數(shù)據(jù)來源復(fù)雜等多種原因,擾亂了數(shù)據(jù)之間的關(guān)系,增加了用戶對數(shù)據(jù)治理、分析挖掘的難度,同時,對數(shù)據(jù)安全、隱私保護(hù)也帶來了更高的挑戰(zhàn)。
為此,永洪科技提出了PASO(Platform,Application,Service,Operation)平臺,通過技術(shù)手段和非技術(shù)手段兩方面解決這些挑戰(zhàn)問題。技術(shù)方面主要通過Platform和Application的方式,能夠有效的涵蓋用戶所面臨的挑戰(zhàn),比如數(shù)據(jù)清洗、數(shù)據(jù)治理等難題,并且可以通過可視化拖拽這樣簡單易操作的方式實現(xiàn),同時可以通過相關(guān)的血緣分析,找到數(shù)據(jù)的原始存在位置以及對數(shù)據(jù)進(jìn)行過的操作,從而對數(shù)據(jù)了如指掌。