大數(shù)據(jù)的話題不是當(dāng)下最熱的,但大數(shù)據(jù)的落地應(yīng)用仍處于上升期,大數(shù)據(jù)的原理并不復(fù)雜,但具體到應(yīng)用和實(shí)現(xiàn)方面其實(shí)有很大差別,在全球以及中國市場都有許多大數(shù)據(jù)服務(wù)商,這其中,Splunk在一些方面的表現(xiàn)可圈可點(diǎn)。
Splunk中國區(qū)總經(jīng)理嚴(yán)立忠
8月21日,Splunk中國區(qū)總經(jīng)理嚴(yán)立忠介紹了Splunk在中國區(qū)的一些新的進(jìn)展,以及Splunk在產(chǎn)品,用戶實(shí)踐方面的新內(nèi)容,在采訪中,嚴(yán)立忠的一句“真正的大數(shù)據(jù)不淘汰任何數(shù)據(jù)”令筆者印象深刻。
Splunk是一家來自舊金山的大數(shù)據(jù)公司,在中國市場的發(fā)展正處于上升期。據(jù)了解,近半年來,Splunk的團(tuán)隊(duì)規(guī)模增長了50%,業(yè)務(wù)規(guī)模在快速增長當(dāng)中,在外來企業(yè)紛紛水土不服的大環(huán)境下,Splunk的表現(xiàn)究其根本還是其獨(dú)特的產(chǎn)品競爭優(yōu)勢。
Splunk成立于2003年,2009年實(shí)現(xiàn)盈利,2012年上市,是不折不扣的大數(shù)據(jù)行業(yè)的先行者。Splunk最核心的能力是做機(jī)器數(shù)據(jù)(Machine data)分析,最典型的機(jī)器數(shù)據(jù)就是日志數(shù)據(jù),Splunk非常擅長做日志分析,圍繞日志分析這件事兒,Splunk涉及的領(lǐng)域還涵蓋AIOPS,(SIEM)安全,應(yīng)用程序管理,人工智能等。
值得注意的一點(diǎn)是,Splunk將所有的功能統(tǒng)一到了一個(gè)平臺(tái)上,降低了部署的復(fù)雜度。
SIEM魔力象限中的Splunk位于領(lǐng)導(dǎo)者象限的領(lǐng)先位置
Splunk能收集來自各個(gè)渠道的機(jī)器數(shù)據(jù),對數(shù)據(jù)做監(jiān)控,做查詢和分析,支持的數(shù)據(jù)來源非常多,能查詢的數(shù)據(jù)量非常大,而且性能非常好,這是架構(gòu)上的特點(diǎn)。據(jù)介紹,Splunk對大規(guī)模數(shù)據(jù)的搜索性能表現(xiàn)優(yōu)勢非常明顯,這使得Splunk對數(shù)據(jù)做全量分析成為可能。
在大數(shù)據(jù)特性方面,Splunk采取的是讀時(shí)建模,不預(yù)先構(gòu)建模型,不用人為去除不相關(guān)數(shù)據(jù),保留完整的原有數(shù)據(jù),性能能支撐Splunk對全量數(shù)據(jù)進(jìn)行分析,因?yàn)橛袝r(shí)候認(rèn)為判斷剔除的數(shù)據(jù)可能是有用的數(shù)據(jù)。嚴(yán)立忠總結(jié)道:“真正的大數(shù)據(jù)不淘汰任何數(shù)據(jù)。”在他看來,這應(yīng)該是Splunk最核心的價(jià)值所在了。
與一些采用開源方案的友商不同,Splunk是完全自研的,如今常見的ELK大約是在2012年以后才開始興起的,ELK在開源界大數(shù)據(jù)分析領(lǐng)域有很大的影響力,很多服務(wù)商都是基于ELK做的,但ELK還是有很多問題,其中有很多是開源普遍面臨的問題。這其中,最直觀的問題就是性能,在面對大規(guī)模的數(shù)據(jù)時(shí),Splunk的表現(xiàn)要比基于ELK的方案要好的多。
從嚴(yán)立忠的介紹中了解到,由于歷史的原因,在沒有開源的方案出現(xiàn)之前,很多具備較強(qiáng)研發(fā)實(shí)力的企業(yè)也都做了類似的日志分析系統(tǒng),其中,某國內(nèi)知名大型IT服務(wù)商的技術(shù)人員開發(fā)出來的系統(tǒng)還曾獲得了很高的贊譽(yù),但在長時(shí)間的使用和對比了解之后,最終還是選擇了Splunk的方案。
在產(chǎn)品上,Splunk近年來不斷收購來鞏固和完善產(chǎn)品線,今年4月份收購了一家做安全公司Phantom,6月份宣布收購一架做DevOps的公司VictorOps,以核心競爭力不斷完善在多個(gè)方面的應(yīng)用。
Splunk的方案覆蓋越來越多的行業(yè)用戶。Splunk的很多用戶集中在金融行業(yè)和高科技行業(yè),以前主要是一些大的用戶,免備案主機(jī),而現(xiàn)在有越來越多的較小規(guī)模企業(yè)也在關(guān)注Splunk,比如一些股份制銀行城商行等。隨著工業(yè)物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展,制造業(yè)也開始關(guān)注Splunk,開始在汽車制造,車聯(lián)網(wǎng)等技術(shù)領(lǐng)域發(fā)揮價(jià)值。
Splunk的數(shù)據(jù)分析的應(yīng)用正在逐步深入,從嚴(yán)立忠的介紹中了解到,國內(nèi)某大銀行正在基于Splunk等技術(shù)做一些非常大的組織架構(gòu)上的改動(dòng),對銀行的數(shù)據(jù)管理模式帶來非常大的變化,技術(shù)開始推動(dòng)組織用戶的變革,在筆者看來,這只是剛剛開始,隨著未來技術(shù)的深入發(fā)展,類似的改動(dòng)會(huì)越來越多。
Splunk是少數(shù)能做平臺(tái)的公司,嚴(yán)立忠表示。這是Splunk與許多大數(shù)據(jù)服務(wù)商的最大區(qū)別,因?yàn)閲鴥?nèi)有許多大數(shù)據(jù)服務(wù)商在面對客戶的時(shí)候往往是項(xiàng)目制的做法,做很多定制化開發(fā)的內(nèi)容。而Splunk的平臺(tái)上有大量生態(tài)的廠商,在平臺(tái)上能完成標(biāo)準(zhǔn)化的對接,為用戶提供更多平臺(tái)化的服務(wù),而不是基于項(xiàng)目制的合作。
說到Splunk的生態(tài)時(shí),Splunk有很多讓人感到意外的合作伙伴,其中一個(gè)是IBM。據(jù)了解,Splunk有與IBM大型機(jī)的合作,Splunk通過可以獲取來自大型機(jī)的日志數(shù)據(jù),大型機(jī)是一種極為特殊的存在,大型機(jī)往往涉及非常關(guān)鍵的業(yè)務(wù),自身也有明顯的封閉性,如此合作只能說明Splunk獲得了來自百年老店IBM的高度認(rèn)可。