大數據的話題不是當下最熱的,但大數據的落地應用仍處于上升期,大數據的原理并不復雜,但具體到應用和實現方面其實有很大差別,在全球以及中國市場都有許多大數據服務商,這其中,Splunk在一些方面的表現可圈可點。
Splunk中國區總經理嚴立忠
8月21日,Splunk中國區總經理嚴立忠介紹了Splunk在中國區的一些新的進展,以及Splunk在產品,用戶實踐方面的新內容,在采訪中,嚴立忠的一句“真正的大數據不淘汰任何數據”令筆者印象深刻。
Splunk是一家來自舊金山的大數據公司,在中國市場的發展正處于上升期。據了解,近半年來,Splunk的團隊規模增長了50%,業務規模在快速增長當中,在外來企業紛紛水土不服的大環境下,Splunk的表現究其根本還是其獨特的產品競爭優勢。
Splunk成立于2003年,2009年實現盈利,2012年上市,是不折不扣的大數據行業的先行者。Splunk最核心的能力是做機器數據(Machine data)分析,最典型的機器數據就是日志數據,Splunk非常擅長做日志分析,圍繞日志分析這件事兒,Splunk涉及的領域還涵蓋AIOPS,(SIEM)安全,應用程序管理,人工智能等。
值得注意的一點是,Splunk將所有的功能統一到了一個平臺上,降低了部署的復雜度。
SIEM魔力象限中的Splunk位于領導者象限的領先位置
Splunk能收集來自各個渠道的機器數據,對數據做監控,做查詢和分析,支持的數據來源非常多,能查詢的數據量非常大,而且性能非常好,這是架構上的特點。據介紹,Splunk對大規模數據的搜索性能表現優勢非常明顯,這使得Splunk對數據做全量分析成為可能。
在大數據特性方面,Splunk采取的是讀時建模,不預先構建模型,不用人為去除不相關數據,保留完整的原有數據,性能能支撐Splunk對全量數據進行分析,因為有時候認為判斷剔除的數據可能是有用的數據。嚴立忠總結道:“真正的大數據不淘汰任何數據。”在他看來,這應該是Splunk最核心的價值所在了。
與一些采用開源方案的友商不同,Splunk是完全自研的,如今常見的ELK大約是在2012年以后才開始興起的,ELK在開源界大數據分析領域有很大的影響力,很多服務商都是基于ELK做的,但ELK還是有很多問題,其中有很多是開源普遍面臨的問題。這其中,最直觀的問題就是性能,在面對大規模的數據時,Splunk的表現要比基于ELK的方案要好的多。
從嚴立忠的介紹中了解到,由于歷史的原因,在沒有開源的方案出現之前,很多具備較強研發實力的企業也都做了類似的日志分析系統,其中,某國內知名大型IT服務商的技術人員開發出來的系統還曾獲得了很高的贊譽,但在長時間的使用和對比了解之后,最終還是選擇了Splunk的方案。
在產品上,Splunk近年來不斷收購來鞏固和完善產品線,今年4月份收購了一家做安全公司Phantom,6月份宣布收購一架做DevOps的公司VictorOps,以核心競爭力不斷完善在多個方面的應用。
Splunk的方案覆蓋越來越多的行業用戶。Splunk的很多用戶集中在金融行業和高科技行業,以前主要是一些大的用戶,免備案主機,而現在有越來越多的較小規模企業也在關注Splunk,比如一些股份制銀行城商行等。隨著工業物聯網產業的發展,制造業也開始關注Splunk,開始在汽車制造,車聯網等技術領域發揮價值。
Splunk的數據分析的應用正在逐步深入,從嚴立忠的介紹中了解到,國內某大銀行正在基于Splunk等技術做一些非常大的組織架構上的改動,對銀行的數據管理模式帶來非常大的變化,技術開始推動組織用戶的變革,在筆者看來,這只是剛剛開始,隨著未來技術的深入發展,類似的改動會越來越多。
Splunk是少數能做平臺的公司,嚴立忠表示。這是Splunk與許多大數據服務商的最大區別,因為國內有許多大數據服務商在面對客戶的時候往往是項目制的做法,做很多定制化開發的內容。而Splunk的平臺上有大量生態的廠商,在平臺上能完成標準化的對接,為用戶提供更多平臺化的服務,而不是基于項目制的合作。
說到Splunk的生態時,Splunk有很多讓人感到意外的合作伙伴,其中一個是IBM。據了解,Splunk有與IBM大型機的合作,Splunk通過可以獲取來自大型機的日志數據,大型機是一種極為特殊的存在,大型機往往涉及非常關鍵的業務,自身也有明顯的封閉性,如此合作只能說明Splunk獲得了來自百年老店IBM的高度認可。