實際進行大數據研究過程中,需要根據實際情況靈活選擇最合適的工具(甚至多種工具組合使用),才能更好的完成研究探索。
如今,大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點,以及分析方法思路的擴展,傳統統計工具已經難以應對。
工欲善其事,必先利其器。眾多新的軟件分析工具作為深入大數據洞察研究的重要助力, 也成為數據科學家所必須掌握的知識技能。
然而,現實情況的復雜性決定了并不存在解決一切問題的終極工具。實際進行大數據研究過程中,需要根據實際情況靈活選擇最合適的工具(甚至多種工具組合使用),才能更好的完成研究探索。
為此,本文針對研究人員(非技術人員)的實際情況,介紹當前大數據研究涉及的一些主要工具軟件(因為相關軟件眾多,只介紹常用的),并進一步闡述其應用特點和適合的場景,以便于研究人員能有的放矢的學習和使用。
【基礎篇】
1、傳統分析/商業統計
Excel、SPSS、SAS 這三者對于研究人員而言并不陌生。
Excel作為電子表格軟件,適合簡單統計(分組/求和等)需求,由于其方便好用,功能也能滿足很多場景需要,所以實際成為研究人員最常用的軟件工具。其缺點在于功能單一,且可處理數據規模小(這一點讓很多研究人員尤為頭疼)。這兩年Excel在大數據方面(如地理可視化和網絡關系分析)上也作出了一些增強,但應用能力有限。
SPSS(SPSS Statistics)和SAS作為商業統計軟件,提供研究常用的經典統計分析(如回歸、方差、因子、多變量分析等)處理。
SPSS輕量、易于使用,但功能相對較少,適合常規基本統計分析
SAS功能豐富而強大(包括繪圖能力),且支持編程擴展其分析能力,適合復雜與高要求的統計性分析。
上述三個軟件在面對大數據環境出現了各種不適,具體不再贅述。但這并不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時,海量原始數據資源經過前期處理(如降維和統計匯總等)得到的中間研究結果,就很適合使用它們進行進一步研究。
2、數據挖掘
數據挖掘作為大數據應用的重要領域,在傳統統計分析基礎上,更強調提供機器學習的方法,關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics,其前身為Clementine)
SPSS Modeler的統計功能相對有限, 主要是提供面向商業挖掘的機器學習算法(決策樹、神經元網絡、分類、聚類和預測等)的實現。同時,其數據預處理和結果輔助分析方面也相當方便,這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言,實際感覺難以應對億級以上的數據規模。
另一個商業軟件 Matlab也能提供大量數據挖掘的算法,但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟件Weka,功能較少,且數據預處理和結果分析也比較麻煩,更適合學術界或有數據預處理能力的使用者。
【中級篇】
1、通用大數據可視化分析
近兩年來出現了許多面向大數據、具備可視化能力的分析工具,在商業研究領域,TableAU無疑是卓越代表。
TableAU的優勢主要在于支持多種大數據源/格式,眾多的可視化圖表類型,加上拖拽式的使用方式,上手快,非常適合研究員使用,能夠涵蓋大部分分析研究的場景。不過要注意,服務器租用 免備案服務器,其并不能提供經典統計和機器學習算法支持, 因此其可以替代Excel, 但不能代替統計和數據挖掘軟件。另外,就實際處理速度而言,感覺面對較大數據(實例超過3000萬記錄)時,并沒有官方介紹的那么迅速。
2 、關系分析
關系分析是大數據環境下的一個新的分析熱點(比如信息傳播圖、社交關系網等),域名購買 directadmin購買,其本質計算的是點之間的關聯關系。相關工具中,適合數據研究人員的是一些可視化的輕量桌面型工具,最常用的是Gephi。