實(shí)際進(jìn)行大數(shù)據(jù)研究過(guò)程中，需要根據(jù)實(shí)際情況靈活選擇最合適的工具(甚至多種工具組合使用)，才能更好的完成研究探索。

如今，大數(shù)據(jù)日益成為研究行業(yè)的重要研究目標(biāo)。面對(duì)其高數(shù)據(jù)量、多維度與異構(gòu)化的特點(diǎn)，以及分析方法思路的擴(kuò)展，傳統(tǒng)統(tǒng)計(jì)工具已經(jīng)難以應(yīng)對(duì)。

工欲善其事，必先利其器。眾多新的軟件分析工具作為深入大數(shù)據(jù)洞察研究的重要助力， 也成為數(shù)據(jù)科學(xué)家所必須掌握的知識(shí)技能。

然而，現(xiàn)實(shí)情況的復(fù)雜性決定了并不存在解決一切問(wèn)題的終極工具。實(shí)際進(jìn)行大數(shù)據(jù)研究過(guò)程中，需要根據(jù)實(shí)際情況靈活選擇最合適的工具(甚至多種工具組合使用)，才能更好的完成研究探索。

為此，本文針對(duì)研究人員(非技術(shù)人員)的實(shí)際情況，介紹當(dāng)前大數(shù)據(jù)研究涉及的一些主要工具軟件(因?yàn)橄嚓P(guān)軟件眾多，只介紹常用的)，并進(jìn)一步闡述其應(yīng)用特點(diǎn)和適合的場(chǎng)景，以便于研究人員能有的放矢的學(xué)習(xí)和使用。

【基礎(chǔ)篇】

1、傳統(tǒng)分析/商業(yè)統(tǒng)計(jì)

Excel、SPSS、SAS 這三者對(duì)于研究人員而言并不陌生。

Excel作為電子表格軟件，適合簡(jiǎn)單統(tǒng)計(jì)(分組/求和等)需求，由于其方便好用，功能也能滿(mǎn)足很多場(chǎng)景需要，所以實(shí)際成為研究人員最常用的軟件工具。其缺點(diǎn)在于功能單一，且可處理數(shù)據(jù)規(guī)模小(這一點(diǎn)讓很多研究人員尤為頭疼)。這兩年Excel在大數(shù)據(jù)方面(如地理可視化和網(wǎng)絡(luò)關(guān)系分析)上也作出了一些增強(qiáng)，但應(yīng)用能力有限。

SPSS(SPSS Statistics)和SAS作為商業(yè)統(tǒng)計(jì)軟件，提供研究常用的經(jīng)典統(tǒng)計(jì)分析(如回歸、方差、因子、多變量分析等)處理。

SPSS輕量、易于使用，但功能相對(duì)較少，適合常規(guī)基本統(tǒng)計(jì)分析

SAS功能豐富而強(qiáng)大(包括繪圖能力)，且支持編程擴(kuò)展其分析能力，適合復(fù)雜與高要求的統(tǒng)計(jì)性分析。

上述三個(gè)軟件在面對(duì)大數(shù)據(jù)環(huán)境出現(xiàn)了各種不適，具體不再贅述。但這并不代表其沒(méi)有使用價(jià)值。如果使用傳統(tǒng)研究方法論分析大數(shù)據(jù)時(shí)，海量原始數(shù)據(jù)資源經(jīng)過(guò)前期處理(如降維和統(tǒng)計(jì)匯總等)得到的中間研究結(jié)果，就很適合使用它們進(jìn)行進(jìn)一步研究。

2、數(shù)據(jù)挖掘

數(shù)據(jù)挖掘作為大數(shù)據(jù)應(yīng)用的重要領(lǐng)域，在傳統(tǒng)統(tǒng)計(jì)分析基礎(chǔ)上，更強(qiáng)調(diào)提供機(jī)器學(xué)習(xí)的方法，關(guān)注高維空間下復(fù)雜數(shù)據(jù)關(guān)聯(lián)關(guān)系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身為Clementine)

SPSS Modeler的統(tǒng)計(jì)功能相對(duì)有限, 主要是提供面向商業(yè)挖掘的機(jī)器學(xué)習(xí)算法(決策樹(shù)、神經(jīng)元網(wǎng)絡(luò)、分類(lèi)、聚類(lèi)和預(yù)測(cè)等)的實(shí)現(xiàn)。同時(shí)，其數(shù)據(jù)預(yù)處理和結(jié)果輔助分析方面也相當(dāng)方便，這一點(diǎn)尤其適合商業(yè)環(huán)境下的快速挖掘。不過(guò)就處理能力而言，實(shí)際感覺(jué)難以應(yīng)對(duì)億級(jí)以上的數(shù)據(jù)規(guī)模。

另一個(gè)商業(yè)軟件 Matlab也能提供大量數(shù)據(jù)挖掘的算法，但其特性更關(guān)注科學(xué)與工程計(jì)算領(lǐng)域。而著名的開(kāi)源數(shù)據(jù)挖掘軟件Weka，功能較少，且數(shù)據(jù)預(yù)處理和結(jié)果分析也比較麻煩，更適合學(xué)術(shù)界或有數(shù)據(jù)預(yù)處理能力的使用者。

【中級(jí)篇】

1、通用大數(shù)據(jù)可視化分析

近兩年來(lái)出現(xiàn)了許多面向大數(shù)據(jù)、具備可視化能力的分析工具，在商業(yè)研究領(lǐng)域，TableAU無(wú)疑是卓越代表。

TableAU的優(yōu)勢(shì)主要在于支持多種大數(shù)據(jù)源/格式，眾多的可視化圖表類(lèi)型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場(chǎng)景。不過(guò)要注意，服務(wù)器租用 免備案服務(wù)器，其并不能提供經(jīng)典統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法支持， 因此其可以替代Excel, 但不能代替統(tǒng)計(jì)和數(shù)據(jù)挖掘軟件。另外，就實(shí)際處理速度而言，感覺(jué)面對(duì)較大數(shù)據(jù)(實(shí)例超過(guò)3000萬(wàn)記錄)時(shí)，并沒(méi)有官方介紹的那么迅速。

2 、關(guān)系分析

關(guān)系分析是大數(shù)據(jù)環(huán)境下的一個(gè)新的分析熱點(diǎn)(比如信息傳播圖、社交關(guān)系網(wǎng)等)，域名購(gòu)買(mǎi) directadmin購(gòu)買(mǎi)，其本質(zhì)計(jì)算的是點(diǎn)之間的關(guān)聯(lián)關(guān)系。相關(guān)工具中，適合數(shù)據(jù)研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。