在大數(shù)據(jù)時(shí)代 每家公司都要有大數(shù)據(jù)部分嗎？假如這個(gè)問(wèn)題換做是：在電氣時(shí)代，每家公司都要有個(gè)發(fā)電廠嗎?是不是會(huì)更好答復(fù)一些?

事實(shí)上每一種重大技能的呈現(xiàn)，城市對(duì)財(cái)富發(fā)生大的變革。在蒸汽時(shí)代，采礦機(jī)回收蒸汽機(jī)后，會(huì)帶來(lái)出產(chǎn)效率的極大晉升，而汽船加上蒸汽機(jī)，再也不需要靠風(fēng)才氣帆海了。在電氣時(shí)代，電燈取代了蠟燭，電報(bào)取代了快馬送信，而報(bào)紙也被廣播和電視所侵蝕。

可以說(shuō)是現(xiàn)有財(cái)富加上新技能，形成了新財(cái)富。

我們回過(guò)甚來(lái)看這兩次家產(chǎn)革命，出產(chǎn)蒸汽機(jī)的企業(yè)只有少量幾家，而發(fā)電的企業(yè)在美國(guó)也只有通用電氣和西屋電氣。并不是每家企業(yè)都要從事這些基本設(shè)施的研發(fā)和出產(chǎn)，更多的是對(duì)新技能加以應(yīng)用，發(fā)揮新技能帶來(lái)的代價(jià)。

在IT規(guī)模，軟件剛出來(lái)時(shí)，可以說(shuō)是計(jì)較和存儲(chǔ)完全稠濁在一起。有人實(shí)驗(yàn)將計(jì)較硬件舉辦疏散，歪打正著成績(jī)了Intel。有人實(shí)驗(yàn)將存儲(chǔ)系統(tǒng)疏散，因而有了Oracle。

Intel和Oracle當(dāng)然偉大，但它們的代價(jià)更多的還在于有寬大的企業(yè)回收了這些新的技能，在詳細(xì)的行業(yè)中，發(fā)生了更大的代價(jià)。

同樣，云計(jì)較這種理念當(dāng)然是好，但假如每家企業(yè)都成立本身的云計(jì)較中心，從資金和人力投入上，必然是不劃算的，更嚴(yán)重的問(wèn)題是做不到最優(yōu)。相反，有了AWS和阿里云這樣的云計(jì)較提供商，讓中小企業(yè)更便捷的舉辦創(chuàng)新應(yīng)用。

回到題目中的問(wèn)題，在大數(shù)據(jù)時(shí)代，每家公司都要有本身的大數(shù)據(jù)部分嗎?結(jié)論也不能下的太武斷。

早在2008年，云計(jì)較的觀念方才鼓起，百度內(nèi)部呈現(xiàn)了兩撥勢(shì)力。一撥要從零開(kāi)始打造本身的大數(shù)據(jù)底層技能，把MapReduce、GFS、BigTable這些組件都要實(shí)現(xiàn)一遍，功效花了兩三年時(shí)間，也沒(méi)能不變運(yùn)行。

而別的一撥勢(shì)力，直接采用開(kāi)源的Hadoop生態(tài)，很快在公司內(nèi)應(yīng)用起來(lái)。而我其時(shí)做的日志統(tǒng)計(jì)平臺(tái)，也是回收了Hadoop。但百度的數(shù)據(jù)局限究竟太大了，所需的集群局限，開(kāi)源版本基礎(chǔ)撐不住，于是不得不改寫Hadoop，這樣就和開(kāi)源的版本漸行漸遠(yuǎn)，比及厥后再也合不到一起了。

曾經(jīng)有一年多的時(shí)間，我們部分新設(shè)計(jì)和實(shí)現(xiàn)和底層的存儲(chǔ)及計(jì)較系統(tǒng)，功效發(fā)明開(kāi)源的版本也差不多實(shí)現(xiàn)到了同樣結(jié)果。固然很多內(nèi)部的人以為我們?cè)趺纯偡磸?fù)造輪子，但我大白照舊需求使然，你面對(duì)的需求相對(duì)領(lǐng)先，但也沒(méi)有領(lǐng)先到像Google那樣提早5年。

但對(duì)付小公司來(lái)說(shuō)，則完全沒(méi)須要從零開(kāi)始做，照舊要只管用開(kāi)源的產(chǎn)物。

整個(gè)Hadoop生態(tài)，要比我2008年剛用的時(shí)候，要成熟許多。誰(shuí)人時(shí)候我們?nèi)ツ瞄_(kāi)源的版本，編譯陳設(shè)，一個(gè)新手大概兩周都不必然能正常的運(yùn)轉(zhuǎn)起來(lái)。而此刻下載一個(gè)Cloudera刊行版，兩個(gè)小時(shí)就可以正常跑任務(wù)了。

與此同時(shí)，又面對(duì)了新的問(wèn)題，因?yàn)榇?a href='http://www.qzkangyuan.com/cnidc/bigdata/dsjpt/' target='_blank'>數(shù)據(jù)平臺(tái)牽涉到數(shù)據(jù)的收羅、傳輸、建模存儲(chǔ)、查詢闡明、可視化等多個(gè)環(huán)節(jié)，而開(kāi)源規(guī)模只是一些組件，于是各家公司都在紛紛打造本身的大數(shù)據(jù)平臺(tái)，這就像Oracle之前，各家都在打造本身的存儲(chǔ)系統(tǒng)。這顯然不是一件性價(jià)比高的工作。

有市場(chǎng)需求，就會(huì)有滿意相應(yīng)需求的公司降生，于是就降生了一堆提供大數(shù)據(jù)處事的公司。

由于這一新規(guī)模還處于早期，這些創(chuàng)業(yè)公司所能提供的處事并不會(huì)出格的完善，要么是以項(xiàng)目制的方法運(yùn)轉(zhuǎn)，要么是提供專門應(yīng)用場(chǎng)景的處事。

這樣，對(duì)付一些企業(yè)來(lái)說(shuō)，這些創(chuàng)業(yè)公司提供的處事，好像本身也能實(shí)現(xiàn)，那何不爽性本身做?

這創(chuàng)業(yè)一年多以來(lái)，我看到了太多的公司在打造本身的數(shù)據(jù)平臺(tái)，但做的還不足完善。不管是技能實(shí)力照舊人力投入上，都有點(diǎn)力有未逮。假如選用了這些第三方數(shù)據(jù)處事，那豈不飯碗被搶了?

可我要說(shuō)的是，飯碗遲早城市被搶，只是時(shí)間遲早的問(wèn)題。這里只需要問(wèn)一個(gè)問(wèn)題：我所做的數(shù)據(jù)平臺(tái)，是不是其他公司也是雷同的需求?假如是的話，那必定也有其他公司做著雷同的工作，做的對(duì)象會(huì)大同小異。

那么，就會(huì)呈現(xiàn)專門的公司，來(lái)辦理這種通用的需求。因?yàn)檫@些公司專注于辦理這一塊問(wèn)題，所以會(huì)越發(fā)專業(yè)，而且舍得投入。而對(duì)付需求公司來(lái)說(shuō)，除非本身轉(zhuǎn)型去專門做大數(shù)據(jù)平臺(tái)，否則在投入上，必定不是一件性價(jià)比很高的工作。與其如此，不如趕早偏重于本身的焦點(diǎn)業(yè)務(wù)，存眷應(yīng)用需求自己。

那對(duì)付企業(yè)來(lái)說(shuō)，在大數(shù)據(jù)時(shí)代，應(yīng)該怎么做呢?我的發(fā)起是三點(diǎn)：

首先，要擁抱大數(shù)據(jù)技能。

新的重大技能呈現(xiàn)，都帶有顛覆性。一不小心，就會(huì)被革命。但也不是說(shuō)企業(yè)已有的業(yè)務(wù)不消搞了，都來(lái)搞大數(shù)據(jù)吧。

在大數(shù)據(jù)這件事上，照舊要從需求出發(fā)，而不是從大數(shù)據(jù)出發(fā)。

有人會(huì)問(wèn)我，我有了一些數(shù)據(jù)，給我講講怎么能發(fā)揮更大的代價(jià)。坦率來(lái)說(shuō)，很多時(shí)候不相識(shí)業(yè)務(wù)場(chǎng)景，很難提出建樹(shù)性的意見(jiàn)的。