用大數據闡明大數據市場

中國IDC圈4月18日報道，現今科技界紅到發紫的大數據革命的代表性技能就是Hadoop（注：一個漫衍式系統基本架構）。Hadoop是一個由一系列差異的技能構成的生態系統。做Hadoop相關產物的公司有許多，個中也有許多紛歧樣的選擇和變種，好比Cloudera，Hortonworks，亞馬遜EMR，Storm和Spark都是個中的一部門。而Hadoop作為一個整體來說仍然是回收量最多，接頭最火爆的大數據技能。

然而通過我們的數據闡明發此刻世界上前50萬個公司中，只有很少的一部門真正的利用了Hadoop技能。有人會說我們仍然處在這個技能被公共所接管最初始的階段。我們假設用Hadoop的實用環境來代表整個大數據的成長近況，通過數據闡明我們發明白一些很有意思的市場近況。

當剛看到這些原始數據的時候，我們會發明大數據市場尚有很是大的潛在空間。可是此刻真正的利用者很是少，而這方面的公司又不足為奇，意味著大數據科技公司中會被并購。簡樸地講，大數據市場會逐步的變得越發成熟。

現況一覽

我們闡明白幾十億條網上發布的信息，包羅新聞稿、論壇帖子、雇用啟事、微博和專利等等。我們用這些大量的文檔舉辦呆板進修，從而獲得一些關于大公司都技能回收環境的很是準確的信息。

我們想通過闡明相識什么樣的趨勢呢？舉個例子，通過統計公司員工的技術就可以相識他們地址的公司這正在利用什么樣的技能；有哪些公司在找會Spark的人；哪些公司在招數據科學家，招幾多個。假如把存眷點放在Hadoop上我們可以找到一個公司可能組織的人有沒有在接頭Hadoop相關問題，有沒有需要Hadoop的地位正在雇用，都有誰去了內地關于Hadoop的樂趣小組，尚有網上誰在問關于Hadoop的技能問題。我們甚至用了關于Hadoop的每一條微博，博客和展示稿。

總的來說，，我們發明只有2680個公司在某種水平上利用Hadoop，在這些公司內里，1636個的技能回收成熟度長短常低的，這些人只是方才開始實驗新技能，介入樂趣小組和技能集會會議來進修大數據可能實驗做一些入門摸索性的項目。別的552個在更高的一個級別，他們已經開始在內部較量小型的項目頂用Hadoop（部分的項目可能公司自己就是一個初創公司）。只有492個是在進階的技能狀態，這些公司有一個較量大型的項目投入產物而且有員工對Hadoop有必然的履歷。

大公司更愛大數據

我們驚奇的發明，大型公司（5000人以上）開始利用大數據技能的速度要遠遠高于小型公司。一般人很大概會猜小型可能汗青較量短的公司會更愿意回收新技能。可是對付大數據，現實環境正好相反。我們發明大型公司中有300個對付Hadoop很是重視已經舉辦了技能投資，而相比擬之下只有300個5000人以下的公司是Hadoop用戶。思量到中小公司的總數目是大公司的10倍，這也就是說Hadoop在大公司市場的占有率是中小型公司市場的10倍。

大大都用Hadoop的公司本身就是高科技數據導向的公司。可是我們不知道為什么小公司遲遲沒有迎頭遇上。這是因為他們買不起大數據軟件支持嗎？照舊因為他們請不起高薪的數據科學家和工程師？照舊他們基礎就沒有太多的數據？

石油和醫藥行業落伍

金融行業領先

油氣公司和醫藥公司一般來說都有很是多的數據集，可是我們的闡明表白他們并沒有許多在利用Hadoop。然而金融行業固然傳統上并不是可以快速回收新技能的行業，卻很快地利用了大數據技能。

這也許是因為金融行業受到了一些早期利用者（好比美國運通公司）的影響。可能是因為他們直接從IBM大型計較機奔騰到Hadoop，中間直接跳過了好幾代的技能更迭。甚至此刻已經呈現了專門提供這種技能進級處事的創業公司（好比Paxata和Syncsort）。

及時闡明也不可否決

Hadoop的腳步

令人不解的是，一些需要及時闡明的行業更快的回收了Hadoop技能。這些行業包羅零售行業、IT安詳、電信和保險。這個很是讓人狐疑，因為Hadoop最開始的基本MapReduce(映射-歸納)模子回收的是批量處理懲罰，這種要領在及時數據闡明和處理懲罰中很是低效。為了辦理這個問題，市場中已經呈現了一些及時處理懲罰Hadoop的公司（好比Datatorrent、VoltDB和Splice Machine）。

將來展望

縱然是那些籌備好了進入Hadoop的公司也要面對人才的缺失的問題。在撰寫文章的此日光美國就有1萬6千個需要Hadoop履歷的崗亭在招人。假如Hadoop市場走向成熟，那業界需要找到一個可以操作那些沒有Hadoop技能履歷人才的要領。那些相識SQL的人才數目要比懂Hadoop的多100倍。雷同Splice Machne, Presto,IBM大數據，甲骨文大數據SQL之類（這些公司都提供用SQL來查詢大數據的要領）的辦理方案將會因為相關人才的數量而越發有吸引力。