中國(guó)IDC圈3月16日?qǐng)?bào)道：最近知乎上有這樣一個(gè)問題“為什么許多公司都回收Hadoop方案處理懲罰大數(shù)據(jù)業(yè)務(wù)”，引來許多答復(fù)，筆者整理如下，其概念或有時(shí)而可商，接待接頭。

先說一說什么樣的公司較量?jī)A向于利用Hadoop。有人認(rèn)為，利用Hadoop的前提是自身有沒有收集并闡明數(shù)據(jù)的需要，而且數(shù)據(jù)量是否一直在增長(zhǎng)而且不行揚(yáng)棄。

今朝看起來，此類數(shù)據(jù)大都為日志數(shù)據(jù)，闡明用戶習(xí)慣，可能就是傳感器之類的數(shù)據(jù)，闡明情況等監(jiān)控內(nèi)容的變革紀(jì)律。也有許多公司不利用Hadoop，好比多 數(shù)從事當(dāng)局行業(yè)可能部門企業(yè)系統(tǒng)開拓的公司，他們對(duì)系統(tǒng)的易陳設(shè)及易維護(hù)性要求更高，固然也會(huì)碰著一部門數(shù)據(jù)量較大，不外凡是利用NoSQL數(shù)據(jù)庫(kù)就可以或許 滿意需要了，很少利用Hadoop。

這又回到了一句老話，任何技能，都是為了辦理問題而存在的，沒有須要為了技能而技能!

那么，利用Hadoop的公司為什么選擇Hadoop呢?選擇Hadoop，其實(shí)是選擇的的MapReduce，把大塊的任務(wù)切分為若干份小任務(wù)，由集群的每臺(tái)處事器來計(jì)較，最后把功效歸并。

有人認(rèn)為，主要有三點(diǎn)：1，可以辦理問題; 2，本錢低 ; 3，成熟的生態(tài)圈。

一、Hadoop為大數(shù)據(jù)而生

在誰人沒有Hadoop的時(shí)代，各人是怎么處理懲罰大量數(shù)據(jù)的呢?IBM的大型機(jī)是一個(gè)很不錯(cuò)的辦理方案。

中國(guó)的銀行系統(tǒng)今朝很大一部門還在大型機(jī)上。可是大型機(jī)太貴了，實(shí)在是太貴了。

于是Google來了，顛末審慎的思考，Google的工程師們發(fā)明實(shí)際上利用一個(gè)簡(jiǎn)樸得漫衍式計(jì)較模子MapReduce就能完成他們的需求。然后他們就搞了一個(gè)MapReduce。然后就寫了幾篇關(guān)于這種計(jì)較要領(lǐng)的論文。

有了思想，并且有了Google這么大數(shù)據(jù)量的數(shù)據(jù)驗(yàn)證，復(fù)制技能就很容易了。于是各人就開始搞，然后各人就搞出來一個(gè)Hadoop。并且Hadoop是Apache 下的項(xiàng)目，正所謂大樹底下好納涼。

Hadoop底層的漫衍式文件系統(tǒng)具有高拓展性，通過數(shù)據(jù)冗余擔(dān)保數(shù)據(jù)不丟失和提交計(jì)較效率，同時(shí)可以存儲(chǔ)各類名目標(biāo)數(shù)據(jù)。同時(shí)其還支持多種計(jì)較框架，既可以舉辦離線計(jì)較也可以舉辦在線及時(shí)計(jì)較。

二、為什么本錢可以節(jié)制的低

確定可以辦理我們碰著的問題之后，那就必需思量下本錢問題了。

1， 硬件本錢

Hadoop是架構(gòu)在便宜的硬件處事器上，不需要很是昂貴的硬件做支撐

2， 軟件本錢

開源的產(chǎn)物，免費(fèi)的，基于開源協(xié)議，可以自由修改，可控性更大

3，開拓本錢

因?yàn)閷儆诙伍_拓，同時(shí)因?yàn)橛泻苁腔顫姷纳鐓^(qū)接頭，對(duì)開拓人員的本領(lǐng)要求相對(duì)不高，工程師的進(jìn)修本錢也并不高

4，維護(hù)本錢

當(dāng)集群局限很是大時(shí)，開拓本錢和維護(hù)本錢會(huì)凸顯出來。可是相對(duì)付自研系統(tǒng)來說的話，照舊自制的許多。

某司自研同類系統(tǒng)幾百名工程師近4年的投入，燒錢億計(jì)，都尚未替換掉Hadoop。

5，其他本錢

如系統(tǒng)的安詳性，社區(qū)版本進(jìn)級(jí)頻繁而現(xiàn)實(shí)是無法同步舉辦進(jìn)級(jí)所引入的其他隱形本錢。

三、成熟的生態(tài)圈

部門系統(tǒng)歸類：

陳設(shè)，設(shè)置和監(jiān)控 Ambari，，Whirr

監(jiān)控打點(diǎn)東西 Hue, karmasphere, eclipse plugin, cacti, ganglia

數(shù)據(jù)序列化處理懲罰與任務(wù)調(diào)治 Avro, Zookeeper

數(shù)據(jù)收集 Fuse,Webdav, Chukwa, Flume, Scribe ， Nutch

數(shù)據(jù)存儲(chǔ) HDFS

類SQL查詢數(shù)據(jù)客棧 Hive

流式數(shù)據(jù)處理懲罰 Pig

并行計(jì)較框架 MapReduce， Tez

數(shù)據(jù)挖掘和呆板進(jìn)修 Mahout

列式存儲(chǔ)在線數(shù)據(jù)庫(kù) HBase

元數(shù)據(jù)中心 HCatalog (可以和Pig，Hive ,MapReduce等團(tuán)結(jié)利用)

事情流節(jié)制 Oozie，Cascading

數(shù)據(jù)導(dǎo)入導(dǎo)出到干系數(shù)據(jù)庫(kù) Sqoop，F(xiàn)lume， Hiho

數(shù)據(jù)可視化 drilldown，Intellicus

傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)客棧VS.Hadoop

再?gòu)膫鹘y(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)客棧這邊看，一方面吃著現(xiàn)有的蛋糕，另一方面也一直在實(shí)驗(yàn)數(shù)據(jù)量更大、擴(kuò)展性更好的辦理方案，從share-everything到 share-storage到share-nothing，好比此刻的MPP辦理方案，也在大數(shù)據(jù)業(yè)務(wù)中分了一杯羹。不外數(shù)據(jù)庫(kù)基因的辦理方案，照舊要面 臨擴(kuò)展性的問題，我們的履歷是或許百節(jié)點(diǎn)級(jí)別，遠(yuǎn)遠(yuǎn)不如hadoop的擴(kuò)展性。

hadoop最偉大的處所，嚴(yán)格說是google的偉大，就是在擴(kuò)展性瓶頸方面的打破了。擴(kuò)展性一直是所謂大數(shù)據(jù)(以前叫海量數(shù)據(jù))處理懲罰的瓶頸，擴(kuò)展性上 去了，有更多呆板來干活，那同時(shí)醒目的活也就多了嘛。以前處理懲罰海量數(shù)據(jù)的思路，是搞一臺(tái)超等牛的呆板，好比高機(jī)能計(jì)較機(jī)，好比大型機(jī)、小型機(jī);厥后一臺(tái)機(jī) 器怎么也不足用了，就搞個(gè)幾臺(tái)連起來一起用，好比網(wǎng)格，好比漫衍式數(shù)據(jù)庫(kù)數(shù)據(jù)客棧，不外這擴(kuò)展性也就是幾臺(tái)十幾臺(tái)級(jí)此外，再多也無法提高了;而 hadoop，放棄磁盤陣列而利用當(dāng)?shù)赜脖P作為存儲(chǔ)，使得網(wǎng)絡(luò)毗連方法大大簡(jiǎn)化，從軟件層面來辦理許多硬件問題，好比硬盤妨礙，淘汰對(duì)硬件的依賴，這些保 證了hadoop甩出其他方案幾個(gè)量級(jí)的擴(kuò)展機(jī)能，人類看到了處理懲罰大數(shù)據(jù)的曙光。