眾所周知，吉隆坡服務(wù)器 大馬伺服器，大數(shù)據(jù)正在以驚人的速度增長，險些觸及各行各業(yè)，很多組織都被迫尋找新的締造性要領(lǐng)來打點(diǎn)和節(jié)制如此復(fù)雜的數(shù)據(jù)，雖然這么做的目標(biāo)不可是打點(diǎn)和節(jié)制數(shù)據(jù)，而是要闡明和挖掘個中的代價，來促進(jìn)業(yè)務(wù)的成長。

想要深入成長大數(shù)據(jù)，閉門造車是不行能的，共通共融是此刻趨勢，因此，開源讓越來越多的項(xiàng)目可以直接回收大數(shù)據(jù)技能。如今，從小型初創(chuàng)企業(yè)到行業(yè)巨頭，各類局限的供給商都在利用開源來處理懲罰大數(shù)據(jù)和運(yùn)行預(yù)測闡明。借助開源與云計(jì)較技能，新興公司甚至在許多方面都可以與大廠商抗衡。

開源大數(shù)據(jù)的優(yōu)勢不問可知，但在浩瀚的開源東西中該如何決議？本文中大數(shù)據(jù)規(guī)模的十個巨頭，將有助于你更深入把握大數(shù)據(jù)這個行業(yè)的成長形勢。

Hadoop——高效、靠得住、可伸縮，可以或許為你的數(shù)據(jù)存儲項(xiàng)目提供所需的YARN、HDFS和基本架構(gòu)，而且運(yùn)行主要的大數(shù)據(jù)處事和應(yīng)用措施。

Spark——利用簡樸、支持所有重要的大數(shù)據(jù)語言(Scala、Python、Java、R)。擁有強(qiáng)大的生態(tài)系統(tǒng)，生長迅速，對microbatching/batching/SQL支持簡樸。Spark能更好地合用于數(shù)據(jù)挖掘與呆板進(jìn)修等需要迭代的MapReduce的算法。

NiFi——Apache NiFi是由美國國度安詳局(NSA)孝敬給Apache基金會的開源項(xiàng)目，其設(shè)計(jì)方針是自動化系統(tǒng)間的數(shù)據(jù)流。基于其事情流式的編程理念，NiFi很是易于利用、強(qiáng)大、靠得住、高可設(shè)置。兩個最重要的特性是其強(qiáng)大的用戶界面和精采的數(shù)據(jù)回溯東西。堪稱大數(shù)據(jù)東西箱里的瑞士軍刀。

Apache Hive 2.1——Hive是成立在 Hadoop 上的數(shù)據(jù)客棧基本構(gòu)架。它提供了一系列的東西，可以用來舉辦數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，這是一種可以存儲、查詢和闡明存儲在 Hadoop 中的大局限數(shù)據(jù)的機(jī)制。跟著最新版本的宣布，機(jī)能和成果都獲得了全面晉升，Hive已成為SQL在大數(shù)據(jù)上的最佳辦理方案。

Kafka——Kafka是一種高吞吐量的漫衍式宣布訂閱動靜系統(tǒng)，它可以處理懲罰消費(fèi)者局限網(wǎng)站中的所有行動流數(shù)據(jù)。它已成為大數(shù)據(jù)系統(tǒng)在異步和漫衍式動靜之間的最佳選擇。從Spark到NiFi再到第三方插件東西以至于Java到Scala，它都提供了強(qiáng)大的粘合浸染。

Phoenix—是HBase的SQL驅(qū)動。今朝大量的公司回收它，并擴(kuò)大其局限。HDFS支持的NoSQL可以或許很好地集成所有東西。Phoenix查詢引擎會將SQL查詢轉(zhuǎn)換為一個或多個HBase scan，并編排執(zhí)行以生成尺度的JDBC功效集。

Zeppelin——Zeppelin 是一個提供交互數(shù)據(jù)闡明且基于Web的條記本。利便你做出可數(shù)據(jù)驅(qū)動的、可交互且可協(xié)作的精細(xì)文檔，而且支持多種語言，包羅 Scala(利用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

Sparkling Water——H2O填補(bǔ)了Spark’s Machine Learning的缺口，它可以滿意你所有的呆板進(jìn)修。

Apache Beam——在Java中提供統(tǒng)一的數(shù)據(jù)歷程管道開拓，而且可以或許很好地支持Spark和Flink。提供許多在線框架，開拓者無需進(jìn)修太多框架。

Stanford CoreNLP——自然語言處理懲罰擁有龐大的增長空間，斯坦福正在盡力增進(jìn)他們的框架。