中國IDC圈5月31日報道，Hadoop是大數(shù)據(jù)規(guī)模最風(fēng)行的技能，但并非獨一。尚有許多其他技能可用于辦理大數(shù)據(jù)問題。除了Apache Hadoop外，別的9個大數(shù)據(jù)技能也是必需要相識的。
Apache Flink
Apache Samza
Google Cloud Data Flow
StreamSets
Tensor Flow
Apache NiFi
Druid
LinkedIn WhereHows
Microsoft Cognitive Services
Apache Flink：是一個高效、漫衍式、基于Java實現(xiàn)的通用大數(shù)據(jù)闡明引擎，它具有漫衍式MapReduce一類平臺的高效性、機動性和擴展性以及并行數(shù)據(jù)庫查詢優(yōu)化方案，它支持批量和基于流的數(shù)據(jù)闡明，且提供了基于Java和Scala的API。
這是一種由社區(qū)驅(qū)動的漫衍式大數(shù)據(jù)闡明開源框架，雷同于Apache Hadoop和Apache Spark。它的引擎可借助數(shù)據(jù)流和內(nèi)存中(in-memory)處理懲罰與迭代操縱改進機能。今朝Apache Flink已成為一個頂級項目(Top Level Project,TLP)，于2014年4月被納入Apache孵化器，今朝在全球范疇內(nèi)有許多孝敬者。
Flink受到了MPP數(shù)據(jù)庫技能（Declaratives、Query Optimizer、Parallel in-memory、out-of-core 算法）和Hadoop MapReduce技能（Massive scale out, User Defined functions, Schema on Read）的開導(dǎo)，有許多奇特成果（Streaming, Iterations, Dataflow, General API）。具體相識
Apache Samza：是一個開源、漫衍式的流處理懲罰框架，它利用開源漫衍式動靜處理懲罰系統(tǒng)Apache Kafka來實現(xiàn)動靜處事，并利用資源打點器Apache Hadoop Yarn實現(xiàn)容錯處理懲罰、處理懲罰器斷絕、安詳性和資源打點。
該技能由LinkedIn開拓，最初目標(biāo)是為了辦理Apache Kafka在擴展本領(lǐng)方面存在的問題，包括諸如Simple API、Managed state、Fault Tolerant、Durable messaging、Scalable、Extensible，以及Processor Isolation等成果。
Samza的代碼可作為Yarn功課運行，還可以實施StreamTask接口，借此界說process()挪用。StreamTask可以在任務(wù)實例內(nèi)部運行，其自己也位于一個Yarn容器內(nèi)。具體相識
Cloud Dataflow：Dataflow是一種原生的Google Cloud數(shù)據(jù)處理懲罰處事，是一種構(gòu)建、打點和優(yōu)化巨大數(shù)據(jù)流水線的要領(lǐng)，用于構(gòu)建移動應(yīng)用，調(diào)試、追蹤和監(jiān)控產(chǎn)物級云應(yīng)用。它回收了Google內(nèi)部的技能Flume和MillWhell，個中Flume用于數(shù)據(jù)的高效并行化處理懲罰，而MillWhell則用于互聯(lián)網(wǎng)級此外帶有很好容錯機制的流處理懲罰。
該技能提供了簡樸的編程模子，可用于批處理懲罰和流式數(shù)據(jù)的處理懲罰任務(wù)。該技能提供的數(shù)據(jù)流打點處事可節(jié)制數(shù)據(jù)處理懲罰功課的執(zhí)行，數(shù)據(jù)處理懲罰功課可利用Data Flow SDK(Apache Beam)建設(shè)。
Google Data Flow為數(shù)據(jù)相關(guān)的任務(wù)提供了打點、監(jiān)督和安詳本領(lǐng)。Sources和Sink可在管線中抽象地執(zhí)行讀寫操縱，管線封裝而成的整個計較序列可以接管外部來歷的某些輸入數(shù)據(jù)，，通過對數(shù)據(jù)舉辦轉(zhuǎn)換生成必然的輸出數(shù)據(jù)。相識詳情
StreamSets：StreamSets是一種專門針對傳輸中數(shù)據(jù)舉辦過優(yōu)化的數(shù)據(jù)處理懲罰平臺，提供了可視化數(shù)據(jù)流建設(shè)模子，通過開源的方法刊行。該技能可陳設(shè)在內(nèi)部情況或云中，提供了富厚的監(jiān)督和打點界面。
數(shù)據(jù)收集器可利用數(shù)據(jù)管線及時地流式傳輸并處理懲罰數(shù)據(jù)，管線描寫了數(shù)據(jù)從源頭到最終方針的活動方法，可包括來歷、方針，以及處理懲罰措施。數(shù)據(jù)收集器的生命周期可通過打點節(jié)制臺舉辦節(jié)制。相識詳情
TensorFlow：是繼DistBelief之后的第二代呆板進修系統(tǒng)。TensorFlow源自Google旗下的Google Brain項目，主要方針在于為Google全公司的差異產(chǎn)物和處事應(yīng)用各類范例的神經(jīng)網(wǎng)絡(luò)呆板進修本領(lǐng)。
支持漫衍式計較的TensorFlow可以或許利用戶在本身的呆板進修基本布局中練習(xí)漫衍式模子。該系統(tǒng)以高機能的gRPC數(shù)據(jù)庫為支撐，與最近宣布的Google云呆板進修系統(tǒng)互補，利用戶可以或許操作Google云平臺，對TensorFlow模子舉辦練習(xí)并提供處事。
這是一種開源軟件庫，可利用數(shù)據(jù)流圖譜(data flow graph)舉辦數(shù)值運算，這種技能已被包羅DeepDream、RankBrain、Smart Replyused在內(nèi)的各類Google項目所利用。
