中國IDC圈5月31日報道，Hadoop是大數據規模最風行的技能，但并非獨一。尚有許多其他技能可用于辦理大數據問題。除了Apache Hadoop外，別的9個大數據技能也是必需要相識的。

Apache Flink

Apache Samza

Google Cloud Data Flow

StreamSets

Tensor Flow

Apache NiFi

Druid

LinkedIn WhereHows

Microsoft Cognitive Services

Apache Flink：是一個高效、漫衍式、基于Java實現的通用大數據闡明引擎，它具有漫衍式MapReduce一類平臺的高效性、機動性和擴展性以及并行數據庫查詢優化方案，它支持批量和基于流的數據闡明，且提供了基于Java和Scala的API。

這是一種由社區驅動的漫衍式大數據闡明開源框架，雷同于Apache Hadoop和Apache Spark。它的引擎可借助數據流和內存中(in-memory)處理懲罰與迭代操縱改進機能。今朝Apache Flink已成為一個頂級項目(Top Level Project,TLP)，于2014年4月被納入Apache孵化器，今朝在全球范疇內有許多孝敬者。

Flink受到了MPP數據庫技能（Declaratives、Query Optimizer、Parallel in-memory、out-of-core 算法）和Hadoop MapReduce技能（Massive scale out, User Defined functions, Schema on Read）的開導，有許多奇特成果（Streaming, Iterations, Dataflow, General API）。具體相識

Apache Samza：是一個開源、漫衍式的流處理懲罰框架，它利用開源漫衍式動靜處理懲罰系統Apache Kafka來實現動靜處事，并利用資源打點器Apache Hadoop Yarn實現容錯處理懲罰、處理懲罰器斷絕、安詳性和資源打點。

該技能由LinkedIn開拓，最初目標是為了辦理Apache Kafka在擴展本領方面存在的問題，包括諸如Simple API、Managed state、Fault Tolerant、Durable messaging、Scalable、Extensible，以及Processor Isolation等成果。

Samza的代碼可作為Yarn功課運行，還可以實施StreamTask接口，借此界說process()挪用。StreamTask可以在任務實例內部運行，其自己也位于一個Yarn容器內。具體相識

Cloud Dataflow：Dataflow是一種原生的Google Cloud數據處理懲罰處事，是一種構建、打點和優化巨大數據流水線的要領，用于構建移動應用，調試、追蹤和監控產物級云應用。它回收了Google內部的技能Flume和MillWhell，個中Flume用于數據的高效并行化處理懲罰，而MillWhell則用于互聯網級此外帶有很好容錯機制的流處理懲罰。

該技能提供了簡樸的編程模子，可用于批處理懲罰和流式數據的處理懲罰任務。該技能提供的數據流打點處事可節制數據處理懲罰功課的執行，數據處理懲罰功課可利用Data Flow SDK(Apache Beam)建設。

Google Data Flow為數據相關的任務提供了打點、監督和安詳本領。Sources和Sink可在管線中抽象地執行讀寫操縱，管線封裝而成的整個計較序列可以接管外部來歷的某些輸入數據，，通過對數據舉辦轉換生成必然的輸出數據。相識詳情

StreamSets：StreamSets是一種專門針對傳輸中數據舉辦過優化的數據處理懲罰平臺，提供了可視化數據流建設模子，通過開源的方法刊行。該技能可陳設在內部情況或云中，提供了富厚的監督和打點界面。

數據收集器可利用數據管線及時地流式傳輸并處理懲罰數據，管線描寫了數據從源頭到最終方針的活動方法，可包括來歷、方針，以及處理懲罰措施。數據收集器的生命周期可通過打點節制臺舉辦節制。相識詳情

TensorFlow：是繼DistBelief之后的第二代呆板進修系統。TensorFlow源自Google旗下的Google Brain項目，主要方針在于為Google全公司的差異產物和處事應用各類范例的神經網絡呆板進修本領。

支持漫衍式計較的TensorFlow可以或許利用戶在本身的呆板進修基本布局中練習漫衍式模子。該系統以高機能的gRPC數據庫為支撐，與最近宣布的Google云呆板進修系統互補，利用戶可以或許操作Google云平臺，對TensorFlow模子舉辦練習并提供處事。

這是一種開源軟件庫，可利用數據流圖譜(data flow graph)舉辦數值運算，這種技能已被包羅DeepDream、RankBrain、Smart Replyused在內的各類Google項目所利用。