在本文中，我們將簡要介紹三種Apache處理工具：Flume，Kafka和NiFi。這三種產(chǎn)品都具有出色的性能，亞洲服務(wù)器租用，可以橫向擴展，并提供插件機制，可通過自定義組件擴展功能。
Apache Flume
Flume部署由一個或多個使用拓?fù)渑渲玫拇斫M成。Flume代理是一個JVM進程，它承載Flume拓?fù)涞幕緲?gòu)建塊，即源、通道和接收器。Flume客戶機將事件發(fā)送到源，該源將這些事件成批放置到名為channel的臨時緩沖區(qū)中，然后從該緩沖區(qū)中數(shù)據(jù)流到連接到數(shù)據(jù)最終目的地的接收器。接收器也可以是其他Flume代理的后續(xù)數(shù)據(jù)源。代理可以被鏈接，并且每個代理都有多個源、通道和接收器。
Flume是一個分布式系統(tǒng)，可用于收集、聚合流事件并將其傳輸?shù)紿adoop中。它有許多內(nèi)置的源、通道和接收器，例如Kafka通道和Avro接收器。Flume是基于配置的，它有攔截器來對通道中的數(shù)據(jù)執(zhí)行簡單的轉(zhuǎn)換。
如果不小心，使用Flume很容易丟失數(shù)據(jù)。例如，為高吞吐量選擇內(nèi)存通道有一個缺點，即當(dāng)代理節(jié)點關(guān)閉時，數(shù)據(jù)將丟失。文件通道將以增加延遲為代價提供持久性。即使如此，由于數(shù)據(jù)沒有復(fù)制到其他節(jié)點，因此文件通道僅與底層磁盤一樣的可靠性。Flume通過多跳/扇入扇出流提供了可伸縮性。對于高可用性（HA），可以水平擴展代理。
Apache Kafka
Kafka是一種分布式、高吞吐量的消息總線，它將數(shù)據(jù)生產(chǎn)者與消費者分離開來。消息被組織成主題，主題被拆分成分區(qū)，分區(qū)被跨集群中的節(jié)點（稱為代理）復(fù)制。與Flume相比，Kafka具有更好的可擴展性和消息持久性。Kafka現(xiàn)在有兩種風(fēng)格：一種是“經(jīng)典”的生產(chǎn)者/消費者模型，另一種是新的Kafka-Connect，它為外部數(shù)據(jù)存儲提供可配置的連接器（源/接收器）。
Kafka可用于大型軟件系統(tǒng)組件之間的事件處理和集成。此外，Kafka附帶了Kafka流，它可以用于簡單的流處理，而不需要像Apache Spark或Apache Flink那樣的單獨集群。
由于消息被持久化在磁盤上，并且在集群中被復(fù)制，香港服務(wù)器，因此數(shù)據(jù)丟失情況不像Flume那樣常見。也就是說，無論是使用Kafka客戶端還是通過Connect API，生產(chǎn)者/來源和消費者/接收器通常都需要自定義編碼。與Flume一樣，消息大小也有限制。最后，為了能夠進行通信，Kafka的生產(chǎn)者和消費者必須就協(xié)議、格式和架構(gòu)達(dá)成一致，這在某些情況下可能會有問題。
Apache NiFi
與Flume和Kafka不同，NiFi可以處理任意大小的消息。在基于Web的拖放式用戶界面后面，NiFi在集群中運行，并提供實時控制，使您可以輕松管理任何源和任何目標(biāo)之間的數(shù)據(jù)移動。它支持不同格式、模式、協(xié)議、速度和大小的分散和分布式源。
NiFi可以用于具有嚴(yán)格安全性和合規(guī)性要求的關(guān)鍵任務(wù)數(shù)據(jù)流中，在那里我們可以可視化整個過程并實時進行更改。在撰寫本文時，它有近200個隨時可用的處理器（包括Flume和Kafka處理器），可以進行拖放、配置和立即投入使用。NiFi的一些關(guān)鍵特性是優(yōu)先級排隊、數(shù)據(jù)跟蹤和每個連接的背壓閾值配置。
盡管NiFi用于創(chuàng)建容錯生產(chǎn)管道，但它還沒有像Kafka那樣復(fù)制數(shù)據(jù)。如果一個節(jié)點發(fā)生故障，那么可以將流定向到另一個節(jié)點，但是排隊等待故障節(jié)點的數(shù)據(jù)必須等待該節(jié)點恢復(fù)。NiFi不是一個成熟的ETL工具，也不是復(fù)雜計算和事件處理（CEP）的理想選擇。為此，它應(yīng)該連接到Apache Flink，Spark Streaming或Storm等流式傳輸框架。
組合
沒有哪個工具 滿足您的所有要求。組合以更好方式執(zhí)行不同操作的工具可以實現(xiàn)功能的增強，并提高處理更多場景的靈活性。根據(jù)您的需求，NiFi和Flume都可以充當(dāng)Kafka生產(chǎn)者或消費者。
Flume-Kafka集成非常受歡迎，它有自己的名字：Flafka（我不是這樣做的）。Flafka包括Kafka源，Kafka通道和Kafka池。結(jié)合Flume和Kafka，Kafka可以避免自定義編碼并利用Flume經(jīng)過實戰(zhàn)考驗的資源和接收器，通過Kafka通道的Flume事件將在Kafka代理中進行存儲和復(fù)制，以實現(xiàn)彈性。
組合工具可能看起來很浪費，因為它似乎在功能比較重疊。例如，NiFi和Kafka都提供了代理來連接生產(chǎn)者和消費者。但是，它們的做法不同：在NiFi中，大部分數(shù)據(jù)流邏輯不在生產(chǎn)者/消費者內(nèi)部，而是在代理中，允許集中控制。NiFi的構(gòu)建是為了做一件重要的事情：數(shù)據(jù)流管理。通過兩種工具的結(jié)合，NiFi可以充分利用Kafka可靠的流數(shù)據(jù)存儲，同時解決Kafka無法解決的數(shù)據(jù)流挑戰(zhàn)。
總結(jié)：
【凡本網(wǎng)注明來源非中國IDC圈的作品，均轉(zhuǎn)載自其它媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負(fù)責(zé)。】
延伸閱讀：
邊緣計算的三種模式：MEC、微云和霧計算
中興5G再度趕超華為，提出和華為合作，是否在養(yǎng)虎為患？
英媒稱英運營商用華為設(shè)備建5G：禁華為或致無網(wǎng)可用
