快速數據闡明和及時處理懲罰的鼓起，大概會給大數據管道帶來必然的厘革，微處事架構正在融入Hadoop規模。

最近幾年，開源Hadoop氣勢氣魄的數據開拓已經得到了很大的存眷，但讓主流企業回收這種開拓模式依然用了很長時間。它在處理懲罰大數據的海量性及多樣性上有很大的代價。但它也具有必然的巨大性，它會導致數據處理懲罰系統構建方法的龐大厘革。

而在數據處理懲罰的速度方面，就相對簡樸了。企業需要迅速處理懲罰數據，速度是企業對大數據管道發生遍及樂趣的主要原因，企業需要從批處理懲罰的數據處理懲罰方法轉變為及時處理懲罰和即時數據闡明。

已往十年中，對計較機能晉升的主要目標是為了更好地應對巨大性。跟著開拓者社區的鼓起，容器和Docker，微處事已經可以提供松散耦合的，精練的面向處事架構來應對各類復現性需求。并在數據一側的開拓上也投入了必然的盡力，這意味著Hadoop上的編程模式大概會發生一些變革，而在Hadoop 2上，這些變換大概更大，因為在Hadoop 2上可以開拓更遍及的漫衍式Hadoop附加組件。

容器的厘革

如今，我們看到了及時闡明應用措施所帶來的影響，它團結了差異的框架部門。 Spark，Kafka和Cassandra是個中最常見的，它們和其他技能一起構成了流式大數據管道。容器和微處事都更適合于整體架構，更為重要的是，讓這些框架可以或許協同事情不是一件容易的事。不只如此，在他們一同事情的同時，還需要對其舉辦調解和更新，以實現更好的融合。

在大數據架構中應用容器和微處事的辦法正變得越來越普遍。BlueData最近在其EPIC平臺上新增了用于打點Docker容器的應用，這些容器用于建設Hadoop和Spark集群。 MapR編程架構是將微處事技能應用于流和及時闡明應用措施架構的先驅。Pachyderm結構了一個容器化的處理懲罰引擎，在最近的Strata + Hadoop 2016 大會上該技能獨有鰲頭。

Mesosphere也在密切存眷著相關技能的成長，它已經成立了一個系統，用于運行容器和數據處事。該公司的產物是構建在一個開源的漫衍式系統內核或群集打點器Apache Mesos上。它已經被Airbnb，蘋果，Twitter和其他一些公司所回收。

數據點

也許對付Spark和Mesos容器處事在一起呈現，我們并不消感想十分驚奇，因為Spark的首創人Matei Zaharia與Mesos的研發也有著必然的淵源。 事實上，本年Mesosphere開展的針對500名Mesos用戶的研究發明，43%的受訪者在Mesos上利用Spark;32%的受訪者在Mesos平臺上利用Kafka，24%的用戶則利用Cassandra。

另一個專注于數據闡明和微處事的新興公司是Lightbend，該公司的首創人包羅Scala(Spark和Akka開拓所利用語言)的發現者，Akka是Apache Flink中漫衍式通信的焦點，美國云服務器 江西電信服務器，也是大數據管道的另一個新興的元素。

Lightbend發明白用于快速及時數據處理懲罰應用的容器和框架之間的重大關聯。 本年早些時候，公司舉辦的一項觀測顯示，在Java虛擬機上運行應用措施的2100個開拓人員中，34%的受訪者舉辦及時大部門數據處理懲罰，22%的受訪者舉辦等量的批處理懲罰和及時處理懲罰。

在出產情況中利用了微處事的受訪者中，30%的人利用了Kafka，21%的人運行著Spark Streaming，這再次證實了新的數據處理懲罰框架與處事和容器要領之間的關聯。觀測還發明，這兩個框架都與另一個技能有關，那就是Akka Streams，35%的受訪者利用了它。

對付數據微處事，大大都新的基本設施仍需要構建。許多處所還需要一點點探索，開拓團隊需要找出哪些是正確的，哪些是錯誤的。

另外，數據打點的明明特征——“狀態”會話和數據耐久性在微處事規模仍然有待完善。 對付Hadoop的開拓氣勢氣魄來說，它要代替或替換專用的數據客棧，利用更具活力的開源系統，這尚有很長的一段路要走。