欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

歡迎來到云服務器

大數(shù)據(jù)技術

大數(shù)據(jù)管道技能 敦促Hadoop架構與開拓模式的厘革

快速數(shù)據(jù)闡明和及時處理懲罰的鼓起,大概會給大數(shù)據(jù)管道帶來必然的厘革,微處事架構正在融入Hadoop規(guī)模。

大數(shù)據(jù)管道技能 敦促Hadoop架構與開拓模式的厘革

最近幾年,開源Hadoop氣勢氣魄的數(shù)據(jù)開拓已經(jīng)得到了很大的存眷,但讓主流企業(yè)回收這種開拓模式依然用了很長時間。它在處理懲罰大數(shù)據(jù)的海量性及多樣性上有很大的代價。但它也具有必然的巨大性,它會導致數(shù)據(jù)處理懲罰系統(tǒng)構建方法的龐大厘革。

而在數(shù)據(jù)處理懲罰的速度方面,就相對簡樸了。企業(yè)需要迅速處理懲罰數(shù)據(jù),速度是企業(yè)對大數(shù)據(jù)管道發(fā)生遍及樂趣的主要原因,企業(yè)需要從批處理懲罰的數(shù)據(jù)處理懲罰方法轉(zhuǎn)變?yōu)榧皶r處理懲罰和即時數(shù)據(jù)闡明。

已往十年中,對計較機能晉升的主要目標是為了更好地應對巨大性。跟著開拓者社區(qū)的鼓起,容器和Docker,微處事已經(jīng)可以提供松散耦合的,精練的面向處事架構來應對各類復現(xiàn)性需求。并在數(shù)據(jù)一側(cè)的開拓上也投入了必然的盡力,這意味著Hadoop上的編程模式大概會發(fā)生一些變革,而在Hadoop 2上,這些變換大概更大,因為在Hadoop 2上可以開拓更遍及的漫衍式Hadoop附加組件。

容器的厘革

如今,我們看到了及時闡明應用措施所帶來的影響,它團結(jié)了差異的框架部門。 Spark,Kafka和Cassandra是個中最常見的,它們和其他技能一起構成了流式大數(shù)據(jù)管道。容器和微處事都更適合于整體架構,更為重要的是,讓這些框架可以或許協(xié)同事情不是一件容易的事。不只如此,在他們一同事情的同時,還需要對其舉辦調(diào)解和更新,以實現(xiàn)更好的融合。

在大數(shù)據(jù)架構中應用容器和微處事的辦法正變得越來越普遍。BlueData最近在其EPIC平臺上新增了用于打點Docker容器的應用,這些容器用于建設Hadoop和Spark集群。 MapR編程架構是將微處事技能應用于流和及時闡明應用措施架構的先驅(qū)。Pachyderm結(jié)構了一個容器化的處理懲罰引擎,在最近的Strata + Hadoop 2016 大會上該技能獨有鰲頭。

Mesosphere也在密切存眷著相關技能的成長,它已經(jīng)成立了一個系統(tǒng),用于運行容器和數(shù)據(jù)處事。該公司的產(chǎn)物是構建在一個開源的漫衍式系統(tǒng)內(nèi)核或群集打點器Apache Mesos上。它已經(jīng)被Airbnb,蘋果,Twitter和其他一些公司所回收。

數(shù)據(jù)點

也許對付Spark和Mesos容器處事在一起呈現(xiàn),我們并不消感想十分驚奇,因為Spark的首創(chuàng)人Matei Zaharia與Mesos的研發(fā)也有著必然的淵源。 事實上,本年Mesosphere開展的針對500名Mesos用戶的研究發(fā)明,43%的受訪者在Mesos上利用Spark;32%的受訪者在Mesos平臺上利用Kafka,24%的用戶則利用Cassandra。

另一個專注于數(shù)據(jù)闡明和微處事的新興公司是Lightbend,該公司的首創(chuàng)人包羅Scala(Spark和Akka開拓所利用語言)的發(fā)現(xiàn)者,Akka是Apache Flink中漫衍式通信的焦點,美國云服務器 江西電信服務器,也是大數(shù)據(jù)管道的另一個新興的元素。

Lightbend發(fā)明白用于快速及時數(shù)據(jù)處理懲罰應用的容器和框架之間的重大關聯(lián)。 本年早些時候,公司舉辦的一項觀測顯示,在Java虛擬機上運行應用措施的2100個開拓人員中,34%的受訪者舉辦及時大部門數(shù)據(jù)處理懲罰,22%的受訪者舉辦等量的批處理懲罰和及時處理懲罰。

在出產(chǎn)情況中利用了微處事的受訪者中,30%的人利用了Kafka,21%的人運行著Spark Streaming,這再次證實了新的數(shù)據(jù)處理懲罰框架與處事和容器要領之間的關聯(lián)。觀測還發(fā)明,這兩個框架都與另一個技能有關,那就是Akka Streams,35%的受訪者利用了它。

對付數(shù)據(jù)微處事,大大都新的基本設施仍需要構建。許多處所還需要一點點探索,開拓團隊需要找出哪些是正確的,哪些是錯誤的。

另外,數(shù)據(jù)打點的明明特征——“狀態(tài)”會話和數(shù)據(jù)耐久性在微處事規(guī)模仍然有待完善。 對付Hadoop的開拓氣勢氣魄來說,它要代替或替換專用的數(shù)據(jù)客棧,利用更具活力的開源系統(tǒng),這尚有很長的一段路要走。

騰訊云代理

Copyright © 2003-2021 MFISP.COM. 國外vps服務器租用 夢飛云服務器租用 版權所有 ? 粵ICP備11019662號

主站蜘蛛池模板: 浦东新区| 静海县| 五家渠市| 洪江市| 海淀区| 大名县| 西乌珠穆沁旗| 区。| 巴彦淖尔市| 江都市| 临城县| 红河县| 会昌县| 彰化市| 光山县| 土默特右旗| 和林格尔县| 中卫市| 临颍县| 陇西县| 海安县| 桑植县| 如皋市| 衢州市| 醴陵市| 太谷县| 淳安县| 开化县| 涟水县| 巴林左旗| 尤溪县| 湖北省| 永城市| 临安市| 曲阳县| 罗平县| 衡东县| 迁西县| 莎车县| 封开县| 扎鲁特旗|