中國IDC圈5月20日報道,可憐的MapReduce,直到2013年尾,都是Hadoop系統中的要害一環,在這個開源大數據處理懲罰框架中,它既是集群的資源打點器,又作為主要編程手段和處理懲罰情況存在。但如今看來,環境正在產生變革。
Apache Software Foundation的Hadoop 2版本添加了一個名叫YARN的新技能,代替了MapReduce的資源打點腳色,并將Hadoop成長成了逾越MapReduce批處理懲罰功課的應用措施。今朝有許多廠商推出了SQL-on-Hadoop東西,讓用戶編寫針對Hadoop數據闡明查詢的尺度SQL,以取代MapReduce。Spark 處理懲罰引擎也應運而生,其支持者聲稱它運行批處理懲罰功課的速度比MapReduce快100多倍,而且支持時下風行的高級編程語言,如Java和Python 等。
跟著上述新興技能的呈現,MapReduce已經不再像以往那么重要,就像一個陳腐的蒸汽引擎被迫讓位于更時尚的柴油機車一樣。這個現實在紐約 Strata + Hadoop World 2015 集會會議后更為凸顯,在此次集會會議中,與會者遍及接頭了掙脫MapReduce的議題。用一位講話人的話說,“掙脫MapReduce,盡快和盡大概多地掙脫。”
MapReduce Geospatial 的呈現,將這一“去MapReduce化”的情緒推向了巔峰,它是一個開源東西包,用于處理懲罰衛星圖像和其他大型的柵格數據集。它促使開拓者轉變原有被稱為 MrGeo的開拓技能,從MapReduce轉而利用Spark。這樣做的功效是得到了更高的機能,且代碼庫容量淘汰了25%,衛星成像闡明公司(DigitalGlobe)的闡明主管Smith 認可,是時候為東西包起一個新的名字了。
不只僅是MapReduce, HDFS (Hadoop漫衍式文件系統)——Hadoop的其他焦點構成部門的代表,也有大概被代替。在Strata 集會會議上,Hadoop供給分銷商的領頭羊Cloudera發布了一種名為Kudu的柱狀數據存儲,作為HDFS在及時流數據闡明方面的一個潛在替代技能。 Hortonworks,另一個Hadoop供給商,推出了一個單獨的軟件來打點差異系統之間的數據流,HDFS的職位受到了威脅。
MapReduce和HDFS很快就會消失。盡量今朝有許多應用措施基于二者構建,,大量的Hadoop用戶仍會利用它們來完成一些大數據處理懲罰的需要。但今后陳設Hadoop系統將不再需要這兩種技能的環境將不行制止。
他們真的還會是Hadoop集群嗎?這是一個存亡攸關的問題。但Hadoop的進化,可能身份危機也許是大數據時代帶來的易變性數據打點情況所激發厘革的一個縮影。各類干系數據庫和SQL一枝獨秀的時代一去不返了。我們糊口在一個多元的世界,這個世界存在各類技能,滿意著差異的數據處理懲罰和闡明的需要。雖然干系型軟件也在個中,另外還包羅由Hadoop,Spark,NoSQL數據庫以及其他大數據東西構成的復雜且不絕擴張的生態系統。Hadoop處于這個生態系統的中心位置,但這個位置并不是永久的,很大概在未來的某一天被其他技能所代替。