企業可以操作Hadoop以及所有與它相關的技能設計大數據情況，以滿意其特定的需求。但把所有的技能集成在一起并不是一件容易的事。

IT團隊尋求構建大數據架構時有大量的技能可供選擇，他們可以殽雜搭配各類技能以滿意數據處理懲罰和闡明需求。可是有一個問題存在：把所有需要的技能框架組合到一起是一項難題的任務。

在不絕擴展的Hadoop生態系統中，選擇和陳設符合的大數據技能是一個恒久重復的進程，周期要以年計。除非公司打點者愿花大量財力和資源來加快敦促項目。選擇技能的進程中有失誤判定是很常見的，一家公司的架構藍圖不必然合用于另一家組織，即即是完全溝通的行業也不可。

Bryan Lari是美國德克薩斯州大學MD安德森癌癥研究中心（位于休斯頓）研究闡明主任，他說：“我常常跟人說，這不是像你在亞馬遜下個訂單可能從蘋果商店買個對象那么簡樸的事。這是一件巨大的事，它需要一個進程。我們在半年可能一年之內是做不完的。這也不是可以套用公式就能應用的技能，盡量有許多案例可能用戶有樂成履歷，但我們也大概用差異的東西來滿意我們的需求。”

MD安德森的大數據情況會合在Hadoop集群中，在三月份的時候投入了出產情況，劈頭規劃用來處理懲罰病人房間監督設備傳輸返來的重要信號數據。不外，數據湖平臺還包羅HBase（與Hadoop共同的NoSQL數據庫），美國云服務器 韓國vps云主機，Hive（Hadoop支持SQL的軟件），尚有各類其他Apache開源技能，譬喻：Pig、Sqoop、Oozie和Zookeeper。另外，這家癌癥治療和研究組織還陳設了Oracle數據客棧作為信息庫來支持闡明和報表應用，尚有IBM的Watson認知計較系統提供自然語言處理懲罰和呆板進修成果。將來呈現新的數據可視化、管理和安詳東西也一定會參加進來。

MD安德森癌癥中心的IT團隊在2015年頭就開始利用Hadoop。為了演示大概的應用環境同時熟悉該技能，該中心首先利用根基的Apache Hadoop軟件構建了試點集群情況。厥后，他們陳設了Hadoop Hortonworks漫衍式架構用于出產情況。

Vamshi Punugoti是MD安德森癌癥中興研究信息系統的副主任，他說從這次試點項目中獲得的履歷可以使他們處理懲罰架構調解更容易。跟著新的大數據東西呈現，總會有調解架構的大概性，必然需要成果加強可能替換組件。Punugoti說：“這是個一連更新的進程，包羅我們收集到的數據都在不絕變革著。假如我們認為(現有架構)可以處理懲罰一切那就太天真了。”

演進更好的架構

Uber平臺工程師團隊花了約莫一年時間設計了多層大數據架構，可是這么多技能組件搭建的有點急遽。Uber公司Hadoop團隊高級工程師Vinoth Chandar說，該公司的現有系統跟不上業務運營帶來的快速增長的數據量。功效，大部門數據不能舉辦及時闡明，Chandar認為這對付Uber公司建議實質性“及時叫車”理念來說是個大問題。

為了輔佐運營司理實現數據驅動，Chandar和他的同事們搭建了Hadoop數據湖情況，個中包羅HBase、Hive、Spark處理懲罰引擎、Kafka動靜行列系統，尚有其它一些技能。個中一些技能是內部構建的，譬喻：有一款數據提取東西Streamific。

有了該架構之后，Uber公司將追趕大數據和闡明的藝術狀態。可是，這并不是容易做到的。他半惡作劇地增補說：“為了把這些技能組件整合到一起，我們十小我私家險些一年沒有睡覺。”

架構的挑戰對付組織來說可不是鬧著玩的。Gartner咨詢公司預測，到2018年，70%的Hadoop陳設將無法實現他們節省本錢和收入增長的方針，主要原因是技術不敷和技能整合堅苦。Gartner公司闡明師Merv Adrian說，整合障礙還在加劇，Hadoop分發商與大數據技能有關的數字還在穩步攀升，這代表了陳設Hadoop的公司對Hadoop技能支持的需求量趨勢。

在2016年太平洋西北地域BI峰會上，Adrian羅列了46種Hadoop相關的開源技能創新，這些產物都是由一家可能多家分發商提供支持處事的。可是，要把這些組件放到大數據架構中卻是留給利用方的事情。“大大都Hadoop項目都像是藝術事情，我們都要把這些技能組件整合到一起利用。”

執行進程中的變革

這種整合拼湊事情長短常難題的任務，即便Hadoop不是框架中的一部門。Celtra公司提供了一個平臺可以設計在線顯示和視頻告白，有幾部門已經在基于云的處理懲罰架構中連續陳設了，此刻正把Spark及其SQL模塊整合到Amazon簡樸存儲處事(S3)、MySQL干系型數據庫和Snowflake計較的數據客棧系統。

Grega Kespret是這家波士頓公司的闡明總監，他說：“我們經驗了很多實驗和錯誤。較量有挑戰的是要設計一套架構滿意業務需求，但還不能太過設計。”他提醒說，假如你做了，大概會以一片雜亂而了卻。