Hadoop在一些企業陳設時，往往會碰著多個用戶各自建設的數據處理懲罰事情的環境。這些事情都運行在同一個Hadoop系統上時，他們之間大概會互相斗嘴，爭奪可用的處理懲罰器資源。

David Clubb，在移動游戲平臺和市場公司Chartboost的高級數據工程師，試圖優化大數據技能，晉升產物體驗時，也碰著了Hadoop集群打點的問題。“我們正在更新Hadoop軟件，并試圖將其遷移到新的集群，但并沒有找到監控集群的好要領,”Clubb說道。“你可以看到事情在運行，但你卻不能看到其所利用的資源。”

這樣顯然不太好，因為低優先級的提取、轉換和加載進程和闡明事情大概會占用CPU周期，而具有更高的優先級的事情，譬喻及時的陳訴，所得到的 CPU周期就會相對淘汰。與此同時，集群中的一些計較節點大概沒有被充實操作，Clubb說道。這個問題促使他實現了一套新的軟件，提供一個更便捷的窗口來調查集群資源的勾當和和及時優化處理懲罰東西的事情負載，個中包羅MapReduce、Hive和Spark等應用措施。

用了YARN，卻在原地踏步

本年安裝的Hadoop系統天天處理懲罰10億多個事件，建設一個復雜的數據池，以供業務產物線司理利用，通過這些數據，產物司理可以相識 Chartboost平臺被玩家和游戲開拓者利用的環境。首先，Chartboost，運行在Cloudera陳設在Amazon Web Services 云情況上的Hadoop漫衍式平臺上，僅僅依靠開源框架內置的Hadoop YARN調治措施調解其事情負載。但利用YARN，并沒有讓這家舊金山的公司能對高優先級事情有什么非凡的處理懲罰，Clubb說。 他增補說道，Hadoop建設了一些信息，用于集群打點，但由于其開源的架構的特性，數據被分到差異的處所。廉價的劇本可以辦理的一些打點問題，但照舊不敷以辦理所有問題。

厥后，Clubb發明創業公司Pepperdata可以或許提供更深條理的視圖，通過該視圖可以調查Hadoop集群的I / O、內存和CPU利用環境。對付Chartboost更重要的是，Pepperdata軟件可以自動低落低優先級事情的占用，給以高優先級應用措施特另外運行空間，并確保集群中所有的計較節點盡大概被有效地操作。

“我們試圖找出打點事情負載的最好方法——你必定不想太過利用或未充實利用你的節點,”Clubb說道。“Pepperdata讓硬件的利用更高效。它可以動態地調解事情。” 利用這個軟件，淘汰了公司所需集群節點的數量，節省了Chartboost在云計較上的耗費。Clubb說，其Hadoop系統今朝有22個節點，本來的陳設時則有33個節點。

多重Hadoop打點選項

Pepperdata是很多供給商中的一員，這些供給商包羅傳統的系統打點軟件制造商，Hadoop漫衍提供者和雷同Concurrent之類的創業公司，他們采納差異的方法來舉辦Hadoop集群打點流程的自動化。位于Sunnyvale, Calif的Pepperdata公司首創人之一，Chad Carson暗示，基于處理懲罰優先級的自適應調解是Pepperdata軟件的要害元素。 當公司把Hadoop大數據處事投入到出產利用中，IT團隊大概需要將擔保應用措施的機能作為處事程度協議的一部門，Carson 說。他認為，領略如何操作Hadoop集群資源，并按照所需進動作態修改，對付企業來說會越來越重要。

Hadoop生態系統的新成員，好比Apache Spark處理懲罰引擎，大概會進一步加劇集群打點問題，Carson增補說。“Spark能做的更多，也更快，”他說。”但它在利用中存在岑嶺期，你會看到 Spark的事情滋擾到了其他事情。可能你會看到一個Spark或HBase事情負載被延遲所約束，或被低優先級的MapReduce[事情]過問干與。”

Hadoop集群打點中的“交通警員”

像Pepperdata一類的軟件可以輔佐企業辦理一些阻礙Hadoop利用的問題，，Mike Matchett—位于Hopkinton, Mass的 Taneja Group公司闡明師如是說。 “做一個應用措施機能打點系統是一回事——而做一個可以動態地優化系統的及時節制器是別的一碼事，”Matchett 說道。“假如陳設了一個大的集群，且用于多重用途，那么你就需要一個“交通警員”。 對付Clubb來說，下一步大概會增加Spark的利用，以處理懲罰Hadoop數據。他提到，早前的事情，利用Pepperdata的軟件支持處理懲罰引擎對 Chartboost有了努力的功效。Clubb說，他有信心可以遷移更多的事情流到Spark，且不會碰著之前的集群打點問題，“更多事情意味著你更有大概耗盡所有的資源。”