Apache Hadoop 是最風(fēng)行的大數(shù)據(jù)處理懲罰東西之一。它多年來被很多公司樂成陳設(shè)在出產(chǎn)中。盡量 Hadoop 被視為靠得住的、可擴(kuò)展的、富有本錢效益的辦理方案，但大型開拓人員社區(qū)仍在不絕改造它。最終，2.0 版提供了多項(xiàng)革命性成果，個(gè)中包羅 Yet Another Resource Negotiator (YARN)、HDFS Federation 和一個(gè)高度可用的 NameNode，它使得 Hadoop 集群越發(fā)高效、強(qiáng)大和靠得住。在本文中，將對(duì) YARN 與 Hadoop 中的漫衍式處理懲罰層的以前版本舉辦較量，相識(shí) YARN 所帶來的優(yōu)勢(shì)。

簡介

Apache Hadoop 2.0 包括 YARN，，它將資源打點(diǎn)和處理懲罰組件分隔。基于 YARN 的架構(gòu)不受 MapReduce 約束。本文將先容 YARN，以及它相對(duì)付 Hadoop 中以前的漫衍式處理懲罰層的一些優(yōu)勢(shì)。本文將相識(shí)如何利用 YARN 的可伸縮性、效率和機(jī)動(dòng)性加強(qiáng)您的集群。

Apache Hadoop 簡介

Apache Hadoop 是一個(gè)開源軟件框架，可安裝在一個(gè)商用呆板集群中，使呆板可互相通信并協(xié)同事情，以高度漫衍式的方法配合存儲(chǔ)和處理懲罰大量數(shù)據(jù)。最初，Hadoop 包括以下兩個(gè)主要組件：Hadoop Distributed File System (HDFS) 和一個(gè)漫衍式計(jì)較引擎，該引擎支持以 MapReduce 功課的形式實(shí)現(xiàn)和運(yùn)行措施。

MapReduce 是 Google 推廣的一個(gè)簡樸的編程模子，它對(duì)以高度并行和可擴(kuò)展的方法處理懲罰大數(shù)據(jù)集很有用。MapReduce 的靈感來歷于函數(shù)式編程，用戶可將他們的計(jì)較表達(dá)為 map 和 reduce 函數(shù)，將數(shù)據(jù)作為鍵值對(duì)來處理懲罰。Hadoop 提供了一個(gè)高級(jí) API 來在各類語言中實(shí)現(xiàn)自界說的 map 和 reduce 函數(shù)。

Hadoop 還提供了軟件基本架構(gòu)，以一系列 map 和 reduce 任務(wù)的形式運(yùn)行 MapReduce 功課。Map 任務(wù) 在輸入數(shù)據(jù)的子集上挪用 map 函數(shù)。在完成這些挪用后，reduce 任務(wù) 開始在 map 函數(shù)所生成的中間數(shù)據(jù)上挪用 reduce 任務(wù)，生成最終的輸出。 map 和 reduce 任務(wù)互相單獨(dú)運(yùn)行，這支持并行和容錯(cuò)的計(jì)較。

最重要的是，Hadoop 基本架構(gòu)認(rèn)真處理懲罰漫衍式處理懲罰的所有巨大方面：并行化、調(diào)治、資源打點(diǎn)、呆板間通信、軟件和硬件妨礙處理懲罰，等等。得益于這種清潔的抽象，實(shí)現(xiàn)處理懲罰數(shù)百（可能甚至數(shù)千）個(gè)呆板上的數(shù) TB 數(shù)據(jù)的漫衍式應(yīng)用措施從未像此刻這么容易過，甚至對(duì)付之前沒有利用漫衍式系統(tǒng)的履歷的開拓人員也是如此。

Hadoop 的黃金時(shí)代

盡量 MapReduce 模子存在著多種開源實(shí)現(xiàn)，但 Hadoop MapReduce 很快就變得很是風(fēng)行。Hadoop 也是全球最令人歡快的開源項(xiàng)目之一，它提供了多項(xiàng)精彩的成果：高級(jí) API、近線性的可伸縮性、開源許可、在商用硬件上運(yùn)行的本領(lǐng)，以及容錯(cuò)。它已得到數(shù)百（或者已達(dá)數(shù)千）個(gè)公司的樂成陳設(shè)，是大局限漫衍式存儲(chǔ)和處理懲罰的最新尺度。

一些早期的 Hadoop 回收者，好比 Yahoo! 和 Facebook，構(gòu)建了包括 4,000 個(gè)節(jié)點(diǎn)的大型集群，以滿意不絕增長和變革的數(shù)據(jù)處理懲罰需求。可是，在構(gòu)建本身的集群后，他們開始留意到了 Hadoop MapReduce 框架的一些范圍性。

經(jīng)典 MapReduce 的范圍性

經(jīng)典 MapReduce 的最嚴(yán)重的限制主要干系到可伸縮性、資源操作和對(duì)與 MapReduce 差異的事情負(fù)載的支持。在 MapReduce 框架中，功課執(zhí)行受兩種范例的歷程節(jié)制：

一個(gè)稱為 JobTracker 的主要?dú)v程，它協(xié)調(diào)在集群上運(yùn)行的所有功課，分派要在 TaskTracker 上運(yùn)行的 map 和 reduce 任務(wù)。

很多稱為 TaskTracker 的下級(jí)歷程，它們運(yùn)行分派的任務(wù)并按期向 JobTracker 陳訴進(jìn)度。

Apache Hadoop 的經(jīng)典版本 (MRv1)

該圖顯示了 Apache Hadoop 的經(jīng)典版本 (MRv1)

大型的 Hadoop 集群顯現(xiàn)出了由單個(gè) JobTracker 導(dǎo)致的可伸縮性瓶頸。依據(jù) Yahoo!，在集群中有 5,000 個(gè)節(jié)點(diǎn)和 40,000 個(gè)任務(wù)同時(shí)運(yùn)行時(shí)，這樣一種設(shè)計(jì)實(shí)際上就會(huì)受到限制。由于此限制，必需建設(shè)和維護(hù)更小的、成果更差的集群。

另外，較小和較大的 Hadoop 集群都從未最高效地利用他們的計(jì)較資源。在 Hadoop MapReduce 中，每個(gè)從屬節(jié)點(diǎn)上的計(jì)較資源由集群打點(diǎn)員解析為牢靠命量的 map 和 reduce slot，這些 slot 不行替代。設(shè)定 map slot 和 reduce slot 的數(shù)量后，節(jié)點(diǎn)在任何時(shí)刻都不能運(yùn)行比 map slot 更多的 map 任務(wù)，縱然沒有 reduce 任務(wù)在運(yùn)行。這影響了集群的操作率，因?yàn)樵谒?map slot 都被利用（并且我們還需要更多）時(shí)，我們無法利用任何 reduce slot，縱然它們可用，反之亦然。

最后但同樣重要的是，Hadoop 設(shè)計(jì)為僅運(yùn)行 MapReduce 功課。跟著替代性的編程模子（好比 Apache Giraph 所提供的圖形處理懲罰）的到來，除 MapReduce 外，越來越需要為可通過高效的、公正的方法在同一個(gè)集群上運(yùn)行并共享資源的其他編程模子提供支持。

2010 年，Yahoo! 的工程師開始研究一種全新的 Hadoop 架構(gòu)，用這種架構(gòu)來辦理上述所有限制并增加多種附加成果。

辦理可伸縮性問題

在 Hadoop MapReduce 中，JobTracker 具有兩種差異的職責(zé)：