大數(shù)據(jù)的發(fā)展帶來了新的挑戰(zhàn)，需要新的解決方案。前所未有地，服務器需要實時處理、分類和存儲大量數(shù)據(jù)。這一挑戰(zhàn)導致了新平臺的出現(xiàn)，例如 Apache Hadoop，它可以輕松處理大型數(shù)據(jù)集。在本文中，您將了解 Hadoop 是什么，它的主要組件是什么，以及 Apache Hadoop 如何幫助處理大數(shù)據(jù)。

什么是 Hadoop？

Apache Hadoop軟件庫 是一個開源框架，可讓您在分布式計算環(huán)境中高效地管理和處理大數(shù)據(jù)。

Apache Hadoop 由 四個主要模塊組成：

Hadoop 分布式文件系統(tǒng) (HDFS)

數(shù)據(jù)駐留在 Hadoop 的分布式文件系統(tǒng)中，類似于典型計算機上的本地文件系統(tǒng)。與傳統(tǒng)文件系統(tǒng)相比，HDFS 提供了更好的數(shù)據(jù)吞吐量。此外，HDFS 提供了出色的可擴展性。您可以在商用硬件上輕松地從單臺機器擴展到數(shù)千臺。

又一個資源談判者 (YARN)

YARN 有助于計劃任務、整體管理和監(jiān)控集群節(jié)點和其他資源。

MapReduce

Hadoop MapReduce 模塊幫助程序執(zhí)行并行數(shù)據(jù)計算。 MapReduce 的 Map 任務將輸入數(shù)據(jù)轉(zhuǎn)換為鍵值對。減少任務消耗輸入，聚合它，并產(chǎn)生結(jié)果。

Hadoop 通用

Hadoop Common 在每個模塊中都使用標準 Java 庫。

為什么要開發(fā)Hadoop？

萬維網(wǎng)在過去十年中呈指數(shù)級增長，現(xiàn)在它由數(shù)十億頁組成。由于數(shù)量龐大，在線搜索信息變得困難。這些數(shù)據(jù)變成了大數(shù)據(jù)，它包含兩個主要問題：

1. 難以以高效且易于檢索的方式存儲所有這些數(shù)據(jù)
2. 處理存儲數(shù)據(jù)的困難

開發(fā)人員參與了許多開源項目，通過解決上述問題，更快、更有效地返回 Web 搜索結(jié)果。他們的解決方案是跨服務器集群分配數(shù)據(jù)和計算，以實現(xiàn)同時處理。最終，Hadoop 成為了這些問題的解決方案，并帶來了許多其他好處，包括降低服務器部署成本。

Hadoop 大數(shù)據(jù)處理如何工作？

使用Hadoop，我們利用集群的存儲和處理能力，實現(xiàn)大數(shù)據(jù)的分布式處理。從本質(zhì)上講，Hadoop 提供了一個基礎，您可以在此基礎上構(gòu)建其他應用程序來處理大數(shù)據(jù)。

以不同格式收集數(shù)據(jù)的應用程序通過 Hadoop 的 API 將它們存儲在 Hadoop 集群中，該 API 連接到 NameNode。NameNode 捕獲文件目錄的結(jié)構(gòu)以及創(chuàng)建的每個文件的“塊”位置。Hadoop 跨 DataNode 復制這些塊以進行并行處理。

MapReduce 執(zhí)行數(shù)據(jù)查詢。它映射出所有的DataNodes并減少與HDFS中的數(shù)據(jù)相關(guān)的任務。名稱“MapReduce”本身描述了它的作用。映射任務在每個節(jié)點上針對提供的輸入文件運行，而 reducer 運行以鏈接數(shù)據(jù)并組織最終輸出。

Hadoop 大數(shù)據(jù)工具

Hadoop 的生態(tài)系統(tǒng)支持各種開源大數(shù)據(jù)工具。這些工具補充了 Hadoop 的核心組件并增強了其處理大數(shù)據(jù)的能力。

最有用的大數(shù)據(jù)處理工具包括：

Apache Hive

Apache Hive 是一個數(shù)據(jù)倉庫，用于處理存儲在 Hadoop 文件系統(tǒng)中的大量數(shù)據(jù)。

Apache Zookeeper

Apache Zookeeper 自動進行故障轉(zhuǎn)移并減少失敗 NameNode 的影響。

Apache HBase

Apache HBase 是用于 Hadoop 的開源非關(guān)系數(shù)據(jù)庫。

Apache Flume

Apache Flume 是一種分布式服務，用于流式傳輸大量日志數(shù)據(jù)。

Apache Sqoop

Apache Sqoop 是一個命令行工具，用于在 Hadoop 和關(guān)系數(shù)據(jù)庫之間遷移數(shù)據(jù)。

Apache Pig

Apache Pig 是 Apache 的開發(fā)平臺，用于開發(fā)在 Hadoop 上運行的作業(yè)。使用的軟件語言是 Pig Latin。

Apache Oozie

Apache Oozie 是一個有助于管理 Hadoop 作業(yè)的調(diào)度系統(tǒng)。

Apache HCatalog

Apache HCatalog 是一個存儲和表管理工具，用于對來自不同數(shù)據(jù)處理工具的數(shù)據(jù)進行排序。

Hadoop的優(yōu)勢

Hadoop 是一種強大的大數(shù)據(jù)處理解決方案，是處理大數(shù)據(jù)的企業(yè)的必備工具。

Hadoop的主要特點和優(yōu)勢詳述如下：

更快地存儲和處理大量數(shù)據(jù)

隨著社交媒體和物聯(lián)網(wǎng) (IoT) 的到來，要存儲的數(shù)據(jù)量急劇增加。這些數(shù)據(jù)集的存儲和處理對于擁有它們的企業(yè)至關(guān)重要。

靈活性

Hadoop 的靈活性允許您保存非結(jié)構(gòu)化數(shù)據(jù)類型，例如文本、符號、圖像和視頻。在 RDBMS 等傳統(tǒng)關(guān)系數(shù)據(jù)庫中，您需要在存儲數(shù)據(jù)之前對其進行處理。但是，使用 Hadoop，不需要預處理數(shù)據(jù)，因為您可以按原樣存儲數(shù)據(jù)并決定以后如何處理它。換句話說，它的行為類似于 NoSQL 數(shù)據(jù)庫。

處理能力

Hadoop 通過分布式計算模型處理大數(shù)據(jù)。它對處理能力的有效利用使其既快速又高效。

降低成本

許多團隊在 Hadoop 等框架出現(xiàn)之前就放棄了他們的項目，因為它們產(chǎn)生的成本很高。Hadoop 是一個開源框架，它可以免費使用，并且它使用廉價的商品硬件來存儲數(shù)據(jù)。

可擴展性

Hadoop 讓您無需太多管理即可快速擴展系統(tǒng)，只需更改集群中的節(jié)點數(shù)量即可。

容錯

使用分布式數(shù)據(jù)模型的眾多優(yōu)點之一是它能夠容忍故障。Hadoop 不依賴硬件來維持可用性。如果一個設備發(fā)生故障，系統(tǒng)會自動將任務重定向到另一個設備。容錯是可能的，因為通過在集群中保存多個數(shù)據(jù)副本來維護冗余數(shù)據(jù)。換句話說，高可用性是在軟件層維護的。

三個主要用例

處理大數(shù)據(jù)

對于海量數(shù)據(jù)，我們建議使用 Hadoop，通常在 PB 或更多的范圍內(nèi)。它更適合需要巨大處理能力的海量數(shù)據(jù)。對于處理數(shù)百 GB 范圍內(nèi)的少量數(shù)據(jù)的組織而言，Hadoop 可能不是最佳選擇。

存儲多樣化的數(shù)據(jù)集

使用 Hadoop 的眾多優(yōu)點之一是它很靈活并且支持各種數(shù)據(jù)類型。無論數(shù)據(jù)是由文本、圖像還是視頻數(shù)據(jù)組成，Hadoop 都可以有效地存儲它。組織可以根據(jù)需要選擇處理數(shù)據(jù)的方式。Hadoop 具有數(shù)據(jù)湖的特征，因為它為存儲的數(shù)據(jù)提供了靈活性。

并行數(shù)據(jù)處理

Hadoop 中使用的 MapReduce 算法協(xié)調(diào)存儲數(shù)據(jù)的并行處理，這意味著您可以同時執(zhí)行多個任務。但是，不允許聯(lián)合操作，因為它會混淆 Hadoop 中的標準方法。只要數(shù)據(jù)彼此獨立，它就包含并行性。

Hadoop 在現(xiàn)實世界中的用途是什么

世界各地的公司都在使用 Hadoop 大數(shù)據(jù)處理系統(tǒng)。下面列出了 Hadoop 的許多實際用途中的一些：

了解客戶需求

目前，Hadoop 已被證明在了解客戶需求方面非常有用。金融行業(yè)和社交媒體的主要公司使用這項技術(shù)通過分析有關(guān)客戶活動的大數(shù)據(jù)來了解客戶需求。

公司使用這些數(shù)據(jù)為客戶提供個性化的優(yōu)惠。您可能已經(jīng)通過根據(jù)我們的興趣和互聯(lián)網(wǎng)活動在社交媒體和電子商務網(wǎng)站上展示的廣告體驗到這一點。

優(yōu)化業(yè)務流程

Hadoop 通過更好地分析業(yè)務和客戶數(shù)據(jù)來幫助優(yōu)化業(yè)務績效。趨勢分析和預測分析可以幫助企業(yè)定制產(chǎn)品和庫存以增加銷售額。這樣的分析將有助于做出更好的決策并帶來更高的利潤。此外，公司使用 Hadoop 通過收集有關(guān)他們相互交互的數(shù)據(jù)來監(jiān)控員工行為來改善他們的工作環(huán)境。

改善醫(yī)療保健服務

醫(yī)療行業(yè)的機構(gòu)可以使用 Hadoop 來監(jiān)控有關(guān)健康問題和醫(yī)療結(jié)果的大量數(shù)據(jù)。研究人員可以分析這些數(shù)據(jù)以識別健康問題、預測藥物治療并決定治療計劃。這種改進將使各國能夠迅速改善其衛(wèi)生服務。

金融交易

Hadoop 擁有一種復雜的算法，可以使用預定義的設置掃描市場數(shù)據(jù)，以識別交易機會和季節(jié)性趨勢。金融公司可以通過 Hadoop 的強大功能自動化大部分這些操作。

將 Hadoop 用于 IoT 物

聯(lián)網(wǎng)設備取決于數(shù)據(jù)的可用性以有效運行。制造商和發(fā)明者使用 Hadoop 作為數(shù)十億交易的數(shù)據(jù)倉庫。由于物聯(lián)網(wǎng)是一個數(shù)據(jù)流概念，Hadoop 是管理其包含的大量數(shù)據(jù)的合適且實用的解決方案。Hadoop 不斷更新，使我們能夠改進物聯(lián)網(wǎng)平臺使用的指令。

Hadoop 的其他實際用途包括提高設備性能、提高個人量化和性能優(yōu)化、提高運動和科學研究。

使用 Hadoop 的挑戰(zhàn)是什么？

每個應用程序都具有優(yōu)勢和挑戰(zhàn)。Hadoop 還引入了幾個挑戰(zhàn)：

MapReduce 算法并不總是解決方案

MapReduce 算法并不支持所有場景。它適用于簡單的信息請求和分塊成獨立單元的問題，但不適用于迭代任務。MapReduce 對于高級分析計算效率低下，因為迭代算法需要密集的相互通信，并且它在 MapReduce 階段創(chuàng)建多個文件。

完全開發(fā)的數(shù)據(jù)管理

Hadoop 不提供用于數(shù)據(jù)管理、元數(shù)據(jù)和數(shù)據(jù)治理的綜合工具。此外，它缺乏數(shù)據(jù)標準化和確定質(zhì)量所需的工具。

人才缺口

由于 Hadoop 的陡峭學習曲線，很難找到具備 Java 技能的入門級程序員，這些程序員足以在 MapReduce 中發(fā)揮生產(chǎn)力。這種密集性是供應商有興趣將關(guān)系 (SQL) 數(shù)據(jù)庫技術(shù)置于 Hadoop 之上的主要原因，因為與 MapReduce 技能相比，更容易找到具備 SQL 知識而不是 MapReduce 技能的程序員。Hadoop 管理既是一門藝術(shù)，也是一門科學，需要操作系統(tǒng)、硬件和 Hadoop 內(nèi)核設置的底層知識。

數(shù)據(jù)安全

Kerberos 身份驗證協(xié)議是朝著使 Hadoop 環(huán)境安全邁出的重要一步。數(shù)據(jù)安全對于保護大數(shù)據(jù)系統(tǒng)免受碎片化數(shù)據(jù)安全問題的影響至關(guān)重要。

結(jié)論

當有效實施并采取克服挑戰(zhàn)所需的步驟時，Hadoop 在處理大數(shù)據(jù)處理方面非常有效。對于處理大量數(shù)據(jù)的公司來說，它是一種多功能工具。它的主要優(yōu)點之一是它可以在任何硬件上運行，并且 Hadoop 集群可以分布在數(shù)千臺服務器上。這種靈活性在 基礎設施即代碼環(huán)境中尤為重要。