現(xiàn)在，數(shù)據(jù)隨處生成，數(shù)據(jù)量呈指數(shù)增長。來自 Web 服務器、應用程序服務器、數(shù)據(jù)庫服務器的數(shù)據(jù)以用戶信息、日志文件和系統(tǒng)狀態(tài)信息的形式提供。大量的數(shù)據(jù)也由物聯(lián)網(wǎng)設備產(chǎn)生，如傳感器、車輛、工業(yè)設備等。從科學模擬模型生成的數(shù)據(jù)也是大數(shù)據(jù)的來源之一。使用傳統(tǒng)軟件工具來存儲和執(zhí)行這些數(shù)據(jù)的分析可能很困難，而 Hadoop 可以解決這個問題。
看一個用例場景 —— 大量的數(shù)據(jù)存儲在關系數(shù)據(jù)庫管理系統(tǒng)環(huán)境中。當數(shù)據(jù)集越來越大時， RDBMS ( 關系數(shù)據(jù)庫管理系統(tǒng) Relational Database Management System )表現(xiàn)不佳。而且這個問題會隨著數(shù)據(jù)集的增長而越發(fā)嚴重。在這個階段，避免采用 NoSQL 。需要以具有成本效益的方式存儲和處理大量數(shù)據(jù)。應該依賴非虛擬化環(huán)境中的高端服務器嗎?要求是隨時擴展集群，需要一個更好的儀表板來管理其所有組件。
計劃在 OpenStack 之上建立一個 Hadoop 集群并創(chuàng)建 ETL ( Extract-Transform-Load)作業(yè)環(huán)境。Hadoop 是一個行業(yè)標準框架，用于存儲和分析具有容錯 Hadoop 分布式文件系統(tǒng)和 MapReduce 實施的大型數(shù)據(jù)集。然而，可伸縮性在典型的 Hadoop 集群中是一個非常普遍的問題。
Openstack 推出了一個名為 Sahara 的項目 —— 數(shù)據(jù)處理即服務。 Openstack Sahara 旨在配置和管理數(shù)據(jù)處理框架，如集群拓撲中的 hadoop mapreduce、spark和Storm 。該項目與 Amazon Elastic MapReduce(EMR) 服務提供的數(shù)據(jù)分析平臺類似。Openstack Sahara 可在幾分鐘內(nèi)部署集群。此外，Openstack Sahara 可以根據(jù)需求通過添加或刪除工作節(jié)點來伸縮集群。
使用 Openstack Sahara 管理 Hadoop 集群的好處
——集群可以更快地提供且易于配置。
——像其他 OpenStack 服務一樣，Sahara 服務可以通過強大的 REST API、CLI 和 Horizon 儀表板進行管理。
——插件可用于支持 Vannila(Apache Hadoop)、HDP(ambari)、CDH(Cloudera)、MapR、Spark、Storm 等多個 Hadoop 供應商。
——集群大小可根據(jù)需求進行伸縮。
——可以與 OpenStack Swift 集成以存儲由 Hadoop和 Spark 處理的數(shù)據(jù)。
——集群監(jiān)控變得簡單。
——除集群配置外，Sahara 還可以用作分析即服務，用于臨時或突發(fā)分析工作負載。
架構
Openstack Sahara 旨在利用 OpenStack 的核心服務和其他完全托管服務。這使 Sahara 更加可靠并且能夠有效地管理 Hadoop 集群，你可以選擇使用包括 Trove( OpenStack 數(shù)據(jù)服務組件，允許用戶對關系型數(shù)據(jù)庫進行管理，實現(xiàn)了 Mysql 實例的異步復制和提供 PostgreSQL 數(shù)據(jù)庫的實例。) 和 Swift 在內(nèi)的服務。來看看 Sahara 的架構。
—— Sahara 服務有一個 API 服務器，它響應來自最終用戶的 HTTP 請求并與其他 OpenStack 服務交互以執(zhí)行其功能。
—— Keystone (身份即服務)對用戶進行身份驗證，并提供用于與 OpenStack 配合使用的安全令牌，將用戶在 Sahara 中的能力限制為其 OpenStack 權限。
—— Heat (編排即服務)用于配置和編排數(shù)據(jù)處理集群的部署。
—— Glance(虛擬機鏡像即服務)使用操作系統(tǒng)和預安裝的 Hadoop / Spark 軟件包存儲 VM 鏡像以創(chuàng)建數(shù)據(jù)處理集群。
—— Nova (計算)為數(shù)據(jù)處理集群提供虛擬機。
—— Ironic(裸機即服務)為數(shù)據(jù)處理集群提供裸機節(jié)點。
—— Neutron(網(wǎng)絡)便于網(wǎng)絡服務從基礎到高級拓撲訪問數(shù)據(jù)處理集群。
—— Cinder(塊存儲)為集群節(jié)點提供持久存儲介質(zhì)。
—— Swift(對象存儲)提供可靠的存儲來保存作業(yè)二進制文件和由hadoop / spark處理的數(shù)據(jù)。
—— Designate(DNS即服務)提供托管區(qū)域以保留集群實例的DNS記錄。 Hadoop服務通過主機名與群集實例進行通信。
—— Ceilometer(telrmetry)收集和存儲有關用于計量和監(jiān)控目的的集群指標。
—— Manila(文件共享)可用于存儲作業(yè)創(chuàng)建的作業(yè)二進制文件和數(shù)據(jù)。
—— Barbican(密鑰管理服務)安全地存儲密碼和私鑰等敏感數(shù)據(jù)。
——Trove(數(shù)據(jù)庫即服務)為 hive metastore 提供數(shù)據(jù)庫實例，并存儲 Hadoop 服務和其他管理服務的狀態(tài)。
如何建立Sahara集群
請按照部署 Sahara 安裝指南中的步驟操作。不同的部署環(huán)境有不同的方式，免備案空間 香港服務器，如果你想要試驗， Kolla 也是一個不錯的選擇。
你還可以通過 Horizon 儀表板管理 Sahara 項目。
用Sahara集群ETL(提取、轉(zhuǎn)換和加載)或ELT(提取、加載和轉(zhuǎn)換)
市場上有很多 ETL 工具可用。
傳統(tǒng)數(shù)據(jù)倉庫有其自身的優(yōu)點和局限性，例如它可能位于數(shù)據(jù)源以外的其他位置。Hadoop 是運行 ETL 作業(yè)的理想平臺。
