適合大數據的漫衍式存儲與計較平臺

HDFS: Hadoop Distributed File System漫衍式文件系統

MapReduce：并行計較框架

2.Hadoop生態圈

Google Bigtable的開源實現

列式數據庫

可集群化

可以利用shell、web、api等多種方法會見

適合高讀寫(insert)的場景

HQL查詢語言

NoSQL的典范代表產物

②Hive

數據客棧東西。可以把Hadoop下的原始布局化數據釀成Hive中的表

支持一種與SQL險些完全溝通的語言HiveQL。除了不支持更新、索引和事務，險些SQL的其它特征都能支持

可以當作是從SQL到Map-Reduce的映射器

提供shell、JDBC/ODBC、Thrift、Web等接口

③Zookeeper

Google Chubby的開源實現

用于協調漫衍式系統上的各類處事。譬喻確認動靜是否精確達到，國外域名 免費域名，防備單點失效，處理懲罰負載平衡等

應用場景：Hbase，實現Namenode自動切換

事情道理：率領者，跟從者以及選舉進程

④Sqoop

用于在Hadoop和干系型數據庫之間互換數據

通過JDBC接口連入干系型數據庫

⑤Chukwa

架構在Hadoop之上的數據收羅與闡明框架

主要舉辦日志收羅和闡明

通過安裝在收集節點的“署理”收羅最原始的日志數據

署理將數據發給收集器

收集器按時將數據寫入Hadoop集群

指定按時啟動的Map-Reduce功課隊數據舉辦加工處理懲罰和闡明

⑥Pig

Hadoop客戶端

利用雷同于SQL的面向數據流的語言Pig Latin

Pig Latin可以完成排序，過濾，求和，聚組，關聯等操縱，可以支持自界說函數

Pig自動把Pig Latin映射為Map-Reduce功課上傳到集群運行，減罕用戶編寫Java措施的苦惱

⑦Avro

數據序列化東西，由Hadoop的首創人Doug Cutting主持開拓

用于支持大批量數據互換的應用。支持二進制序列化方法，可以便捷，快速地處理懲罰大量數據

動態語言友好，Avro提供的機制使動態語言可以利便地處理懲罰 Avro數據。

Thrift接口

⑧Cassandra

NoSQL，漫衍式的Key-Value型數據庫，由Facebook孝敬

與Hbase雷同，也是警惕Google Bigtable的思想體系

只有順序寫，沒有隨機寫的設計，滿意高負荷景象的機能需求

3.Hadoop生態圈流程圖