大數(shù)據(jù)平臺(tái)是對(duì)海量結(jié)構(gòu)化、非結(jié)構(gòu)化、半機(jī)構(gòu)化數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、計(jì)算、統(tǒng)計(jì)、分析處理的一系列技術(shù)平臺(tái)。大數(shù)據(jù)平臺(tái)處理的數(shù)據(jù)量通常是TB級(jí)，甚至是PB或EB級(jí)的數(shù)據(jù)，這是傳統(tǒng)數(shù)據(jù)倉庫工具無法處理完成的，其涉及的技術(shù)有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時(shí)性計(jì)算等，匯集了當(dāng)前IT領(lǐng)域熱門流行的各類技術(shù)。

本文整理了大數(shù)據(jù)平臺(tái)常見的一些開源工具，并且依據(jù)其主要功能進(jìn)行分類，以便大數(shù)據(jù)學(xué)習(xí)者及應(yīng)用者快速查找和參考。

大數(shù)據(jù)平臺(tái)常見的一些工具匯集

主要包含：語言工具類、數(shù)據(jù)采集工具、ETL工具、數(shù)據(jù)存儲(chǔ)工具、分析計(jì)算、查詢應(yīng)用及運(yùn)維監(jiān)控工具等。以下對(duì)各工具作為簡(jiǎn)要的說明。

一、語言工具類

1.Java編程技術(shù)

Java編程技術(shù)是目前使用最為廣泛的網(wǎng)絡(luò)編程語言之一,是大數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)。Java具有簡(jiǎn)單性、面向?qū)ο蟆⒎植际健⒔研浴踩浴?a href="http://www.qzkangyuan.com/cnidc/idcnews/txzx/2017/18566.html">平臺(tái)獨(dú)立與可移植性、多線程、動(dòng)態(tài)性等特點(diǎn)，擁有極高的跨平臺(tái)能力，是一種強(qiáng)類型語言，可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等，是大數(shù)據(jù)工程師最喜歡的編程工具，最重要的是，Hadoop以及其他大數(shù)據(jù)處理技術(shù)很多都是用Java，因此，想學(xué)好大數(shù)據(jù)，掌握J(rèn)ava基礎(chǔ)是必不可少的。

2.Linux命令

對(duì)于大數(shù)據(jù)開發(fā)通常是在Linux環(huán)境下進(jìn)行的，服務(wù)器租用，相比Linux操作系統(tǒng)，Windows操作系統(tǒng)是封閉的操作系統(tǒng)，開源的大數(shù)據(jù)軟件很受限制，因此，想從事大數(shù)據(jù)開發(fā)相關(guān)工作，還需掌握Linux基礎(chǔ)操作命令。

3.Scala

Scala是一門多范式的編程語言，一方面吸收繼承了多種語言中的優(yōu)秀特性，一方面又沒有拋棄 Java 這個(gè)強(qiáng)大的平臺(tái)，大數(shù)據(jù)開發(fā)重要框架Spark是采用Scala語言設(shè)計(jì)的，想要學(xué)好Spark框架，擁有Scala基礎(chǔ)是必不可少的，因此，大數(shù)據(jù)開發(fā)需掌握Scala編程基礎(chǔ)知識(shí)!

4.Python與數(shù)據(jù)分析

Python是面向?qū)ο蟮木幊陶Z言，擁有豐富的庫，使用簡(jiǎn)單，應(yīng)用廣泛，在大數(shù)據(jù)領(lǐng)域也有所應(yīng)用，主要可用于數(shù)據(jù)采集、數(shù)據(jù)分析以及數(shù)據(jù)可視化等，因此，大數(shù)據(jù)開發(fā)需學(xué)習(xí)一定的Python知識(shí)。

二、數(shù)據(jù)采集類工具

Nutch是一個(gè)開源Java 實(shí)現(xiàn)的搜索引擎。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。 Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，可以應(yīng)用在數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。大數(shù)據(jù)的采集需要掌握Nutch與Scrapy爬蟲技術(shù)。

三、ETL工具

1.Sqoop

Sqoop是一個(gè)用于在Hadoop和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳輸數(shù)據(jù)的工具。它用于從關(guān)系數(shù)據(jù)庫(如MySQL，Oracle)導(dǎo)入數(shù)據(jù)到Hadoop HDFS，并從Hadoop文件系統(tǒng)導(dǎo)出到關(guān)系數(shù)據(jù)庫,學(xué)習(xí)使用Sqoop對(duì)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)和Hadoop之間的導(dǎo)入有很大的幫助。

2.Kettle

Kettle是一個(gè)ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。作為Pentaho的一個(gè)重要組成部分，現(xiàn)在在國內(nèi)項(xiàng)目應(yīng)用上逐漸增多。其數(shù)據(jù)抽取高效穩(wěn)定。

四、數(shù)據(jù)存儲(chǔ)類工具

1.Hadoop分布式存儲(chǔ)與計(jì)算

Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡(jiǎn)稱HDFS。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce則為海量的數(shù)據(jù)提供了計(jì)算，因此，需要重點(diǎn)掌握，除此之外，還需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高級(jí)管理等相關(guān)技術(shù)與操作!

2.Hive

Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡(jiǎn)單的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。相對(duì)于用Java代碼編寫MapReduce來說，Hive的優(yōu)勢(shì)明顯：快速開發(fā)，人員成本低，可擴(kuò)展性(自由擴(kuò)展集群規(guī)模)，延展性(支持自定義函數(shù))。十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。對(duì)于Hive需掌握其安裝、應(yīng)用及高級(jí)操作等。

3.ZooKeeper

ZooKeeper 是一個(gè)開源的分布式協(xié)調(diào)服務(wù)，是Hadoop和HBase的重要組件，是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組件服務(wù)等，在大數(shù)據(jù)開發(fā)中要掌握ZooKeeper的常用命令及功能的實(shí)現(xiàn)方法。

4.HBase