當今編程人員面臨的最大挑戰就是巨大性，硬件越來越巨大，OS越來越巨大，編程語言和API越來越巨大，我們構建的應用也越來越巨大。按照外媒的一項觀測陳訴，以下列出了Java措施員在已往12個月內一直利用的一些東西或框架，或者會對你有意義。
先來看看大數據的觀念。按照維基百科，大數據是復雜或巨大的數據集的廣義術語，因此傳統的數據處理懲罰措施不敷以支持如此復雜的體量。
在很多環境下，利用SQL數據庫存儲/檢索數據都是很好的選擇。而現如今的許多環境下，它都不再能滿意我們的目標，這一切都取決于用例的變革。
此刻來接頭一些差異的非SQL存儲/處理懲罰數據東西，譬喻，NoSQL數據庫，全文搜索引擎，及時流式處理懲罰，圖形數據庫等。
1、MongoDB——最受接待的，跨平臺的，面向文檔的數據庫。
MongoDB是一個基于漫衍式文件存儲的數據庫，利用C++語言編寫。旨在為Web應用提供可擴展的高機能數據存儲辦理方案。應用機能坎坷依賴于數據庫機能，MongoDB則長短干系數據庫中成果最富厚，最像干系數據庫的，跟著MongDB 3.4版本宣布，其應用場景合用本領獲得了進一步拓展。
MongoDB的焦點優勢就是機動的文檔模子、高可用復制集、可擴展分片集群。你可以試著從幾大方面相識MongoDB，如及時監控MongoDB東西、內存利用量和頁面錯誤、毗連數、數據庫操縱、復制集等。
2、Elasticsearch ——為云構建的漫衍式RESTful搜索引擎。
ElasticSearch是基于Lucene的搜索處事器。它提供了漫衍式多用戶本領的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開拓的，并作為Apache許可條款下的開放源碼宣布，是較量風行的企業級搜索引擎。
ElasticSearch不只是一個全文本搜索引擎，照舊一個漫衍式及時文檔存儲，個中每個field均是被索引的數據且可被搜索;也是一個帶及時闡明成果的漫衍式搜索引擎，而且可以或許擴展至數以百計的處事器存儲及處理懲罰PB級的數據。ElasticSearch在底層操作Lucene完成其索引成果，因此其很多根基觀念源于Lucene。
3、Cassandra——開源漫衍式數據庫打點系統，最初是由Facebook開拓的，旨在處理懲罰很多商品處事器上的大量數據，提供高可用性，沒有單點妨礙。
Apache Cassandra是一套開源漫衍式NoSQL數據庫系統。集Google BigTable的數據模子與Amazon Dynamo的完全漫衍式架構于一身。于2008開源，從此，由于Cassandra精采的可擴展性，被Digg、Twitter等Web 2.0網站所采用，成為了一種風行的漫衍式布局化數據存儲方案。
因Cassandra是用Java編寫的，所以理論上在具有JDK6及以上版本的呆板中都可以運行，官方測試的JDK尚有OpenJDK 及Sun的JDK。 Cassandra的操縱呼吁，雷同于我們平時操縱的干系數據庫，對付熟悉MySQL的伴侶來說，操縱會很容易上手。
4、Redis ——開源(BSD許可)內存數據布局存儲，用作數據庫，緩存和動靜署理。
Redis是一個開源的利用ANSI C語言編寫的、支持網絡、可基于內存亦可耐久化的日志型、Key-Value數據庫，并提供多種語言的API。Redis 有三個主要使其有別于其它許多競爭敵手的特點：Redis是完全在內存中生存數據的數據庫，利用磁盤只是為了耐久性目標; Redis對比很多鍵值數據存儲系統有相對富厚的數據范例; Redis可以將數據復制到任意數量的從處事器中。
5、Hazelcast ——基于Java的開源內存數據網格。
Hazelcast 是一種內存數據網格 in-memory data grid，提供Java措施員要害任務生意業務和萬億級內存應用。固然Hazelcast沒有所謂的“Master”，可是仍然有一個Leader節點(the oldest member)，這個觀念與ZooKeeper中的Leader雷同，可是實現道理卻完全差異。同時，Hazelcast中的數據是漫衍式的，每一個member持有部門數據和相應的backup數據，這點也與ZooKeeper差異。
Hazelcast的應用便捷性深受開拓者喜歡，但假如要投入利用，還需要慎重思量。
6、EHCache——遍及利用的開源Java漫衍式緩存。主要面向通用緩存、Java EE和輕量級容器。
