大數據時代來了。當所有人都爭吵著這件工作的時候，，當所有企業都看好大數據的成長前景的時候，卻都很少存眷這些數據從哪兒來，我們有沒有足夠優秀的技能本領處理懲罰這些數據。
聯網設備增加 數據量隨之上升
網絡的成長無疑為我們迎接大數據時代、智能計較時代鋪好了路。按照研究公司的預測，全球聯網設備正在增加，在部門國度，人均聯網設備早已高出2臺；如此大量的聯網設備和不絕提高的網絡速度都在讓社會的數據量快速增長，伶俐都市、平安都市的實現也是以視頻監控等視頻數據為基本，成為大數據時代的重要構成部門。
呆板人、AI、呆板進修的研究讓數據成為將來幫助我們糊口的須要因素，無人車、呆板人快遞等形式的呈現， 一方面浮現了數據代價，另一方面也是在不絕收集數據，反哺數據闡明和應用。
數據體量太大 誰來處理懲罰？
數據發生后，意味著數據的收羅事情已經完成，那么數據的輸入與有效輸出問題怎么破解？
自大數據時代到來之后，漫衍式存儲、大文件的讀寫都成為熱點話題，如何應對越來越多的大文件存儲、闡明與檢索，成為企業需要攻陷的困難。
而Hadoop的原型要從2002年開始說起。Hadoop的雛形始于2002年的Apache的Nutch，Nutch是一個開源Java 實現的搜索引擎。爾后按照谷歌頒發的學術淪為谷歌文件系統（GFS），實現了漫衍式文件存儲系統名為NDFS。爾后又按照Google頒發的一篇技能學術論文MapReduce，在Nutch搜索引擎實現了用于大局限數據集（大于1TB）的并行闡明運算。最后，雅虎招聘了Doug Cutting，Doug Cutting將NDFS和MapReduce進級定名為Hadoop，HDFS（Hadoop Distributed File System，Hadoop漫衍式文件系統）就此形成。
應該說Hadoop是針對大數據而存在的，HDFS可以或許提供高吞吐量的數據會見，適合有著超大局限數據集的應用措施。我們可以在Hadoop的設計中看到三大特點：合用于存儲超大文件、適合運行在普通便宜的處事器上，同時，最搞笑的會見模式是一次寫入、多次讀取。
雖然，HDFS也存在一些漏洞，好比說不合用于有低延遲要求的應用場景。因為Hadoop是針對大數據傳輸的存在，是為高數據吞吐量應用而設計，這導致其一定要以高延遲作為價錢。同時HDFS漫衍式存儲不合用于小文件傳輸，在大量小文件傳輸進程中，namenode的內存就吃不用了。
Hadoop觀念科普
在相識了Hadoop的出身和此刻適合的應用場景之后，筆者要跟各人科普一下Hadoop的基本架構和主要觀念。
NameNode：namenode認真打點文件目次、文件和block的對應干系以及block和datanode的對應干系。這是由獨一一臺主機專弟子存，雖然這臺主機假如墮落，NameNode就失效了，需要啟動備用主機運行NameNode。
DataNode：認真存儲，雖然大部門容錯機制都是在datanode上實現的。漫衍在便宜的計較機上，用于存儲Block塊文件。
MapReduce：通俗說MapReduce是一套從海量·源數據提取闡明元素最后返回功效集的編程模子，將文件漫衍式存儲到硬盤是第一步，而從海量數據中提取闡明我們需要的內容就是MapReduce做的事了。
Block：也叫作數據塊，默認巨細為64MB。每一個block會在多個datanode上存儲多份副本，默認是3份。
