8月5日是個非凡的日子，為了敦促大數據技能在中國大范疇應用，同時將本土技能回饋到國際開源社區，Cloudera與清華大學相助告竣典禮。說到Cloudera，相信業內人士并不生疏，大數據市場的飛速成長使得Hadoop深受接待，很多公司都推出了各自版本的Hadoop，也有一些公司則環繞Hadoop開拓產物。而在Hadoop生態系統中，局限最大、知名度最高的公司則是Cloudera。

典禮竣事后，Hadoop之父、Cloudera首席架構師、Apache軟件基金會理事Doug Cutting應邀接管了中國IDC圈記者的采訪，談及了Hadoop在安詳方面的法子，Spark與Hadoop之間的微妙干系以及Hadoop將來的成長等一系列問題。

Hadoop之父、Cloudera首席架構師、Apache軟件基金會理事Doug Cutting

Hadoop已成為很是安詳的平臺

當今時代，社交媒體、網絡、移動定位等諸多技能的遍及應用使得數據急速增長。Hadoop作為大數據利器，一直被大舉宣傳。憶往昔，Hadoop為搜索引擎成立的網頁索引，并不是處理懲罰信用卡號，所以其安詳問題被棄捐。如此一來，很多企業對其立場也從本來的淺嘗輒止釀成了望而卻步。

關于安詳方面，Doug Cutting指出，在Hadoop創建的時候是沒有做安詳這塊的，可是我們厥后不絕的增強對安詳模塊的研發，新加坡電信服務器 馬來西亞服務器，此刻Hadoop也成為了很是安詳的平臺。在安詳方面有：身份識別—保登錄的人群是被正當認證的；用戶授權—節制用戶可以或許讀取的信息；審計—提供滿意禁錮需求的文檔支持，查察是否有違規操縱靜態數據以及動態數據的加密。

Spark與Hadoop相輔相成、互補共生

Hadoop主要包羅三方面的成果：以HDFS為主的存儲成果，以MapReduce為代表的Batch處理懲罰成果以及以YARN為代表的scheduling成果。

說到Hadoop自然而然會讓人遐想到Spark，作為及時處理懲罰東西Spark在batch processing和streaming代表著下一代技能，而且在某些方面優于MapReduce。那么，假以時日Spark會不會有代替Hadoop的大概，Doug Cutting給出的謎底雖然是否認的：“我以為Spark不行能代替Hadoop，它可以或許代替部門Hadoop的成果，好比說代替MapReduce，二者之間更多的是互補的干系而不是競爭的干系。在存儲和scheduling不行能代替Hadoop，Hadoop在batch或streaming處理懲罰方面比Spark更強大；在搜索方面許多又是Spark搜不到的，所以Spark只是相當于開源集群計較的框架，它并不能完全代替Hadoop。Cloudera不僅是支持Hadoop，也支持Spark，我們是Hadoop+Spark這樣的公司。”

Cloudera此刻參加的項目有20多個，包羅Hadoop、Spark、HBace等生態系統內的項目，也擁有高出100個對付技能和系統都很是資深的技能開拓者。其實用戶出格但愿開源社區以開源形式開拓軟件，開源社區要進一步成長需要這些廠商來提供支持。作為開源廠商，到底是不是一個貿易模式放之四海皆準，此刻整個行業都在摸索這個問題。Doug Cutting指出：“Cloudera的焦點平臺是開源的，可是我們可以賣一些加載在焦點平臺上的軟件，這種軟件可以讓客戶更好的打點他的數據，更多地對打點東西舉辦優化，包羅優化、監控數據的打點東西，以收費的方法可以舉辦出售，我相信是較量樂成的。”

中國企業為整個Hadoop的開源社區做了大量的孝敬

Doug Cutting不只任職于Cloudera，同時也是Apache軟件基金會的理事。在基金會里，有許多企業參加Hadoop的研發，整個Hadoop版本宣布速度很是快。雖然，這個中的也不乏來自中國的代碼孝敬者，Doug Cutting暗示：“中國的企業為整個Hadoop的開源社區做了大量的孝敬，譬喻華為、阿里巴巴、騰訊等企業不單是Hadoop的利用者，同時也是Hadoop技能的孝敬者。”今朝，90%的Hadoop軟件運行于Hadoop系統平臺上，個中許多軟件都是基于Hadoop平臺之外的開拓。Doug Cutting強調：“在整個生態系統情況內我們會打造一個很是富厚的生態系統，讓更多的參加者可以或許舉辦開拓。”

Cloudera除了與清華大學相助之外，在外洋也跟其他大學展開了相助，個中包羅美國、新加坡等地的大學，也包羅歐洲的一些大學和研究機構。Doug Cutting暗示：“我們相助的主要形式就是提供免費的課程，這些全套免費的課程我們開拓了許多年，免費提供應這樣的大學配合展開相助。我們在中國選取的第一個相助方是清華大學，此后將會與更多的中國大學展開相助。”