隨著云計算和大數(shù)據(jù)的普及，越來越多的IT公司選擇將自己的大數(shù)據(jù)解決方案部署在云上面。云計算和大數(shù)據(jù)的結(jié)合帶來了什么便利呢？一個典型的大數(shù)據(jù)云又是如何設(shè)計和部署的呢？
下面我們以Google Cloud作為例子，講解在工業(yè)界里邊是如何實際應(yīng)用云。
Google Cloud
Google作為分布式系統(tǒng)和大數(shù)據(jù)的領(lǐng)導(dǎo)者，開發(fā)了眾多跨時代的產(chǎn)品。幾乎每一個Google的產(chǎn)品，寫出一篇paper就可以創(chuàng)造一個開源社區(qū)的。
比如MapReduce發(fā)布之后，開源社區(qū)根據(jù)Google的一篇論文開發(fā)出的Hadoop，BigTable發(fā)布之后，開源社區(qū)又進一步開發(fā)出Hbase等等。可以說沒有Google的創(chuàng)新，就沒有現(xiàn)在開源社區(qū)的繁榮。
而Google又把自家的產(chǎn)品，都放在Google Cloud上面，形成了豐富多彩的產(chǎn)品線，吸引了非常多的大大小小的公司如Snapchat等來使用。
Google App Engine (GAE)
我們都知道Web項目都需要大量的Web Service以及為之服務(wù)的運維系統(tǒng)。Google在云計算領(lǐng)域首次嘗試的就是Google App Engine (GAE)，主機托管 深圳電信托管，相對比當(dāng)時的Amazon EC2，GAE只需開發(fā)者上傳軟件代碼，其他部署將由Google完成。
用戶只需要熟悉后端語言開發(fā)即部署大規(guī)模的集群。Google今年更是推出了GAE Flex，可以幫助用戶實現(xiàn)auto-scaling，用戶不再需要自己部署負(fù)載均衡的服務(wù)了。大部分中小企業(yè)的網(wǎng)站幾乎都可以無縫銜接到GAE上。
BigTable
BigTable的底層是注明的Google File System (GFS)，他實現(xiàn)了數(shù)據(jù)中心級別的可靠的分布式存儲。
也是最早的NoSQL數(shù)據(jù)庫的一種。各種網(wǎng)站如果有需要永久存儲的數(shù)據(jù)，一般都可以存放在BigTable里邊，Google Cloud會自動幫你做replication，分布在不同的服務(wù)器節(jié)點里邊，這樣實現(xiàn)了可靠的分布式存儲。
Dataflow
Dataflow的底層實現(xiàn)利用了大名鼎鼎的MapReduce的升級版Flume。
Dataflow特別方便進行大量的批處理，舉個例子來說，日本游戲代理 歐洲服務(wù)器，比如要把所有的用戶數(shù)據(jù)里邊的格式都升級一遍，用GAE或者其他service是很難實現(xiàn)的。
Dataflow也提供了特別多的接口，諸如BigQuery, Datastore, BigTable等等也是為了方便各種批處理。最近Google還提供了streaming（流服務(wù)）版本的Dataflow，可以實現(xiàn)持續(xù)不斷的批處理。
BigQuery
BigQuery相當(dāng)于是Cloud version的SQL，可以方便使用各種復(fù)雜的查詢語言查找數(shù)據(jù)。這個尤其適合數(shù)據(jù)分析師進行各種數(shù)據(jù)分析，幾乎各種SQL的語法都是支持的。
但是BigQuery在scaling上并不如BigTable，并不是面向用戶的，所以并不適合直接用來存儲用戶數(shù)據(jù)。只適合做一些離線分析，數(shù)據(jù)來源很多都是Dataflow從BigTable里邊dump出來的一些拷貝。
其他服務(wù)
Google Cloud還有非常多的其他服務(wù)，諸如支持消息隊列處理的Pubsub，支持緩存的Memchace，支持Monitoring的Stackdriver，等等完整的構(gòu)成了一個企業(yè)數(shù)據(jù)云所必須的各種服務(wù)，可以滿足大到Snapchat級別，小到各種startup的不同業(yè)務(wù)需求。
