我們對Facebook、Amazon、Airbnb、Pinterest和Netflix數據團隊所做的事感情觸驚奇。他們為軟件和企業從數據中獲取信息而擬定了新尺度。由于他們的產物用戶量極大，所以這些團隊必需不絕地界說局限闡明的要領。他們已經在數據架構中投入了數百萬美元，而且在大大都公司中，數據團隊的局限高出了整個工程部分的局限。
我們成立了Keen IO，是為了以讓大大都軟件工程團隊無需從新架設所有內容，鄭州電信服務器 服務器托管，就可以操作最新的大型事件數據技能。可是，假如您對如何成為巨頭公司感想好奇，那么請從最好的公司中收集一些架構。
Netflix
Netflix擁有9300萬用戶，沒有交互缺陷。正如他們的工程團隊在Netflix數據管道的演變中描寫的那樣，他們天天約莫捕捉5000億個事件，天天約莫有1.3PB的數據傳輸。在岑嶺時段，他們每秒將記錄800萬次事件。他們招聘了100多個數據工程師或闡明師。
以下是上述文章中數據架構的簡化視圖，個中顯示：開源系統ApacheKafka，搜索處事器ElasticSearch，亞馬遜云存儲處事AWSS3，舉辦大數據處理懲罰的ApacheSpark，運行框架ApacheHadoop和大數據闡明處事EMR作為主要組件。
擁有高出10億的活潑用戶，Facebook有世界上最大的數據客棧之一，存儲高出300PB。該數據被用于遍及的應用：從傳統的批處理懲罰到圖形闡明，呆板進修和及時交互式闡明。為了舉辦大局限的交互式查詢，Facebook的工程師發現了Presto，一種針對點對點闡明舉辦優化的定制漫衍式的SQL查詢引擎。天天有1000多名Facebook員工利用Presto，通過Hive、HBase和Scribe的可插拔后端數據存儲，天天執行查詢次數高出30000次。
體系布局
后端數據存儲
Airbnb
Airbnb支持高出1億用戶欣賞200多萬的衡宇列表。他們智能地向這些用戶提供新的觀光發起的本領，這對他們的生長有很大影響。Airbnb的數據科學司理Elena Grewal在去年的集會會議“成立一個世界級的闡明團隊”上提到，他們已經將Airbnb的數據團隊擴展到擁有30多名工程師的局限。這是每人每年500萬的投資。
AirbnbEng修建師James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描寫了構建數據布局的根基要素以及如作甚要害任務數據提供更高的靠得住性。他們嚴重依賴Hive和Apache Spark，并利用了Facebook的Presto。
AIRBNB的數據基本布局
Pinterest每月有高出1億的用戶欣賞高出100億的網頁欣賞量。停止2015年，他們將數據團隊擴展到擁有250多名工程師的局限。他們的基本設施依賴于開源系統ApacheKafka，數據處理懲罰框架Storm，系統基本架構Hadoop，開源數據庫HBase和GPU渲染器Redshift。
數據管道布局圖
Pinterest團隊不只需要追蹤大量客戶相關的數據。像其他社交平臺一樣，他們還需要向告白商提供具體的闡明。黃彤波在《Behindthe Pins:Building Analytics at Pinterest》一文中寫道：為了滿意這一需求，他們改造了本身的闡明倉庫。以下是Pinterest團隊如何利用Apache Kafka，AWSS3和HBase的示意圖：
Pinterest貿易數據闡明布局圖
Twitter/Crashlytics
天天及時處理懲罰50億次集會會議。EdSolovey先容了Crashlytics Answers團隊構建的一些架構，用于處理懲罰數十億的日常移動設備事件。
信息流吸收
存儲
批處理懲罰計較
加快計較
總覽
正如我之前提到的，我們構建了Keen數據接口（API），以便任何開拓人員都可以利用世界一流的數據架構，而無需擁有一個復雜的團隊構建一大堆基本架構。成千上萬的工程團隊利用Keen的API來捕捉、闡明、流式傳輸和嵌入事件數據，包羅及時和批處理懲罰應用措施。固然利用Keen的開拓人員在發送事件或運行查詢時不需要知道幕后產生的環境，但下面是處理懲罰其請求的體系布局：
Keen IO信息處理懲罰布局圖
