如今，Kubernetes最大管理大約5000個節點，這不但與Borg或Tupperware的可擴展性相去甚遠，而且做不到無感知地調度不同區域的節點。本文通過介紹Tupperware與Delos背后的一些思想以及完成的一些工作，最終Facebook能夠隨時隨地使用其全球資源，而不再考慮數據中心和區域。

如果你想知道Kubernetes容器管理系統的未來會是什么樣子，那么Facebook自2011年以來一直在使用和發展的封閉源代碼、自主研發的Tupperware容器控制系統(Docker容器以及Kubernetes出現之前)可能是一個很好的靈感來源。

Kubernetes是5年前由谷歌開源的，并不是說谷歌內部Borg和Omega集群以及容器控制系統對Kubernetes沒有很好的啟發。實際上，谷歌并沒有直接拉取Borg代碼，將其關鍵信息清理干凈，然后將其轉儲到GitHub上，而是用Go編程語言(谷歌也創建了這種語言)從零開始創建了Kubernetes，并在周圍建立了一個社區，取得了巨大的成功。在這一點上，沒有人會因為選擇Kubernetes作為應用程序構建的下一代容器編排平臺而被解雇。

但這并不意味著Facebook等其他超大規模公司沒有遇到大規模的問題，也沒有以Kubernetes沒有努力解決或解決的方式來解決這些問題，即使谷歌在內部也面臨著與Borg和Omega類似的問題。遺憾的是，Facebook不會創建一個開源版本的Tupperware容器集群和控制器，或新的Delos存儲服務支撐當前迭代控制平面的Tupperware，這兩者都是在上周晚些時候Facebook的系統規?；顒由嫌懻摰摹?/p>

Tupperware系統的構建非常精確，能夠運行Facebook的應用程序和數據服務，很難創建一個通用版本的控制器來整合和支持企業中運行的各種服務。谷歌的Borg和Omega也是如此，它花了相當大的努力重寫了Borg和Omega的核心部分，使其成為一個通用的集群和容器控制器，老實說，Kubernetes平臺尚未完成，即使五年來它已經取得了長足的進步。如果你想和更多Kubernetes技術專家交流，可以加我微信liyingjiese，備注『加群』。群里每周都有全球各大公司的最佳實踐以及行業最新動態。

簡單地說，Chunqiang Tang是臉書負責Tupperware工作的工程經理，之前曾在IBM的TJ沃森研究中心負責云自動化研究，他向“next平臺”講述Facebook沒有計劃從Tupperware學習，然后應用它們，匯聚到Kubernetes，就像谷歌有一天可能做的那樣。(已經有很多谷歌服務在谷歌云平臺上運行在Kubernetes之上，而不是在Borg/Omega裸機上運行。)

雖然Facebook目前還沒有計劃開放與Tupperware一起使用的Delos低延遲、可插拔的應用編程接口數據存儲，但密歇根大學計算機科學與工程教授杰森·弗林(Jason Flinn)曾與Facebook一起參與Delos項目，他暗示說，這個項目僅在一年前開始，在生產中僅使用了大約四個月，所以開放它還為時尚早，即使這樣但從長遠來看是有可能的。

關鍵是，在“系統規模”會議上披露的Tupperware和Delos的信息可以用來通知和激勵其他集群和容器管理及存儲子系統的工作，包括開源和閉源。畢竟，谷歌在2005年發布的MapReduce論文直接導致雅虎創建了Hadoop。

我們對Facebook在大規模運行基礎設施方面提供的洞見感興趣，正如對兩組代碼的技術細節感興趣一樣。這些見解適用于許多人，即使代碼可能只適用于一個人。

就規模而言，Tang透露Kubernetes不能與Borg/Omega相提并論，當然也不能與Tupperware相提并論。當它首次推出時，Kubernetes艱難的在數百臺服務器上運行，一年后它突破了1000個節點。根據Tang的說法，現在Kubernetes最大管理大約5000個節點。這與Borg或Tupperware的可擴展性相去甚遠。谷歌和Facebook數據中心的物理集群跨越大約10萬臺機器，多個數據中心組成一個區域。在谷歌，這些物理集群被Borg分割成單元，在過去，這些單元平均有10000個節點，但有些被縮小到幾千個節點，有些被擴大到高達50000個節點。

在Tupperware最初構思的時候，Facebook就像大多數數據中心一樣，從機架、集群和數據中心的角度來組織Tupperware，而這些結構通常具有難以超越的物理配置。同樣在2010年代早期，當時Docker容器甚至不存在(并且在很多年內不會投入到生產)，所以Facebook起初使用chroot運行沙箱應用程序，這樣它們就可以在一個物理的Linux服務器上同時運行，就像谷歌已經做了很長一段時間一樣，隨著命名空間的成熟，Facebook也采用這些來提供工作負載之間的隔離。

眾所周知，由谷歌創建并捐贈給Linux社區的Cgroups和Namespaces是Docker和Linux容器的基礎，而Facebook部署了Linux容器并在內部向一個方向擴展，香港免備案主機，Docker抓取了Linux容器并以稍微不同的方式對它們進行了進化(我們意識到，這過于簡單化了)。我們的觀點是，在容器化方面，Facebook比谷歌落后了幾年，最終它也面臨同樣的問題，并以稍微不同的方式解決了這些問題。問題是，你不能通過集群級別的管理來提高效率，最終，你還是需要跨數據中心和區域。