現有平臺面臨的挑戰
不同企業開始往容器方向發展的初衷是不一樣的,有些企業是因為沒有運維工程師或運維團隊,而想要借助某個平臺實現運維自動化。
有些企業可能是由于計算資源的利用率比較低。雖然一些大型的互聯網公司都是動輒擁有成千上萬臺服務器,但實際上以我個人的經歷來看計算資源的利用率都不高,這里有很多歷史的原因,其中之一就是為了獲得更好的隔離性,而實現隔離最好的辦法就是采用從物理機到基于虛擬的私有云技術。
對于有著比較長歷史的公司,應用部署往往會和本地的運行環境強相關,使得遷移變得非常困難,這時也需要有一個好的解決方案來解耦。另外業務總量的繁多,也會帶來管理的復雜度的提高。
為什么選擇Kubernetes
上面提到的這些問題在我們的生產實踐中都有不同程度的遇到,雖然有很多的解決方案,但是我們最終還是選擇了Kubernetes。
Kubernetes首要解決了計算資源利用率低下的問題,得益于此我們的服務器數量減少了一半。容器化解決了計算資源利用率問題。
業務容器鏡像一次構建,就能夠運行在多種環境上,這種方式減少了對運行環境的以來,給運維平臺帶來了足夠的靈活性,解決了服務商鎖定的問題,我們當時考慮的是如果某個IDC服務商不滿足服務要求如何做到快速遷移,一般來說大批量的服務遷移代價非常高,需要很長時間,容器化之后業務遷移時間只需要30分鐘左右。
通過Kubernetes的架構設計思想我們還可以規范網站系統的架構設計。最后還有一點就是它實現了運維自動化。
向容器云平臺遷移前的準備工作
要想向容器云遷移,企業內部需要一定的運維能力,如果企業的規模還不夠大,也可以考慮一些國內的容器云服務提供商。下面來說下我們自己所做的一些準備工作。
首先自然是搭建Kubernetes集群,私有Docker鏡像倉庫構建采用的是harbor,然后是獨立出來的集群監控,CI/CD基礎設置使用的是Jenkins和helm,分布式存儲解決方案用的是Glusterfs。
業務遷移中使用的規范
從2015年底1.0版到之后的1.2、1.3版Kubernetes中的問題還是比較多的,企業要使用它是需要一定勇氣的。但現在基本上趨于成熟,對于大部分應用不用太多的改造也可以跑的很好。
即使是這樣,也不是所有的應用都可以遷移到容器云中,如果應用能夠很好的符合云原生的設計原則當然可以遷移進來,但是大部分的應用并不是按照這樣的設計原則設計的。這個時候最好的辦法是先將業務遷移進來,然后再逐步演進成微服務架構。
在這個過程中我們剛開始其實也沒有任何規范,之后才陸續制定了相關規范,下面來具體看下遷移規范。
容器鏡像封裝的基本原則
早期很多系統架構師都將Docker當做輕量級的虛擬機在使用,但這并不是最佳實踐,要想正確的使用Docker需要符合以下基本原則:
- 盡可能設計成無狀態服務,它帶來的好處就是能夠非常容易的做水平擴展
- 盡可能消除不必要的運行環境依賴,如果容器內業務依賴太多水平擴展就會變的非常困難,在傳統的部署形式下,無論是虛擬機部署還是物理機部署都經常會產生各種各樣沒必要的依賴,對于有一定歷史的企業這個問題就會非常嚴重
- 需要持久化的數據寫入到分布式存儲卷
- 盡可能保證業務單一性,這樣能夠讓分布式應用很容易擴展,免備案主機,同樣它也是微服務架構中的設計原則
- 控制輸出到stdout和stderr的日志寫入量
- 配置與容器鏡像內容分離
- 容器中使用K8S內部dns代替ip地址配置形式
- 日志采用集中化處理方案(EFk)
- 采用獨立的容器處理定時任務
NameSpace的使用
由于考慮到測試環境和staging等運行環境的資源利用率并不高,所以就想在一個集群內部同時運行開發、測試、staging、生產環境。通過NameSpace實現不同運行環境的隔離,同時應用軟件在不同的運行環境之間也不會產生命名沖突。
Service的命名規范
在v1.5版之前Service的命名不能超過24個字符,v1.5版之后最多63個字符。另外還需要滿足正則regex[a-z]([-a-z0-9]*[a-z0-9])?的要求,這意味著首字母必須是a-z的字母,末字母不能是-,其他部分可以是字母數字和-符號。一般來說命名方式都是使用“業務名-應用服務器類型-其他標識”的形式,如book-tomcat-n1、book-mysql-m1等。
應用健康檢查規范