12月3日,SUSE中國(guó)區(qū)技術(shù)總監(jiān)林培峰在2019中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì)(DATA & STORAGE SUMMIT)上對(duì)當(dāng)前分布式存儲(chǔ)的應(yīng)用場(chǎng)景做了深入剖析,并以此為題,就虛擬化和OpenStack私有云、容器云存儲(chǔ)、文件服務(wù)器、視頻監(jiān)控、數(shù)據(jù)備份云存儲(chǔ)、大數(shù)據(jù)分析、數(shù)據(jù)高可靠、對(duì)象存儲(chǔ)- 海量小文件存儲(chǔ)這些常見(jiàn)場(chǎng)景,以鮮活的案例闡述了當(dāng)前分布式存儲(chǔ)的發(fā)展現(xiàn)狀、解決方案以及SUSE的能力。
林培峰:我們對(duì)分布式存儲(chǔ)的定義是能夠兼顧傳統(tǒng)存儲(chǔ)和軟件定義架構(gòu),傳統(tǒng)存儲(chǔ)大家都清楚,它的應(yīng)用包括備份、虛擬化、歸檔,我這邊沒(méi)有列出數(shù)據(jù)庫(kù),這種交易型的應(yīng)用,為什么?因?yàn)槟壳胺植际?a href="http://www.qzkangyuan.com/cnidc/dc/jhcc/2016/2159.html">存儲(chǔ)是無(wú)法、也是不太適合去應(yīng)用在這個(gè)場(chǎng)景的。軟件定義存儲(chǔ)所有的存儲(chǔ)交易,所有存的信息都用軟件去做。軟件的延遲其實(shí)是比較高的,有報(bào)道稱分布式存儲(chǔ)軟件方面最低延遲到0.5-1毫秒,我們的場(chǎng)景沒(méi)有列出數(shù)據(jù)庫(kù)。軟件定義這個(gè)方面架構(gòu)包括容器、虛擬化、大數(shù)據(jù)、備份。其實(shí)和傳統(tǒng)都不太一樣,包括運(yùn)維到數(shù)據(jù)的調(diào)用有很多通過(guò)API,通過(guò)S3接口,包括運(yùn)維、腳本、API,所以接下來(lái)給大家分享一下我們SUSE分布式存儲(chǔ)的一些真正落地的場(chǎng)景。
分布式存儲(chǔ)落地場(chǎng)景
第一個(gè)很常見(jiàn)的場(chǎng)景,一個(gè)分布式存儲(chǔ)承載整個(gè)企業(yè)虛擬化和虛擬云的存儲(chǔ)架構(gòu),包括VMware、KVM等虛擬化都是用傳統(tǒng)存儲(chǔ),現(xiàn)在更多的是用分布式存儲(chǔ)去成長(zhǎng)。這里邊用到的協(xié)議塊存儲(chǔ)是最多的,比如ISCSI,包括Ceph自帶的RBD的協(xié)議是最多的。在這上面我們SUSE還做了跟各個(gè)廠家的虛擬化的兼容,包括 VMware、華為Fusionphere的兼容,這個(gè)兼容在我們部署里面去接特別是接華為的虛擬化,其實(shí)是用普通的ISCSI接過(guò)去是有問(wèn)題的,我們還做了很多兼容性的測(cè)試和開(kāi)放。這個(gè)是很常見(jiàn)的場(chǎng)景。這個(gè)就是我們?cè)谀呈∫苿?dòng)做的混合云平臺(tái)企業(yè)級(jí)的存儲(chǔ)解決方案。我們一個(gè)存儲(chǔ)就給他們承接了華為的虛擬化還有VMware虛擬化的存儲(chǔ)需求,基本上這里面通過(guò)ISCSI。
另外一個(gè)場(chǎng)景就是我們給某個(gè)銀行所做的容器云的存儲(chǔ),這也是分布式存儲(chǔ)一個(gè)很常見(jiàn)的場(chǎng)景,一個(gè)企業(yè)上容器選擇存儲(chǔ)的時(shí)候,很大一部分選擇分布式存儲(chǔ),其中基于基于Ceph分布式存儲(chǔ),對(duì)這個(gè)K8S支持是很完美的,不管用塊存儲(chǔ)RBD,還是用文件存儲(chǔ)都是很完美支持K8S,站群服務(wù)器,我們這個(gè)客戶上面跑的數(shù)據(jù)分析、人工智能、機(jī)器學(xué)習(xí)的應(yīng)用都很好的承載起來(lái),這個(gè)就是容器云的存儲(chǔ)。
另外一個(gè)很常見(jiàn)——文件存儲(chǔ),文件存儲(chǔ)很重要的幾個(gè)協(xié)議,在里面對(duì)于我們SUSE的分布式存儲(chǔ)都有很好的支持,這里面我們還擴(kuò)展了 CephFS ,還有我們正要做的基于Windows,對(duì)RBD的支持。如果大家對(duì)Ceph有所了解都知道RBD是塊存儲(chǔ),只能用Linux,其實(shí)如果是Windows去用的話只能通過(guò)CephFS或ISCSI,RBD其實(shí)不太好用,我們下一步做這個(gè)事情,下一個(gè)版本發(fā)布出來(lái)。我們有很多客戶包括某個(gè)做汽車安全座椅的,還有某個(gè)半導(dǎo)體企業(yè)的,反正他們業(yè)務(wù)跑Linux里邊,原來(lái)用的是NFS去跑他的備份業(yè)務(wù),備份數(shù)據(jù)跑在這里面,現(xiàn)在改成CephFS,我們部署了不到三個(gè)月,存儲(chǔ)利用率提高了,,這是實(shí)實(shí)在在文件服務(wù)器,而且舊應(yīng)用用的最多,我們都能很好地支持他們的業(yè)務(wù)。
另一個(gè)是我們給某銀行做的錄音系統(tǒng),他們錄音系統(tǒng)NAS原來(lái)用APP,現(xiàn)在改成了是用Ceph的分布式文件系統(tǒng)。我們SUSE Ceph的文件系統(tǒng)提供了,因?yàn)閭鹘y(tǒng)就用NFS無(wú)法牽過(guò)來(lái),我們很好提供NFS,現(xiàn)在已經(jīng)跑了有一年了。實(shí)實(shí)在在用了一年,用分布式存儲(chǔ)Ceph很好地替換原有的NAS存儲(chǔ),特別傳統(tǒng)的存儲(chǔ)。
一個(gè)很大量的視頻監(jiān)控對(duì)存儲(chǔ)容量的要求很高。對(duì)帶寬的要求也很高,對(duì)IOPS要求不高,這一塊對(duì)視頻監(jiān)控的場(chǎng)景分布式存儲(chǔ)是很適合的。因?yàn)榉植际酱鎯?chǔ)DIY,買來(lái)X86服務(wù)器插上硬盤(pán)把軟件安上就得到一個(gè)存儲(chǔ),只要性能滿足上面的應(yīng)用需求就可以了。視頻監(jiān)控這種應(yīng)用對(duì)容量的要求很高,對(duì)帶寬的要求是一般高,對(duì)IOPS要求不高,所以很適合這方面的應(yīng)用。今年投資了可能100TB的容量的存儲(chǔ)我明年根據(jù)業(yè)務(wù)的需求再去采購(gòu)X86,根據(jù)每年不同需求而橫向擴(kuò)展,很好保護(hù)企業(yè)成本,而且這里邊還可以采用糾刪碼技術(shù),更好地提高存儲(chǔ)效率。如果用副本的話,現(xiàn)在默認(rèn)用三副本,只能30%多,所以視頻監(jiān)控領(lǐng)域,糾刪碼技術(shù)利用越來(lái)越多的。
還有一個(gè)很重要的場(chǎng)景就是數(shù)據(jù)備份的云存儲(chǔ)。在這方面我們做了很多工作,因?yàn)閭浞葸@個(gè)場(chǎng)合特別適合用分布式存儲(chǔ),而且備份其實(shí)我們需要跟很多的備份軟件去做兼容性認(rèn)證。這個(gè)是我們SUSE所做的工作。我們覺(jué)得大家可能國(guó)內(nèi)很多廠家他們只是說(shuō)這是什么備份,他們無(wú)法去拿出這種兼容性認(rèn)證,我們和國(guó)際國(guó)內(nèi)的很多備份廠家去做兼容性認(rèn)證,很好支持他們不同的接口,包括NFS,ISCSI,包括S3這個(gè)接口,而且現(xiàn)在備份存儲(chǔ),備份存儲(chǔ)大部分的備份文件,越來(lái)越多用S3接口。通過(guò)S3接口、備份文件去重功能壓縮功能,更好地利用存儲(chǔ)空間。