IT產(chǎn)業(yè)正在經(jīng)歷新的周期,離散的私有IT基礎(chǔ)設(shè)施轉(zhuǎn)向集中式,這在產(chǎn)業(yè)發(fā)展史上已經(jīng)不甚新鮮,主機(jī)時(shí)代、PC時(shí)代我們都曾經(jīng)歷過(guò)不同的轉(zhuǎn)變,從主機(jī)的集中到個(gè)人計(jì)算機(jī)的分散再到云計(jì)算,IT的發(fā)展似乎也在遵循著“否定之否定”的鐘擺定理。
數(shù)據(jù)庫(kù)作為計(jì)算機(jī)架構(gòu)的核心底層軟件,同樣處于變化之中,其歷史可以追溯到1970年,50年來(lái)數(shù)據(jù)庫(kù)領(lǐng)域廠商進(jìn)進(jìn)出出,但傳統(tǒng)數(shù)據(jù)庫(kù)廠商的地位從未動(dòng)搖,直到云計(jì)算的出現(xiàn)。
Gartner預(yù)測(cè),到2023年全球3/4的數(shù)據(jù)庫(kù)都會(huì)跑在云上,企業(yè)正將新應(yīng)用向云轉(zhuǎn)移,對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算分析的能力要求不斷加強(qiáng)。云數(shù)據(jù)庫(kù)天然具備云上靈活性,能夠提供強(qiáng)大的創(chuàng)新能力、豐富多樣的產(chǎn)品體系、經(jīng)濟(jì)高效的部署方式和按需付費(fèi)的支付模式。雷鋒網(wǎng)(公眾號(hào):雷鋒網(wǎng))對(duì)話騰訊云數(shù)據(jù)庫(kù)產(chǎn)品總監(jiān)王義成,獲悉騰訊云在云原生時(shí)代的數(shù)據(jù)庫(kù)發(fā)展思路。
騰訊云數(shù)據(jù)庫(kù)布局
上圖顯現(xiàn)了騰訊云數(shù)據(jù)產(chǎn)品及工具的整體布局,最上層是數(shù)據(jù)庫(kù)的SaaS層,包括DTS數(shù)據(jù)遷移類服務(wù),支持MySQL、Redis、PG等通用開(kāi)源協(xié)議;DMS數(shù)據(jù)管理層,幫助用戶實(shí)現(xiàn)圖形化數(shù)據(jù)管理;另外包括數(shù)據(jù)審計(jì)、數(shù)據(jù)訂閱等,審計(jì)支持實(shí)時(shí)記錄所有的增刪改查操作,訂閱可幫助用戶獲取云數(shù)據(jù)庫(kù)的實(shí)時(shí)增量更新數(shù)據(jù),支持動(dòng)態(tài)增減訂閱對(duì)象、在線查看訂閱數(shù)據(jù)、修改消費(fèi)時(shí)間點(diǎn)等特性;災(zāi)備,用于跨云容災(zāi)和構(gòu)建混合云場(chǎng)景。另外,用戶僅需提交問(wèn)題和需求,即可獲得騰訊云數(shù)據(jù)庫(kù)專家的專業(yè)支持。騰訊云數(shù)據(jù)庫(kù)專家服務(wù)團(tuán)隊(duì)均有10年以上的 DBA 經(jīng)驗(yàn),擁有億級(jí)用戶產(chǎn)品的數(shù)據(jù)庫(kù)管理經(jīng)驗(yàn)。據(jù)了解,騰訊云數(shù)據(jù)庫(kù)推出的數(shù)據(jù)庫(kù)智能管理工具也即將上線,支持7×24小時(shí)的數(shù)據(jù)庫(kù)智能監(jiān)控告警。
往下是數(shù)據(jù)庫(kù)的PaaS層,美國(guó)服務(wù)器,包括關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)、新一代數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)包括MySQL、Redis、PostGreSQL、MariaDB、SqLServer,Tdata,非關(guān)系型包括Redis、MemCache,MongoDB、CKV等等。
很多數(shù)據(jù)庫(kù)其實(shí)離我們?nèi)粘I詈芙v訊自研的非關(guān)系型的數(shù)據(jù)庫(kù)CKV在微信紅包場(chǎng)景中大批量使用,按訪問(wèn)量來(lái)收費(fèi)的TcaplusDB在《王者榮耀》游戲中使用,很多游戲類應(yīng)用或者騰訊系衍生的一些服務(wù)都會(huì)使用TcaplusDB。
騰訊云數(shù)據(jù)庫(kù)發(fā)展史
據(jù)王義成介紹,騰訊數(shù)據(jù)庫(kù)的發(fā)展史從QQ起步,開(kāi)始是一種最早以的KV形式存儲(chǔ),當(dāng)時(shí)Redis還沒(méi)誕生,然后向CKV逐漸演變,再之后到財(cái)付通上線意味著騰訊有了純粹的金融業(yè)務(wù),免備案服務(wù)器,也是MySQL在開(kāi)源社區(qū)萌芽時(shí)期,故而騰訊沒(méi)有選用傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù),而是在MySQL基礎(chǔ)上修改。
當(dāng)然,最初都是痛苦的,騰訊也不例外。比如單庫(kù)壓力太大或者說(shuō)主機(jī)延遲比較大等問(wèn)題,倒逼MySQL演進(jìn)到分布式數(shù)據(jù)庫(kù),就是如今的TDSQL。“最早是在騰訊內(nèi)部開(kāi)始演進(jìn),從單機(jī)節(jié)點(diǎn)到集群版,然后逐漸演進(jìn),再?gòu)囊恢饕粋洌缓笾苯友葸M(jìn)到三節(jié)點(diǎn),基于Raft模式,這就是騰訊數(shù)據(jù)庫(kù)自研的歷史。”
此外,騰訊內(nèi)部還有很多數(shù)據(jù)分析類業(yè)務(wù),如廣告等業(yè)務(wù),需要混合OLTP和OLAP而成的HTAP數(shù)據(jù)庫(kù)系統(tǒng),基于OLTP的交易數(shù)據(jù)、OLAP的分析類數(shù)據(jù),做整個(gè)廣告業(yè)務(wù)推薦、分析。
“騰訊整個(gè)大的策略也是整個(gè)集團(tuán)內(nèi)部上云,TDSQL、CKV本就是騰訊內(nèi)部演進(jìn)的一些產(chǎn)品,在目前逐漸地遷移到云化的機(jī)房來(lái),這是一類;還有一類就是云數(shù)據(jù)庫(kù),完全基于云開(kāi)發(fā)的數(shù)據(jù)庫(kù), 比如像CynosDB、MongoDB,基于開(kāi)源的Redis也在騰訊內(nèi)部開(kāi)始云化,原來(lái)有些新興業(yè)務(wù)或者以前沒(méi)有用到開(kāi)源數(shù)據(jù)庫(kù)的業(yè)務(wù)也開(kāi)始逐步遷移上云。比如一些游戲場(chǎng)景和廣告部門(mén),他們可能原來(lái)自己沒(méi)有MongoDB或者Redis整體的底層架構(gòu),現(xiàn)在也自動(dòng)在騰訊內(nèi)部云化環(huán)境里開(kāi)始使用”。王義成介紹。
云原生數(shù)據(jù)庫(kù)CynosDB
從某種程度上來(lái)說(shuō),AWS一篇論文開(kāi)啟了云原生數(shù)據(jù)庫(kù)時(shí)代,AWS認(rèn)為,高吞吐量數(shù)據(jù)處理的核心問(wèn)題已經(jīng)從計(jì)算和存儲(chǔ)移到了網(wǎng)絡(luò)IO,Aurora提出了一種新的關(guān)系型數(shù)據(jù)庫(kù)架構(gòu),將REDO日志的處理下沉到一個(gè)專門(mén)為Aurora定制的多租戶可擴(kuò)展的存儲(chǔ)服務(wù)上。
數(shù)據(jù)庫(kù)就此進(jìn)入下一個(gè)紀(jì)元——云原生。
2018年11月,騰訊云公布了新一代自研云原生數(shù)據(jù)庫(kù)CynosDB,目前處于公測(cè)階段,將于今年Q3正式推出商業(yè)版本。CynosDB數(shù)據(jù)庫(kù)100%兼容開(kāi)源數(shù)據(jù)庫(kù)引擎 MySQL 5.7和 PostgreSQL 10,幾乎無(wú)需改動(dòng)代碼,即可完成現(xiàn)有數(shù)據(jù)庫(kù)的查詢、應(yīng)用和工具平滑遷移;最高性能是 MySQL 數(shù)據(jù)庫(kù)八倍、PostgreSQL 數(shù)據(jù)庫(kù)的四倍;最高128TB的海量存儲(chǔ),無(wú)服務(wù)器Serverless架構(gòu),自動(dòng)擴(kuò)縮容。
騰訊云云原生數(shù)據(jù)庫(kù)CynosDB產(chǎn)品架構(gòu)