騰訊與華中科技大學(xué)合作的最新研究成果，入選了國(guó)際數(shù)據(jù)庫(kù)頂級(jí)會(huì)議SIGMOD的收錄論文，并將于6月30日在荷蘭阿姆斯特丹召開(kāi)SIGMOD 2019國(guó)際會(huì)議上公開(kāi)發(fā)表。
入選論文的題目為“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”，此項(xiàng)研究突破性的實(shí)現(xiàn)了基于AI技術(shù)的數(shù)據(jù)庫(kù)性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫(kù)專家經(jīng)驗(yàn)判斷的傳統(tǒng)方法。該成果由華中科技大學(xué)武漢光電國(guó)家研究中心周可教授團(tuán)隊(duì)和騰訊技術(shù)工程事業(yè)群云架構(gòu)平臺(tái)部CDB數(shù)據(jù)庫(kù)團(tuán)隊(duì)合作完成，博士生張霽為第一作者。
智能云存儲(chǔ)技術(shù)聯(lián)合研究中心由騰訊與華中科技大學(xué)于2018年成立，旨在通過(guò)強(qiáng)強(qiáng)聯(lián)合，建設(shè)一流的智能云存儲(chǔ)技術(shù)創(chuàng)新和人才培養(yǎng)平臺(tái)。通過(guò)吸引匯聚頂尖專業(yè)人才，騰訊與華中科技大學(xué)在分布式存儲(chǔ)技術(shù)、高性能存儲(chǔ)引擎、業(yè)務(wù)負(fù)載預(yù)測(cè)等方面開(kāi)展聯(lián)合技術(shù)攻關(guān)，突破超大規(guī)模云存儲(chǔ)服務(wù)系統(tǒng)的諸多技術(shù)難題，推動(dòng)智能云存儲(chǔ)技術(shù)的科技創(chuàng)新及技術(shù)應(yīng)用落地。本次入選的論文，正是智能云存儲(chǔ)技術(shù)聯(lián)合研究中心的聯(lián)合研究成果之一。
SIGMOD數(shù)據(jù)管理國(guó)際會(huì)議是數(shù)據(jù)庫(kù)領(lǐng)域具有最高學(xué)術(shù)地位的國(guó)際性學(xué)術(shù)會(huì)議，位列數(shù)據(jù)庫(kù)方向頂級(jí)會(huì)議之首。
隨著云計(jì)算的迅速發(fā)展，中小型企業(yè)通過(guò)購(gòu)買云數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)，來(lái)代替自建和維護(hù)數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)的情況越來(lái)越多，以便節(jié)約人力物力。然而，大多數(shù)用戶在購(gòu)買云數(shù)據(jù)庫(kù)服務(wù)系統(tǒng)后僅僅停留在使用層面上，在使用過(guò)程中經(jīng)常遇到數(shù)據(jù)庫(kù)系統(tǒng)性能下降的情況，由于缺少數(shù)據(jù)庫(kù)管理系統(tǒng)性能優(yōu)化的經(jīng)驗(yàn)，用戶很難發(fā)現(xiàn)導(dǎo)致數(shù)據(jù)庫(kù)系統(tǒng)性能下降的原因并有效地解決，這就需要云服務(wù)提供商為用戶及時(shí)地調(diào)整數(shù)據(jù)庫(kù)系統(tǒng)參數(shù)，以保證數(shù)據(jù)庫(kù)的性能維持在一個(gè)較優(yōu)的狀態(tài)。對(duì)于擁有數(shù)十萬(wàn)計(jì)用戶實(shí)例的云服務(wù)提供商來(lái)說(shuō)，香港免備案主機(jī)，完全依賴數(shù)據(jù)庫(kù)專家進(jìn)行數(shù)據(jù)庫(kù)參數(shù)調(diào)優(yōu)顯然是不現(xiàn)實(shí)的，如何利用AI技術(shù)解決數(shù)據(jù)庫(kù)系統(tǒng)性能問(wèn)題已經(jīng)變得越來(lái)越重要和緊迫。
該文首次提出了一種基于深度強(qiáng)化學(xué)習(xí)的端到端的云數(shù)據(jù)庫(kù)自動(dòng)性能優(yōu)化系統(tǒng)CDBTune，如圖1所示。該系統(tǒng)可以在缺少相關(guān)經(jīng)驗(yàn)數(shù)據(jù)訓(xùn)練的情況下建立優(yōu)化模型，為云數(shù)據(jù)庫(kù)用戶提供在線自動(dòng)優(yōu)化數(shù)據(jù)庫(kù)性能的服務(wù)，性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫(kù)專家，這將大幅提高數(shù)據(jù)庫(kù)運(yùn)維效率。
圖1 強(qiáng)化學(xué)習(xí)與數(shù)據(jù)庫(kù)性能優(yōu)化關(guān)系圖
如圖2所示，在多種不同負(fù)載和不同類型的數(shù)據(jù)庫(kù)下進(jìn)行的大量實(shí)驗(yàn)證明，CDBTune性能優(yōu)化結(jié)果明顯優(yōu)于目前已有數(shù)據(jù)庫(kù)調(diào)優(yōu)工具和DBA專家。即使在彈性云環(huán)境下，用戶購(gòu)買數(shù)據(jù)庫(kù)內(nèi)存或磁盤大小發(fā)生變化，或負(fù)載發(fā)生變化（類型不變）的情況下，實(shí)驗(yàn)證明CDBTune依然保持了較好的適應(yīng)能力。
圖2 CDBTune性能測(cè)試結(jié)果
在實(shí)際系統(tǒng)中，如圖3所示，當(dāng)用戶或者系統(tǒng)管理員有數(shù)據(jù)庫(kù)性能優(yōu)化需求時(shí)，可以通過(guò)相應(yīng)的交互接口提出調(diào)參優(yōu)化請(qǐng)求，此時(shí)云端的控制器通過(guò)給智能優(yōu)化系統(tǒng)發(fā)出調(diào)參請(qǐng)求，并根據(jù)用戶真實(shí)負(fù)載建立的深度強(qiáng)化學(xué)習(xí)模型推薦出的相應(yīng)的參數(shù)配置，然后將該配置在數(shù)據(jù)庫(kù)中進(jìn)行設(shè)置。反復(fù)執(zhí)行上述的執(zhí)行過(guò)程，直到待調(diào)參的數(shù)據(jù)庫(kù)性能滿足用戶或系統(tǒng)管理員的需求即停止調(diào)參。
圖3 CDBTune系統(tǒng)交互圖
對(duì)于該論文，SIGMOD評(píng)審委員會(huì)給到了極高的評(píng)價(jià)：The paper is on the exciting new area of tuning databases with machine learning. Specifically using reinforcement learning. It does not just throw machine learning techniques but it does a good effort to explain how the techniques exactly match to the particular problem, what are the analogies with more traditional machine learning terminology, etc. Given that not everyone is knowledgeable in these techniques in the DB community this works in an educational way as well and is very much appreciated. （本文是關(guān)于利用機(jī)器學(xué)習(xí)方法優(yōu)化數(shù)據(jù)庫(kù)的技術(shù)，這是一個(gè)令人振奮的新領(lǐng)域。 特別是它使用了強(qiáng)化學(xué)習(xí)的方法。這篇文章不僅僅是簡(jiǎn)單地拋出一個(gè)機(jī)器學(xué)習(xí)技術(shù)，而且非常好地解釋了機(jī)器學(xué)習(xí)是如何與特定的問(wèn)題進(jìn)行完全的匹配，同時(shí)也闡述了與傳統(tǒng)機(jī)器學(xué)習(xí)術(shù)語(yǔ)之間的類比問(wèn)題。鑒于在數(shù)據(jù)庫(kù)社區(qū)中并非每個(gè)人都能對(duì)這些技術(shù)了如指掌，這也是一種教學(xué)方式，因此我們非常贊賞這篇文章。）
每年SIGMOD會(huì)議都會(huì)吸引大量全球?qū)W術(shù)組織和工業(yè)界數(shù)據(jù)庫(kù)研究人員參會(huì)和分享，也匯聚了學(xué)術(shù)界和工業(yè)界在數(shù)據(jù)庫(kù)領(lǐng)域最前沿的技術(shù)研究動(dòng)向。
【凡本網(wǎng)注明來(lái)源非中國(guó)IDC圈的作品，directadmin漢化，均轉(zhuǎn)載自其它媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。】
