國(guó)慶長(zhǎng)假期間,一則關(guān)于阿里巴巴自研數(shù)據(jù)庫(kù)OceanBase擊敗世界頭號(hào)數(shù)據(jù)庫(kù)廠商Oracle的消息引起了熱議,源起是OceanBase提交的一份TPC-C測(cè)試結(jié)果遠(yuǎn)遠(yuǎn)超過(guò)了Oracle,榮登榜首。實(shí)際上,這并不是阿里巴巴首次在TPC測(cè)試中取得優(yōu)異表現(xiàn)。此前的云棲大會(huì)上,阿里云就曾對(duì)外宣布,在國(guó)際大數(shù)據(jù)性能基準(zhǔn)測(cè)試TPCx-BB中,阿里云MaxCompute與飛天AI平臺(tái)核心引擎PAI以100TB的數(shù)據(jù)規(guī)模創(chuàng)造世界紀(jì)錄。雖然分屬于TPC不同的測(cè)試,但結(jié)果卻一樣亮眼,充分展示了阿里云的技術(shù)實(shí)力,以及其整合合作伙伴的技術(shù)的能力,比如阿里云MaxCompute和PAI破紀(jì)錄就離不開(kāi)英特爾的鼎力支持。
TPC( Transaction Processing Performance Council,事務(wù)處理性能委員會(huì) )是由數(shù)10家會(huì)員公司創(chuàng)建的非盈利組織,它的主要職責(zé)是制定商務(wù)應(yīng)用基準(zhǔn)程序(Benchmark)的標(biāo)準(zhǔn)規(guī)范、性能和價(jià)格度量,并管理測(cè)試結(jié)果的發(fā)布。目前,TPC已經(jīng)推出了多套基準(zhǔn)程序,面向事務(wù)處理(OLTP)的基準(zhǔn)程序TPC-C(OceanBase提交的就是這個(gè)測(cè)試結(jié)果),和MaxCompute提交的面向大數(shù)據(jù)的基準(zhǔn)程序TPCx-BB等都在這些基準(zhǔn)程序之列。
其中的TPCx-BB是TPC制定的衡量大數(shù)據(jù)系統(tǒng)的性能基準(zhǔn)測(cè)試標(biāo)準(zhǔn)TPC Benchmark Express-BigBench的簡(jiǎn)稱(chēng), TPCx-BB通過(guò)最常用大數(shù)據(jù)應(yīng)用場(chǎng)景來(lái)全面衡量系統(tǒng)軟硬件性能。由于測(cè)試結(jié)果可以全面準(zhǔn)確地反映大數(shù)據(jù)系統(tǒng)端到端的整體運(yùn)行性能,因此也是最終客戶選擇最佳軟硬件平臺(tái)的重要參考標(biāo)準(zhǔn)。
此次測(cè)試的MaxCompute是阿里云的一項(xiàng)大數(shù)據(jù)計(jì)算服務(wù),屬于阿里飛天操作系統(tǒng)的重要組成部分,能提供快速、完全托管的PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)解決方案,從而經(jīng)濟(jì)、高效地分析和處理海量數(shù)據(jù),并支持SQL、MapReduce、Graph等多種計(jì)算模型。
據(jù)阿里云計(jì)算平臺(tái)研究員、高級(jí)總監(jiān)關(guān)濤介紹,阿里云從2015年開(kāi)始進(jìn)行各種各樣的Benchmark測(cè)試。最初采用的是Sort benchmark,測(cè)試其在大規(guī)模數(shù)據(jù)集上進(jìn)行排序的性能。后來(lái)阿里云發(fā)現(xiàn),只做排序無(wú)法代表越來(lái)越豐富的用戶作業(yè)場(chǎng)景,最后才選擇了BigBench。
“之所以選擇BigBench,一方面在于BigBench 作為T(mén)PC下屬組織,相對(duì)比較權(quán)威;其次,BigBench中既包含了各種類(lèi)型的工作負(fù)載,既有大數(shù)據(jù)的工作負(fù)載,也包括了機(jī)器學(xué)習(xí)的工作負(fù)載;既包含了結(jié)構(gòu)化數(shù)據(jù)也包含了非結(jié)構(gòu)化的數(shù)據(jù)。它要求提交的是一個(gè)非常豐富的測(cè)試結(jié)果,有30種不同的維度基準(zhǔn)聯(lián)合來(lái)測(cè)評(píng),可以從不同維度來(lái)分析。”關(guān)濤表示。
而阿里云之所以要進(jìn)行上述測(cè)試,關(guān)濤解釋說(shuō),其目的是想以測(cè)試為抓手優(yōu)化阿里云的系統(tǒng),同時(shí),也希望通過(guò)測(cè)試來(lái)體現(xiàn)阿里云的性能和性價(jià)比。
最后的結(jié)果也的確達(dá)到了預(yù)期,阿里云提交的MaxCompute的測(cè)試結(jié)果表明,通過(guò)持續(xù)的優(yōu)化,MaxCompute表現(xiàn)非常優(yōu)秀:是全球唯一一家通過(guò)100TB測(cè)試的系統(tǒng)。由于是唯一通過(guò)100TB測(cè)試的系統(tǒng),為了方便跟其他系統(tǒng)對(duì)比,阿里云又分別在30TB、10TB級(jí)別上進(jìn)行測(cè)試。結(jié)果表明,和第二名的對(duì)比,阿里云MaxCompute的性能快一倍的同時(shí),成本大概可以降低一半。
“這個(gè)成績(jī)意味著,如果我們用第二名的系統(tǒng),在性能慢一倍的同時(shí),成本上還要多花一倍。比如用戶用第二名的系統(tǒng)需要1000臺(tái)機(jī)器完成的工作,MaxCompute一半就夠了。”關(guān)濤解釋說(shuō)。
軟硬件結(jié)合,共同創(chuàng)造優(yōu)異成績(jī)
MaxCompute如此優(yōu)異的表現(xiàn)自然離不開(kāi)阿里云的努力,同時(shí),也不得不提英特爾的鼎力配合。事實(shí)上,從2015年開(kāi)始進(jìn)行MaxCompute的測(cè)試以來(lái),阿里云與英特爾一直密切配合。英特爾以軟硬件全方位能力支持阿里云MaxCompute,在大數(shù)據(jù)引擎的標(biāo)準(zhǔn)適配、支持云計(jì)算模型、性能優(yōu)化,以及最大化內(nèi)存利用率等方面和阿里云深入合作,大大提升大數(shù)據(jù)分析的性能,增強(qiáng)云上的大數(shù)據(jù)挖掘和商業(yè)智能分析的能力。使得它在TPCx-BB中可以達(dá)到25641BBQpm(每分鐘處理的請(qǐng)求量),最高性價(jià)比可達(dá)USD224.49/BBQpm。
英特爾高級(jí)首席工程師、大數(shù)據(jù)分析和人工智能創(chuàng)新院院長(zhǎng)戴金權(quán)(右)
關(guān)濤表示,雙方合作過(guò)程中,英特爾提供了很大的幫助。首先,英特爾提升了自身硬件能力;其次,雙方為軟硬結(jié)合進(jìn)行了優(yōu)化,比如英特爾至強(qiáng)可擴(kuò)展處理器引入AVX-512,從256位升到512位,進(jìn)一步提升了性能;第三,在軟件層面,英特爾也從功能性、擴(kuò)展性上等進(jìn)行了優(yōu)化。這些功能疊加到一起讓系統(tǒng)性能翻了一番。