9月26日上午,在2019云棲大會上,剛加入阿里巴巴不久,目前擔(dān)任阿里巴巴副總裁、阿里云智能計(jì)算平臺事業(yè)部總經(jīng)理的“Caffe之父”賈揚(yáng)清在其主題演講《讓AI擁有無限可能的開發(fā)平臺》中介紹了飛天大數(shù)據(jù)平臺和飛天AI平臺,作為飛天大數(shù)據(jù)平臺架構(gòu)核心之一的大數(shù)據(jù)計(jì)算服務(wù)MaxCompute和飛天AI平臺核心引擎PAI被重點(diǎn)提及。
在云棲大會期間讓人目不暇接的各項(xiàng)重大新品與戰(zhàn)略發(fā)布消息中,飛天大數(shù)據(jù)平臺中MaxCompute與飛天AI平臺中PAI聯(lián)合公布的成績單也并不遜色——由英特爾支持的阿里云MaxCompute和PAI,成為在國際大數(shù)據(jù)性能基準(zhǔn)測試TPCx-BB中,目前全球唯一一家通過100TB數(shù)據(jù)規(guī)模測試的系統(tǒng)。而在30TB數(shù)據(jù)規(guī)模的測試中,阿里云與排名第二的系統(tǒng)相比,在性能快了近一倍的同時,成本降低了約一半。
“支撐阿里巴巴經(jīng)濟(jì)體近全量大數(shù)據(jù)業(yè)務(wù)”——MaxCompute
MaxCompute是一種快速、完全托管的PB級數(shù)據(jù)倉庫解決方案,使用戶可以經(jīng)濟(jì)高效地分析處理海量數(shù)據(jù)。它可以提供簡單易用的多功能計(jì)算服務(wù),具備極致彈性能力與完善的平臺服務(wù),同時能夠幫助用戶降低總體擁有成本。
MaxCompute在阿里巴巴的地位是至關(guān)重要的,據(jù)阿里云計(jì)算平臺研究員、高級總監(jiān)關(guān)濤先生介紹,飛天平臺在2009年建立時一共分為三大部分,其中之一就是現(xiàn)在的MaxCompute,主要實(shí)現(xiàn)分布式計(jì)算,而另外兩個就是EB級分布式存儲系統(tǒng)“盤古”與數(shù)萬臺機(jī)器規(guī)模分布式調(diào)度系統(tǒng)“伏羲”。
“MaxCompute的作用分成兩部分,一部分是阿里巴巴內(nèi)部,我們存儲了阿里巴巴99%的數(shù)據(jù),承接95%以上的計(jì)算需求,可以理解為,MaxCompute就是阿里巴巴這個經(jīng)濟(jì)體的大數(shù)據(jù)內(nèi)存,是(幾乎)所有阿里的數(shù)據(jù),如淘寶、支付寶、天貓、拍立淘,以及各種人工智能應(yīng)用的大數(shù)據(jù)計(jì)算平臺。大概從2015年開始,MaxCompute在云上提供對外云服務(wù),目前也是阿里云排名前十的旗艦產(chǎn)品之一。”關(guān)濤說道。
“飛天AI平臺核心AI開發(fā)環(huán)境和框架引擎”——機(jī)器學(xué)習(xí)PAI
機(jī)器學(xué)習(xí)PAI是飛天AI平臺中的核心產(chǎn)品,構(gòu)建在阿里云MaxCompute等計(jì)算平臺之上,在機(jī)器學(xué)習(xí)大規(guī)模分布式訓(xùn)練場景擁有非常強(qiáng)的性能表現(xiàn),在本次TPCx-BB的比賽中,PAI基于MaxCompute,在邏輯回歸、Kmeans、樸素貝葉斯三個算法的表現(xiàn)性能上取得很好的成績
除此之外,機(jī)器學(xué)習(xí)PAI還支持MPI, MapReduce, PS, Graph等多種算法引擎,支持上百種常用算法,在算法上持續(xù)創(chuàng)新優(yōu)化,性能和正確率上有顯著的提升。機(jī)器學(xué)習(xí)PAI不僅為企業(yè)提供快速拉起的軟硬件一體AI編程環(huán)境,還為企業(yè)提供被集成的AI解決方案,包括PAI算法的支持客戶二次開發(fā),PAI的API服務(wù)支持客戶定制化AI平臺,PAI編譯優(yōu)化的能力支持客戶集成到自己的平臺環(huán)境等
目前大數(shù)據(jù)領(lǐng)域最佳的參考標(biāo)準(zhǔn)TPCx-BigBench(TPCx-BigBench)
TPCx-BB是由國際標(biāo)準(zhǔn)組織TPC(Transaction Processing Performance Council)制定的一項(xiàng)大數(shù)據(jù)性能基準(zhǔn)測試,通過最常用大數(shù)據(jù)應(yīng)用場景來全面衡量系統(tǒng)軟硬件性能,是最終客戶選擇最佳軟硬件平臺的重要參考標(biāo)準(zhǔn)。
談到選擇TPCx-BB來驗(yàn)證MaxCompute平臺性能的原因時,關(guān)濤表示首先TPC是一個相對比較權(quán)威的基準(zhǔn)測試組織;其次,TPCx-BB測試中同時包含了大數(shù)據(jù)、機(jī)器學(xué)習(xí)工作負(fù)載,既有結(jié)構(gòu)化的24小時數(shù)據(jù),也包含非結(jié)構(gòu)化數(shù)據(jù),有30種不同的維度基準(zhǔn)聯(lián)合測評,這代表著更豐富的測試結(jié)果,測試環(huán)境更能貼近越來越豐富的用戶作業(yè)場景。
軟硬件雙賽道發(fā)力,英特爾為阿里飛天平臺(MaxCompute+PAI)賦能