9月26日上午,在2019云棲大會上,剛加入阿里巴巴不久,目前擔任阿里巴巴副總裁、阿里云智能計算平臺事業部總經理的“Caffe之父”賈揚清在其主題演講《讓AI擁有無限可能的開發平臺》中介紹了飛天大數據平臺和飛天AI平臺,作為飛天大數據平臺架構核心之一的大數據計算服務MaxCompute和飛天AI平臺核心引擎PAI被重點提及。
在云棲大會期間讓人目不暇接的各項重大新品與戰略發布消息中,飛天大數據平臺中MaxCompute與飛天AI平臺中PAI聯合公布的成績單也并不遜色——由英特爾支持的阿里云MaxCompute和PAI,成為在國際大數據性能基準測試TPCx-BB中,目前全球唯一一家通過100TB數據規模測試的系統。而在30TB數據規模的測試中,阿里云與排名第二的系統相比,在性能快了近一倍的同時,成本降低了約一半。
“支撐阿里巴巴經濟體近全量大數據業務”——MaxCompute
MaxCompute是一種快速、完全托管的PB級數據倉庫解決方案,使用戶可以經濟高效地分析處理海量數據。它可以提供簡單易用的多功能計算服務,具備極致彈性能力與完善的平臺服務,同時能夠幫助用戶降低總體擁有成本。
MaxCompute在阿里巴巴的地位是至關重要的,據阿里云計算平臺研究員、高級總監關濤先生介紹,飛天平臺在2009年建立時一共分為三大部分,其中之一就是現在的MaxCompute,主要實現分布式計算,而另外兩個就是EB級分布式存儲系統“盤古”與數萬臺機器規模分布式調度系統“伏羲”。
“MaxCompute的作用分成兩部分,一部分是阿里巴巴內部,我們存儲了阿里巴巴99%的數據,承接95%以上的計算需求,可以理解為,MaxCompute就是阿里巴巴這個經濟體的大數據內存,是(幾乎)所有阿里的數據,如淘寶、支付寶、天貓、拍立淘,以及各種人工智能應用的大數據計算平臺。大概從2015年開始,MaxCompute在云上提供對外云服務,目前也是阿里云排名前十的旗艦產品之一。”關濤說道。
“飛天AI平臺核心AI開發環境和框架引擎”——機器學習PAI
機器學習PAI是飛天AI平臺中的核心產品,構建在阿里云MaxCompute等計算平臺之上,在機器學習大規模分布式訓練場景擁有非常強的性能表現,在本次TPCx-BB的比賽中,PAI基于MaxCompute,在邏輯回歸、Kmeans、樸素貝葉斯三個算法的表現性能上取得很好的成績
除此之外,機器學習PAI還支持MPI, MapReduce, PS, Graph等多種算法引擎,支持上百種常用算法,在算法上持續創新優化,性能和正確率上有顯著的提升。機器學習PAI不僅為企業提供快速拉起的軟硬件一體AI編程環境,還為企業提供被集成的AI解決方案,包括PAI算法的支持客戶二次開發,PAI的API服務支持客戶定制化AI平臺,PAI編譯優化的能力支持客戶集成到自己的平臺環境等
目前大數據領域最佳的參考標準TPCx-BigBench(TPCx-BigBench)
TPCx-BB是由國際標準組織TPC(Transaction Processing Performance Council)制定的一項大數據性能基準測試,通過最常用大數據應用場景來全面衡量系統軟硬件性能,是最終客戶選擇最佳軟硬件平臺的重要參考標準。
談到選擇TPCx-BB來驗證MaxCompute平臺性能的原因時,關濤表示首先TPC是一個相對比較權威的基準測試組織;其次,TPCx-BB測試中同時包含了大數據、機器學習工作負載,既有結構化的24小時數據,也包含非結構化數據,有30種不同的維度基準聯合測評,這代表著更豐富的測試結果,測試環境更能貼近越來越豐富的用戶作業場景。
軟硬件雙賽道發力,英特爾為阿里飛天平臺(MaxCompute+PAI)賦能