騰訊開(kāi)源再次迎來(lái)重磅項(xiàng)目，14日，騰訊正式宣布開(kāi)源高性能圖計(jì)算框架Plato，這是在短短一周之內(nèi)，開(kāi)源的第五個(gè)重大項(xiàng)目。

相對(duì)于目前全球范圍內(nèi)其它的圖計(jì)算框架，Plato可滿足十億級(jí)節(jié)點(diǎn)的超大規(guī)模圖計(jì)算需求，將算法計(jì)算時(shí)間從天級(jí)縮短到分鐘級(jí)，性能全面領(lǐng)先領(lǐng)先于其它主流分布式圖計(jì)算框架，并且打破了原本動(dòng)輒需要數(shù)百臺(tái)服務(wù)器的資源瓶頸，現(xiàn)在，最少只需要十臺(tái)服務(wù)器即可完成計(jì)算。

騰訊Plato團(tuán)隊(duì)負(fù)責(zé)人于東海表示：“Plato已經(jīng)支持騰訊內(nèi)部包括微信在內(nèi)的眾多核心業(yè)務(wù)，尤其是為騰訊超大規(guī)模社交網(wǎng)絡(luò)圖數(shù)據(jù)的各類(lèi)計(jì)算提供支撐，解決了現(xiàn)有其他計(jì)算框架無(wú)法在有限資源和有限時(shí)間內(nèi)完成計(jì)算的難點(diǎn)。Plato不僅為騰訊創(chuàng)造了巨大的業(yè)務(wù)價(jià)值，開(kāi)源后還將持續(xù)推動(dòng)圖計(jì)算技術(shù)和行業(yè)的協(xié)同發(fā)展，加速創(chuàng)新。”

實(shí)際上，圖計(jì)算的“圖”并不是指普通的圖像和照片，而是用于表示對(duì)象之間關(guān)聯(lián)關(guān)系的一種抽象數(shù)據(jù)結(jié)構(gòu)，圖計(jì)算就是以圖作為數(shù)據(jù)模型來(lái)表達(dá)問(wèn)題并予以解決的過(guò)程。圖計(jì)算可以將不同來(lái)源、不同類(lèi)型的數(shù)據(jù)融合到同一個(gè)圖里進(jìn)行分析，得到原本獨(dú)立分析難以發(fā)現(xiàn)的結(jié)果，因此成為社交網(wǎng)絡(luò)、推薦系統(tǒng)、網(wǎng)絡(luò)安全、文本檢索和生物醫(yī)療等領(lǐng)域至關(guān)重要的數(shù)據(jù)分析和挖掘工具。

Plato是騰訊內(nèi)部圖計(jì)算TGraph團(tuán)隊(duì)整合內(nèi)部資源自主研發(fā)的一款高性能圖計(jì)算框架，取名Plato是為了致敬偉大的數(shù)學(xué)家柏拉圖，云主機(jī)，目前騰訊云大數(shù)據(jù)團(tuán)隊(duì)正在封裝Plato，即將對(duì)所有開(kāi)發(fā)者開(kāi)放使用。

據(jù)了解，Plato的計(jì)算性能方面極其強(qiáng)悍，比目前市場(chǎng)上最為領(lǐng)先的圖計(jì)算框架SparkGraphX還高出1-2個(gè)數(shù)量級(jí)，它將算法計(jì)算時(shí)間從天級(jí)縮短到分鐘級(jí)，性能提升數(shù)十倍，也標(biāo)志著圖計(jì)算全面進(jìn)入分鐘級(jí)時(shí)代；另外一個(gè)巨大優(yōu)勢(shì)是，Plato在內(nèi)存消耗方面遠(yuǎn)小于主流的圖計(jì)算框架，比Spark GraphX減少1－2個(gè)數(shù)量級(jí)，僅需10臺(tái)服務(wù)器左右的中小規(guī)模集群，即可完成超大規(guī)模圖計(jì)算，相比此前動(dòng)輒需要數(shù)百臺(tái)服務(wù)器的限制，資源壓力和計(jì)算成本都得到了極大降低。

目前，Plato主要提供兩大核心能力：騰訊數(shù)據(jù)量級(jí)下的離線圖計(jì)算和騰訊數(shù)據(jù)量級(jí)下的圖表示學(xué)習(xí)。同時(shí)Plato天然適配Kubernetes、YARN等資源調(diào)度平臺(tái)，并提供支持主流文件系統(tǒng)的多種接口，能為開(kāi)發(fā)者提供更友好的運(yùn)行環(huán)境。

架構(gòu)設(shè)計(jì)上，Plato框架的核心是自適應(yīng)圖計(jì)算引擎，它能夠根據(jù)不同類(lèi)型的圖算法，提供多種計(jì)算模式供開(kāi)發(fā)者靈活選擇，包括自適應(yīng)計(jì)算模式、共享內(nèi)存計(jì)算模式和流水線計(jì)算模式等。另外，還設(shè)計(jì)了良好的接口支持接入新的計(jì)算通信模式。

Plato整體架構(gòu)圖

在計(jì)算引擎之上，Plato為算法設(shè)計(jì)者或具體的業(yè)務(wù)提供多層次接口：從底層的API，到圖算法庫(kù)，再到為具體業(yè)務(wù)量身打造的“解決方案”——圖工具集。通過(guò)這些應(yīng)用層的接口和工具，Plato還可以把離線計(jì)算結(jié)果與其他機(jī)器學(xué)習(xí)算法相結(jié)合，共同支撐頂層的不同業(yè)務(wù)。

值得一提的是，目前Plato的算法庫(kù)中的圖特征、節(jié)點(diǎn)中心性指標(biāo)、連通圖和社團(tuán)識(shí)別等多種算法都已經(jīng)開(kāi)源，未來(lái)還將進(jìn)一步開(kāi)源更多的算法。

Plato高性能、可擴(kuò)展、易插拔的特性在社交網(wǎng)絡(luò)、推薦系統(tǒng)、生物醫(yī)療等領(lǐng)域應(yīng)用前景廣闊，例如定期對(duì)網(wǎng)頁(yè)進(jìn)行影響力排序以提升用戶的搜索體驗(yàn)、分析龐大的社交網(wǎng)絡(luò)結(jié)構(gòu)以便精準(zhǔn)地為用戶推薦服務(wù)、通過(guò)子圖匹配等方式了解蛋白質(zhì)間的相互作用從而研制更有效的臨床醫(yī)藥等。

自去年930架構(gòu)調(diào)整以來(lái)，開(kāi)源協(xié)同成為騰訊技術(shù)發(fā)展的重要戰(zhàn)略之一，，并帶動(dòng)了重磅項(xiàng)目密集對(duì)外開(kāi)源。就在上周的Techo開(kāi)發(fā)者大會(huì)上，騰訊正式宣布TubeMQ、Tencent Kona JDK、TBase、TKEStack四大重點(diǎn)項(xiàng)目開(kāi)源。隨著Plato的開(kāi)源，騰訊在開(kāi)源領(lǐng)域又添大動(dòng)作。據(jù)悉，騰訊已經(jīng)在Github上已經(jīng)開(kāi)源了89個(gè)項(xiàng)目，超過(guò)1000個(gè)貢獻(xiàn)者參與了開(kāi)源貢獻(xiàn)，擁有超過(guò)26萬(wàn)個(gè)Star數(shù)，在Github全球公司貢獻(xiàn)榜上居于前列。