11月7日，騰訊Techo開發(fā)者大會的“騰訊大數(shù)據(jù)”分論壇上，圍繞大數(shù)據(jù)的新技術(shù)進展及開源生態(tài)，騰訊大數(shù)據(jù)團隊進行了詳細解讀，包括由集群規(guī)模化與異構(gòu)化挑戰(zhàn)所引發(fā)的漂移計算等新技術(shù)創(chuàng)新，越來越普遍的實時計算需求以及新架構(gòu)的實踐，能夠無限彈性擴展的、面向未來的數(shù)據(jù)湖體系結(jié)構(gòu)，大數(shù)據(jù)技術(shù)發(fā)展的新趨勢與新挑戰(zhàn)等。

騰訊也通過開源和廣大開發(fā)者共享技術(shù)成果，并希望推動業(yè)界共同加入構(gòu)建開源正生態(tài)。在前一天的大會主論壇上，騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰博士宣布資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源，騰訊正在走向大數(shù)據(jù)領(lǐng)域全面開源之路。

十年技術(shù)演進 從引進到自研

蔣杰指出，自2009年起，騰訊大數(shù)據(jù)平臺已完成三次迭代，從以Hadoop為核心的離線計算時代到以Storm、Spark、Flink為核心的實時計算時代，再到如今的機器學習和深度學習時代。經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺的算力資源池目前已有超過20萬臺的規(guī)模，每天實時數(shù)據(jù)計算量超過30萬億條，騰訊已經(jīng)成為中國實時數(shù)據(jù)計算量最大的公司。

從開始的技術(shù)引進、局部優(yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)在實踐中不斷優(yōu)化、不斷完善。隨著系統(tǒng)演進和數(shù)據(jù)增長，異構(gòu)集群、異構(gòu)數(shù)據(jù)源問題凸顯，directadmin漢化，為了降低數(shù)據(jù)使用壁壘，漂移計算平臺研發(fā)負責人張韶全博士表示：“騰訊大數(shù)據(jù)去年自研了漂移計算引擎SuperSQL，滿足跨地區(qū)、跨集群、跨數(shù)據(jù)源的聯(lián)邦數(shù)據(jù)需求，通過解決數(shù)據(jù)孤島、優(yōu)化資源使用，能夠極大地降低數(shù)據(jù)聯(lián)合分析的使用門檻，提升數(shù)據(jù)使用效率，最大化數(shù)據(jù)使用的價值。”

（騰訊漂移計算平臺研發(fā)負責人張韶全博士）

2015年起，騰訊就開始對大數(shù)據(jù)進行實時化的改造，到現(xiàn)在騰訊內(nèi)部所有產(chǎn)品都已經(jīng)廣泛開始使用實時計算的模式。據(jù)實時計算平臺研發(fā)負責人施曉罡博士介紹，Oceanus是騰訊基于Flink打造的集開發(fā)、測試、部署和運維于一體的一站式可視化實時計算平臺。目前Oceanus在內(nèi)部支持了包括微信、QQ、騰訊游戲、騰訊視頻、微信支付、財付通和CDN在內(nèi)的多個重要產(chǎn)品，并在騰訊云上為公有云和私有云用戶提供可靠的實時計算服務(wù)。圍繞著內(nèi)部海量業(yè)務(wù)，oceanus團隊同時將現(xiàn)網(wǎng)面臨的各類問題以及解決手段反饋給社區(qū)，目前已經(jīng)貢獻了超過300多個的patch，為flink穩(wěn)定性、擴展性、易用性以及高性能做出重要貢獻。

（騰訊實時計算平臺研發(fā)負責人施曉罡博士）

而隨著數(shù)據(jù)應(yīng)用越來越深入，騰訊對數(shù)據(jù)挖掘的需求也越來越多。2015年初，騰訊開始自研高性能的分布式機器學習平臺Angel，采用PS架構(gòu)，能支持10億維度，目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)。從1.0到3.0，Angel從一個單一的模型訓練平臺發(fā)展到涵蓋機器學習各個流程的全棧機器學習平臺，并且已應(yīng)用于微信支付、QQ、騰訊視頻、騰訊社交廣告及用戶畫像挖掘等業(yè)務(wù)。

目前，騰訊正在探索以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學習為方向的下一代大數(shù)據(jù)平臺的研究,該平臺將具備混合部署、跨域數(shù)據(jù)共享和邊緣計算等能力。

大數(shù)據(jù)平臺全面開源 助力構(gòu)建開源生態(tài)

今年，在內(nèi)部開源協(xié)同的戰(zhàn)略推動下，騰訊在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速。此次在Techo大會現(xiàn)場，騰訊重磅宣布正式開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase，至此完成了騰訊大數(shù)據(jù)核心能力全開源，并期望推動業(yè)界一起構(gòu)建繁榮的開源生態(tài)。

其中，TKE是基于 Kubernetes 的開源容器平臺，在大數(shù)據(jù)，深度學習，通用服務(wù)等現(xiàn)網(wǎng)業(yè)務(wù)的實踐和打磨下，可以同時服務(wù)公有云和私有云，并且在易用性，可靠性，安全性，通用性等方面領(lǐng)先業(yè)界。目前TKE已應(yīng)用于騰訊內(nèi)外部游戲、銀行、汽車等多項業(yè)務(wù)。

TBase則是在開源的PostgreSQL基礎(chǔ)上自主研發(fā)的企業(yè)級分布式HTAP數(shù)據(jù)庫管理系統(tǒng)，具備高擴展性、SQL高兼容度、提供分布式全局事務(wù)一致性功能支持、多級容災(zāi)能力以及多維度資源隔離能力的高安全性等特征，同時支持關(guān)系模型下的在線交易+分析型業(yè)務(wù)。自2015年上線以來，TBase已在騰訊內(nèi)外部包括政務(wù)、銀行、保險、證券、微信支付等多個行業(yè)提供底層數(shù)據(jù)庫支撐。