11月7日，騰訊Techo開發者大會的“騰訊大數據”分論壇上，圍繞大數據的新技術進展及開源生態，騰訊大數據團隊進行了詳細解讀，包括由集群規模化與異構化挑戰所引發的漂移計算等新技術創新，越來越普遍的實時計算需求以及新架構的實踐，能夠無限彈性擴展的、面向未來的數據湖體系結構，大數據技術發展的新趨勢與新挑戰等。
騰訊也通過開源和廣大開發者共享技術成果，并希望推動業界共同加入構建開源正生態。在前一天的大會主論壇上，騰訊云副總裁、騰訊數據平臺部總經理蔣杰博士宣布資源管理平臺核心TKE和分布式數據庫TBase正式對外開源，騰訊正在走向大數據領域全面開源之路。
十年技術演進 從引進到自研
蔣杰指出，自2009年起，騰訊大數據平臺已完成三次迭代，從以Hadoop為核心的離線計算時代到以Storm、Spark、Flink為核心的實時計算時代，再到如今的機器學習和深度學習時代。經過10年的積累，騰訊大數據平臺的算力資源池目前已有超過20萬臺的規模，每天實時數據計算量超過30萬億條，騰訊已經成為中國實時數據計算量最大的公司。
從開始的技術引進、局部優化到如今的自主創新，騰訊的大數據技術在實踐中不斷優化、不斷完善。隨著系統演進和數據增長，異構集群、異構數據源問題凸顯，directadmin漢化，為了降低數據使用壁壘，漂移計算平臺研發負責人張韶全博士表示：“騰訊大數據去年自研了漂移計算引擎SuperSQL，滿足跨地區、跨集群、跨數據源的聯邦數據需求，通過解決數據孤島、優化資源使用，能夠極大地降低數據聯合分析的使用門檻，提升數據使用效率，最大化數據使用的價值。”
（騰訊漂移計算平臺研發負責人張韶全博士）
2015年起，騰訊就開始對大數據進行實時化的改造，到現在騰訊內部所有產品都已經廣泛開始使用實時計算的模式。據實時計算平臺研發負責人施曉罡博士介紹，Oceanus是騰訊基于Flink打造的集開發、測試、部署和運維于一體的一站式可視化實時計算平臺。目前Oceanus在內部支持了包括微信、QQ、騰訊游戲、騰訊視頻、微信支付、財付通和CDN在內的多個重要產品，并在騰訊云上為公有云和私有云用戶提供可靠的實時計算服務。圍繞著內部海量業務，oceanus團隊同時將現網面臨的各類問題以及解決手段反饋給社區，目前已經貢獻了超過300多個的patch，為flink穩定性、擴展性、易用性以及高性能做出重要貢獻。
（騰訊實時計算平臺研發負責人施曉罡博士）
而隨著數據應用越來越深入，騰訊對數據挖掘的需求也越來越多。2015年初，騰訊開始自研高性能的分布式機器學習平臺Angel，采用PS架構，能支持10億維度，目前Angel發展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態。從1.0到3.0，Angel從一個單一的模型訓練平臺發展到涵蓋機器學習各個流程的全棧機器學習平臺，并且已應用于微信支付、QQ、騰訊視頻、騰訊社交廣告及用戶畫像挖掘等業務。
目前，騰訊正在探索以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平臺的研究,該平臺將具備混合部署、跨域數據共享和邊緣計算等能力。
今年，在內部開源協同的戰略推動下，騰訊在大數據開源領域的開源逐步加速。此次在Techo大會現場，騰訊重磅宣布正式開源資源管理平臺核心TKE和分布式數據庫TBase，至此完成了騰訊大數據核心能力全開源，并期望推動業界一起構建繁榮的開源生態。
其中，TKE是基于 Kubernetes 的開源容器平臺，在大數據，深度學習，通用服務等現網業務的實踐和打磨下，可以同時服務公有云和私有云，并且在易用性，可靠性，安全性，通用性等方面領先業界。目前TKE已應用于騰訊內外部游戲、銀行、汽車等多項業務。
TBase則是在開源的PostgreSQL基礎上自主研發的企業級分布式HTAP數據庫管理系統，具備高擴展性、SQL高兼容度、提供分布式全局事務一致性功能支持、多級容災能力以及多維度資源隔離能力的高安全性等特征，同時支持關系模型下的在線交易+分析型業務。自2015年上線以來，TBase已在騰訊內外部包括政務、銀行、保險、證券、微信支付等多個行業提供底層數據庫支撐。
