開源SQLFlow，反哺業(yè)界，同時(shí)小小秀出AI肌肉。

這就是螞蟻金服近日開源首個(gè)將SQL應(yīng)用于AI引擎項(xiàng)目SQLFlow后，業(yè)界給出的反應(yīng)。

SQLFlow，把艱深的AI與簡(jiǎn)單的SQL結(jié)合起來，大大簡(jiǎn)化了數(shù)據(jù)工程師使用AI技術(shù)的門檻。

而研發(fā)出SQLFlow的，正是螞蟻金服計(jì)算存儲(chǔ)首席架構(gòu)師何昌華帶領(lǐng)下的AI Infra團(tuán)隊(duì)。

何昌華斯坦福博士畢業(yè)，先在Google總部工作7年，贏得過公司最高技術(shù)獎(jiǎng)項(xiàng)，其后又在獨(dú)角獸Airbnb工作2年，負(fù)責(zé)后臺(tái)系統(tǒng)的應(yīng)用架構(gòu)。

2017年5月，他正式加盟螞蟻金服，擔(dān)任計(jì)算存儲(chǔ)首席架構(gòu)師，并在2018年入選了第14批國(guó)家“千人計(jì)劃”專家。

在螞蟻金服，何昌華的工作是開發(fā)新一代計(jì)算引擎，搭建金融型數(shù)據(jù)智能平臺(tái)。

而SQLFlow，就是計(jì)算引擎主線上的結(jié)晶之一。

不過對(duì)何昌華來說，世界正在巨變，他還要帶隊(duì)探索一些沒人做成的事情。

比如全實(shí)時(shí)的大數(shù)據(jù)智能系統(tǒng)。

未來技術(shù)基石

大數(shù)據(jù)的概念，最早來自于搜索引擎行業(yè)，因?yàn)樗阉饕婷鎸?duì)的是人類在互聯(lián)網(wǎng)上留下的爆炸性增長(zhǎng)的龐大數(shù)據(jù)。

2010年底，谷歌宣布新一代搜索引擎“咖啡因”正式上線，這項(xiàng)技術(shù)的革命性在于，任何時(shí)刻，世界上的任何網(wǎng)頁(yè)發(fā)生了變化，都可以實(shí)時(shí)地添加到索引中，用戶也可以實(shí)時(shí)地搜索到，解決了傳統(tǒng)搜索引擎的延時(shí)問題。

何昌華當(dāng)時(shí)正是咖啡因開發(fā)團(tuán)隊(duì)的核心技術(shù)負(fù)責(zé)人之一。

他解釋，“咖啡因所實(shí)現(xiàn)的最核心的功能，就是實(shí)時(shí)。”

而現(xiàn)在何昌華在螞蟻金服工作的目標(biāo)，同樣是搭建一個(gè)“完全實(shí)時(shí)”的大數(shù)據(jù)處理系統(tǒng)，或稱之為大數(shù)據(jù)智能平臺(tái)。由于線下生活場(chǎng)景的多樣性和復(fù)雜性，這是個(gè)比構(gòu)建實(shí)時(shí)搜索更有挑戰(zhàn)性的任務(wù)。

他認(rèn)為，這將成為未來技術(shù)的基石。

對(duì)于計(jì)算機(jī)來說，實(shí)時(shí)就是在發(fā)出請(qǐng)求到返回響應(yīng)之間的延遲盡量小，對(duì)于大數(shù)據(jù)處理系統(tǒng)來說，這還意味著從數(shù)據(jù)生產(chǎn)到消費(fèi)的延遲盡可能低，所有這些都意味著計(jì)算速度和能力的提升。

此前常用的大數(shù)據(jù)計(jì)算模型MapReduce，對(duì)數(shù)據(jù)的處理是“分片式”的，數(shù)據(jù)的片與片之間有邊界的概念，這種批處理的模式不可避免地會(huì)帶來延時(shí)問題。

以搜索的場(chǎng)景為例，假如以天為時(shí)間單位對(duì)數(shù)據(jù)進(jìn)行批處理，那就意味著今天更新的網(wǎng)頁(yè)，用戶明天才能搜索到，調(diào)高處理的頻率可以部分解決問題，一天兩次、一天四次、兩小時(shí)一次……

雖然能逐步接近“準(zhǔn)實(shí)時(shí)”，但成本也會(huì)急劇上升。

要實(shí)現(xiàn)真正的實(shí)時(shí)，就必須打破這種批處理的邊界，讓數(shù)據(jù)處理的過程像水流一樣，隨來隨算，隨時(shí)反饋。

這也催生了后來流式計(jì)算引擎的蓬勃發(fā)展。

而在何昌華看來，除了快，“實(shí)時(shí)系統(tǒng)”還有兩層重要含義。

第一是OLTP（聯(lián)機(jī)事務(wù)處理）和OLAP（聯(lián)機(jī)分析處理）的融合。

在以往的觀念里，OLTP對(duì)實(shí)時(shí)性的要求高，OLAP對(duì)時(shí)效性的要求不那么高。

舉例而言，用支付寶進(jìn)行一筆交易，需要即時(shí)查詢和增刪記錄，就是由OLTP來處理的。而對(duì)用戶行為特征的數(shù)據(jù)分析，則由OLAP來處理。

但現(xiàn)在隨著業(yè)務(wù)場(chǎng)景需求的不斷變化，OLAP的時(shí)效性要求也越來越高。

例如互聯(lián)網(wǎng)金融中的風(fēng)控場(chǎng)景，就需要在完成一筆交易的極短時(shí)間中，通過分析用戶的特征數(shù)據(jù)判斷風(fēng)險(xiǎn)，這要求OLAP也要能實(shí)時(shí)反饋，且反饋結(jié)果馬上就能夠在線訪問。

第二是智能和數(shù)據(jù)系統(tǒng)的融合。

人工智能和機(jī)器學(xué)習(xí)是大數(shù)據(jù)應(yīng)用最熱門的領(lǐng)域，而現(xiàn)在絕大多數(shù)公司的做法，站群服務(wù)器，是將數(shù)倉(cāng)和機(jī)器學(xué)習(xí)平臺(tái)分開，從數(shù)倉(cāng)取一批數(shù)據(jù)，放到機(jī)器學(xué)習(xí)平臺(tái)上去訓(xùn)練模型。

隨著業(yè)務(wù)場(chǎng)景的復(fù)雜化和多樣化，這種模式逐漸顯露問題，因?yàn)槟Ｐ湍芊?a href="http://www.qzkangyuan.com/cnidc/bigdata/dsjjs/2019/34277.html">實(shí)時(shí)更新，能否能用更實(shí)時(shí)的數(shù)據(jù)來訓(xùn)練模型，直接影響了應(yīng)對(duì)復(fù)雜場(chǎng)景的能力。

“數(shù)據(jù)實(shí)時(shí)流入、實(shí)時(shí)訓(xùn)練模型，模型實(shí)時(shí)上線決策并反饋數(shù)據(jù)——這一條線如果能完全打通，對(duì)于業(yè)務(wù)將產(chǎn)生不可估量的價(jià)值”， 何昌華說。

數(shù)據(jù)、計(jì)算、智能，所有這一切構(gòu)成了何昌華設(shè)想中的“高效率的大數(shù)據(jù)底盤”，也就是一個(gè)融合的實(shí)時(shí)數(shù)據(jù)智能平臺(tái)，或者叫“Big Data Base”，就像曾經(jīng)數(shù)據(jù)庫(kù)成為無數(shù)場(chǎng)景的數(shù)據(jù)底盤一樣。

如今，不僅是螞蟻金服或者阿里巴巴集團(tuán)，在各行各業(yè)中，數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)都越來越多。

但大數(shù)據(jù)開發(fā)的門檻很高，如果每一項(xiàng)業(yè)務(wù)都從數(shù)據(jù)開發(fā)的底層做起，將會(huì)非常耗時(shí)耗力。

如何才能讓做業(yè)務(wù)的人有更多精力專注于業(yè)務(wù)？

何昌華認(rèn)為這就是“Big Data Base”的使命，同樣也是“基石”的含義：