數(shù)美是海內頂尖的大數(shù)據(jù)公司，依托積聚的海量數(shù)據(jù)和焦點技能，提供領先的大數(shù)據(jù)風控產(chǎn)物與處事。目已處事數(shù)千家客戶。

本期騰訊云要訪談的高朋是數(shù)美的一員猛將，他是數(shù)美連系首創(chuàng)人&CTO粱堃。

從震驚全球的Alphago、到能識別出你圖片中的面目和所在；從上路飛躍的無人駕駛、從千人千面的營銷推薦，再到大數(shù)據(jù)幫你闡明做好理財。腦洞大開的“黑科技”，大數(shù)據(jù)、人工智能，正在改變著我們的糊口的方方面面。

此刻就讓我們一起相識一下梁堃眼里的大數(shù)據(jù)以及數(shù)美公司：

數(shù)美的大數(shù)據(jù)本領優(yōu)勢是什么？詳細做了哪些算法層面的優(yōu)化呢？

先做下自我先容，我是梁堃，數(shù)美的連系首創(chuàng)人兼CTO，很僥幸介入此次的采訪。

首先我先說一下數(shù)美大數(shù)據(jù)方面的優(yōu)勢。主要來自三個方面：

1）數(shù)據(jù)量要夠大，維度要夠多，數(shù)據(jù)更新要實時。

2）架構方面：首創(chuàng)團隊來自百度等一線互聯(lián)網(wǎng)企業(yè)，經(jīng)驗過數(shù)萬臺設備級此外大數(shù)據(jù)架構和算法開拓，因此數(shù)美的在線技能架構實現(xiàn)了微處事化，今朝我們所有的客戶請求可以在10ms之內完成風險識別 ，文本過濾精確率可以到達99.8%以上，誤殺率低于1/1000.

離線架構：基于Hadoop生態(tài)的較量尺度離線數(shù)據(jù)客棧，基于Scracpy去獲取數(shù)據(jù)。

數(shù)據(jù)架構：對什么人在什么時間做了什么工作有一個基本層，再上一層是數(shù)據(jù)主題層，尚有實此刻內存緩存層的應用層，使得線上應用可以根基不做二次處理懲罰，通過查詢的方法得到所需要的數(shù)據(jù)。

3）計策方面的優(yōu)勢：在于領略數(shù)據(jù)和常見的算法，把數(shù)據(jù)在某個規(guī)模真正的用起來，好比數(shù)美的客戶就有不少像金融類的，好比中信銀行等。

舉個例子，好比大數(shù)據(jù)用于互聯(lián)網(wǎng)金融規(guī)模的信貸風險打點，兩小我私家年度收入都是X，可是A是每月收入X/12，B的前6個月收入為0，第7個月收入是X/2，后5個月收入又是0，第12個月又是X/2，前者A的收入不變性明明好過B，我們需要參考不少雷同收入不變性這樣的指標，來綜合計較。

2.數(shù)美的大數(shù)據(jù)本領應用會合在哪幾個行業(yè)，和騰訊云的哪些產(chǎn)物有團結？

我先說一下數(shù)美產(chǎn)物會合應用的規(guī)模，數(shù)美此刻會合的規(guī)模為：

金融規(guī)模，可以輔佐淘汰違約和過時，最大限度沒落欺騙財類用戶，對付金融行業(yè)風控是焦點本領。

社交規(guī)模 ，在社交類應用內里有不少惡意用戶會到內里去刷小告白，色情類文字，會對付企業(yè)帶來運營壓力和政策風險，我們可以提供文本過濾的成果。

直播規(guī)模 ，直播類常常會有充值送的勾當，可是有些主播和黃牛黨會作弊，可以通過大數(shù)據(jù)的本領來制止被少數(shù)惡意用戶給刷走，同時也可以輔佐平臺識別注冊的新用戶是不是呆板人用戶。

我們此刻與騰訊云產(chǎn)物的團結，主要用到的是騰訊云CVM、云數(shù)據(jù)庫Mysql和Redis等，騰訊云對付云數(shù)據(jù)庫Mysql舉辦了不少定制優(yōu)化，并且云處事這種方法也大大地淘汰了我們數(shù)美的IT運維本錢。

3.您在BAT接受數(shù)據(jù)架構師多年，也經(jīng)驗過大數(shù)據(jù)計較框架風行趨勢從Hadoop到Spark的遷移，能見下兩種計較框架的差別和合用范疇么？Spark在哪些詳細規(guī)模表示要好過Hadoop？

是這樣的，Hadoop自己已經(jīng)是一個大數(shù)據(jù)的生態(tài)了，在Hadoop生態(tài)中Mapreduce計較框架和 Spark計較框架是根基對等的。都屬于大數(shù)據(jù)集的并行計較，都有一個shuffle，對數(shù)據(jù)舉辦分組，然后別離計較，遇到必然的邏輯的時候，再次舉辦分組，兩個計較框架的計較泛型都是一樣的。

1）Spark對Mapreduce的重要改造是可以把分組數(shù)據(jù)存在內存中，重復舉辦計較。

2）Mapreduce->Spark 基于問題的改造，最早用于統(tǒng)計闡明，只用Mapreduce就夠了，此刻數(shù)據(jù)的利用到了下一個階段，引入更多的維度舉辦數(shù)據(jù)挖掘，K-Means等算法需要基于一份數(shù)據(jù)舉辦重復的迭代計較。

Mapreduce長舉辦迭代，每一次迭代都要寫入磁盤，還要在IO行列中列隊，在Spark計較框架中淘汰了這兩部門的耗損，效率更高。

3）Mapreduce對付離線數(shù)據(jù)處理懲罰合用性比Spark更高，在這種場景下利用Mapreduce有助于晉升集群整體的利用率。

Mapreduce中50個Map、50個Reduce任務中跑完了 10個MAP任務就可以釋放這部門計較資源，而對付50個Spark任務而言，只跑完了10個任務是不可以或許釋放10個已完成任務的資源的。

4.您見過的數(shù)據(jù)架構師犯過的最大的錯誤是什么？導致了什么效果？

我可以舉例講授一下：