數美是海內頂尖的大數據公司，依托積聚的海量數據和焦點技能，提供領先的大數據風控產物與處事。目已處事數千家客戶。

本期騰訊云要訪談的高朋是數美的一員猛將，他是數美連系首創人&CTO粱堃。

從震驚全球的Alphago、到能識別出你圖片中的面目和所在；從上路飛躍的無人駕駛、從千人千面的營銷推薦，再到大數據幫你闡明做好理財。腦洞大開的“黑科技”，大數據、人工智能，正在改變著我們的糊口的方方面面。

此刻就讓我們一起相識一下梁堃眼里的大數據以及數美公司：

數美的大數據本領優勢是什么？詳細做了哪些算法層面的優化呢？

先做下自我先容，我是梁堃，數美的連系首創人兼CTO，很僥幸介入此次的采訪。

首先我先說一下數美大數據方面的優勢。主要來自三個方面：

1）數據量要夠大，維度要夠多，數據更新要實時。

2）架構方面：首創團隊來自百度等一線互聯網企業，經驗過數萬臺設備級此外大數據架構和算法開拓，因此數美的在線技能架構實現了微處事化，今朝我們所有的客戶請求可以在10ms之內完成風險識別 ，文本過濾精確率可以到達99.8%以上，誤殺率低于1/1000.

離線架構：基于Hadoop生態的較量尺度離線數據客棧，基于Scracpy去獲取數據。

數據架構：對什么人在什么時間做了什么工作有一個基本層，再上一層是數據主題層，尚有實此刻內存緩存層的應用層，使得線上應用可以根基不做二次處理懲罰，通過查詢的方法得到所需要的數據。

3）計策方面的優勢：在于領略數據和常見的算法，把數據在某個規模真正的用起來，好比數美的客戶就有不少像金融類的，好比中信銀行等。

舉個例子，好比大數據用于互聯網金融規模的信貸風險打點，兩小我私家年度收入都是X，可是A是每月收入X/12，B的前6個月收入為0，第7個月收入是X/2，后5個月收入又是0，第12個月又是X/2，前者A的收入不變性明明好過B，我們需要參考不少雷同收入不變性這樣的指標，來綜合計較。

2.數美的大數據本領應用會合在哪幾個行業，和騰訊云的哪些產物有團結？

我先說一下數美產物會合應用的規模，數美此刻會合的規模為：

金融規模，可以輔佐淘汰違約和過時，最大限度沒落欺騙財類用戶，對付金融行業風控是焦點本領。

社交規模 ，在社交類應用內里有不少惡意用戶會到內里去刷小告白，色情類文字，會對付企業帶來運營壓力和政策風險，我們可以提供文本過濾的成果。

直播規模 ，直播類常常會有充值送的勾當，可是有些主播和黃牛黨會作弊，可以通過大數據的本領來制止被少數惡意用戶給刷走，同時也可以輔佐平臺識別注冊的新用戶是不是呆板人用戶。

我們此刻與騰訊云產物的團結，主要用到的是騰訊云CVM、云數據庫Mysql和Redis等，騰訊云對付云數據庫Mysql舉辦了不少定制優化，并且云處事這種方法也大大地淘汰了我們數美的IT運維本錢。

3.您在BAT接受數據架構師多年，也經驗過大數據計較框架風行趨勢從Hadoop到Spark的遷移，能見下兩種計較框架的差別和合用范疇么？Spark在哪些詳細規模表示要好過Hadoop？

是這樣的，Hadoop自己已經是一個大數據的生態了，在Hadoop生態中Mapreduce計較框架和 Spark計較框架是根基對等的。都屬于大數據集的并行計較，都有一個shuffle，對數據舉辦分組，然后別離計較，遇到必然的邏輯的時候，再次舉辦分組，兩個計較框架的計較泛型都是一樣的。

1）Spark對Mapreduce的重要改造是可以把分組數據存在內存中，重復舉辦計較。

2）Mapreduce->Spark 基于問題的改造，最早用于統計闡明，只用Mapreduce就夠了，此刻數據的利用到了下一個階段，引入更多的維度舉辦數據挖掘，K-Means等算法需要基于一份數據舉辦重復的迭代計較。

Mapreduce長舉辦迭代，每一次迭代都要寫入磁盤，還要在IO行列中列隊，在Spark計較框架中淘汰了這兩部門的耗損，效率更高。

3）Mapreduce對付離線數據處理懲罰合用性比Spark更高，在這種場景下利用Mapreduce有助于晉升集群整體的利用率。

Mapreduce中50個Map、50個Reduce任務中跑完了 10個MAP任務就可以釋放這部門計較資源，而對付50個Spark任務而言，只跑完了10個任務是不可以或許釋放10個已完成任務的資源的。

4.您見過的數據架構師犯過的最大的錯誤是什么？導致了什么效果？

我可以舉例講授一下：