隨著海量數(shù)據(jù)存儲和處理技術(shù)的發(fā)展，數(shù)據(jù)的價值將進一步凸顯，銀行自身要用好數(shù)據(jù)，基于客戶賬戶數(shù)據(jù)進行客戶畫像，預測客戶潛在需求，推出有競爭力的產(chǎn)品，根據(jù)客戶消費數(shù)據(jù)，結(jié)合場景進行智能推薦，并進行風險預測和干預，提升盈利水平，作為金融數(shù)據(jù)服務提供方，要能在合規(guī)的前提下提供高質(zhì)量的數(shù)據(jù)服務，打造場景化的金融生態(tài)體系。

云時代背景下，大數(shù)據(jù)(Big Data)吸引了越來越多的關注，數(shù)據(jù)中蘊藏著豐富的價值，通過提升數(shù)據(jù)管理和處理能力，應對數(shù)據(jù)急速增長的挑戰(zhàn)，更多、更好地挖掘數(shù)據(jù)的內(nèi)在關系并加以應用，成了金融業(yè)發(fā)展共同的目標。

隨著業(yè)務發(fā)展和公司治理要求的不斷提高，各類應用系統(tǒng)產(chǎn)生的數(shù)據(jù)量急速增加。據(jù)初步統(tǒng)計，目前行內(nèi)各應用系統(tǒng)每年產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)超過1PB，結(jié)構(gòu)化數(shù)據(jù)也以百TB計，加之已歸檔的歷史數(shù)據(jù)，總數(shù)據(jù)量已經(jīng)需要以PB為單位計算。

大數(shù)據(jù)的特點可歸納為“4V”。數(shù)據(jù)體量大，數(shù)據(jù)類型繁多，價值密度低，云主機租用，處理速度快。當前的軟硬件環(huán)境，在爆炸式增長的業(yè)務和管理數(shù)據(jù)面前，凸顯出了若干問題，包括數(shù)據(jù)存儲成本高、橫向擴展能力欠缺、大規(guī)模數(shù)據(jù)分析性能較差、歷史數(shù)據(jù)難以有效利用等。數(shù)據(jù)的急劇增長和類型復雜迫切需要快速且有效的處理技術(shù)，而以Spark、HBase、Kafka等為代表的Hadoop生態(tài)系統(tǒng)則是大數(shù)據(jù)處理領域的利器。

當金融業(yè)遇到大數(shù)據(jù)技術(shù)，能帶來什么點石成金的效果，可從幾個典型的應用場景中見到。

一是海量金融數(shù)據(jù)的存儲與管理，交易渠道的多樣化帶來明細類結(jié)構(gòu)化數(shù)據(jù)的快速增長，“雙錄”等監(jiān)管類要求使影像、圖片、電子憑證等非結(jié)構(gòu)化數(shù)據(jù)也呈井噴之勢，傳統(tǒng)的數(shù)據(jù)庫、內(nèi)容庫等技術(shù)因擴展性不高而應對乏力。Hadoop的分布式架構(gòu)特點為應用提供海量數(shù)據(jù)管理方面的核心能力，包括結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的存儲、查詢等，在一定程度上替代傳統(tǒng)關系型數(shù)據(jù)庫的功能;非結(jié)構(gòu)化數(shù)據(jù)的存儲和管理，在一定程度上替代傳統(tǒng)文件系統(tǒng)的功能;結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)計、分析、挖掘能力，可基于此構(gòu)建數(shù)據(jù)倉庫或數(shù)據(jù)集市，形成互聯(lián)網(wǎng)銀行業(yè)務拓展的數(shù)據(jù)支撐，完成多格式文件隨機存取管理、海量數(shù)據(jù)統(tǒng)計、分析等多種場景的應用實踐。

二是客戶畫像與精準營銷。金融業(yè)面對的客戶群體數(shù)量眾多，需要快速識別目標客戶，推出有競爭力的金融產(chǎn)品并進行精準化營銷，依托大數(shù)據(jù)技術(shù)的客戶畫像正是實現(xiàn)該目標的利器，其核心是對客戶屬性的標簽化。

三是交易監(jiān)控與實時風險識別。金融業(yè)競爭中，保證實時性也就保證了競爭的優(yōu)勢地位，要做到交易快速響應，在用戶無感知的情況下，完成風險識別等操作，既確保交易的安全性，又不影響客戶體驗。

四是多維分析與商業(yè)智能。

五是基于內(nèi)容的業(yè)務知識智能檢索。通過對于用戶輸入的關鍵字等內(nèi)容與海量檢索對象進行相似度匹配，并依據(jù)相關性高低進行排序，返回用戶最可能需要的內(nèi)容，并基于用戶反饋及時調(diào)整檢索結(jié)果，保證檢索的有效性。

六是歷史交易明細實時查詢。隨著互聯(lián)網(wǎng)金融的發(fā)展，交易的頻度和復雜性也隨之快速增長，域名注冊，交易數(shù)據(jù)源源不斷產(chǎn)生，如何提供高質(zhì)量的數(shù)據(jù)查詢服務，滿足客戶全天候、場景化且實時性的數(shù)據(jù)訪問需求，成了數(shù)據(jù)管理的核心命題。

業(yè)務交易數(shù)據(jù)產(chǎn)生于各自的交易系統(tǒng)(如核心系統(tǒng))，并通過交易系統(tǒng)提供當日數(shù)據(jù)的查詢服務。采用Hadoop集群進行歷史數(shù)據(jù)存儲，歷史交易數(shù)據(jù)通過數(shù)據(jù)交換平臺獲取，通過批量方式每日執(zhí)行數(shù)據(jù)導入，數(shù)據(jù)導入過程支持數(shù)據(jù)校驗和異常數(shù)據(jù)清洗，清洗處理后的交易數(shù)據(jù)采用實時數(shù)據(jù)庫HBase作為存儲容器，保存業(yè)務系統(tǒng)歷史交易數(shù)據(jù)。對外提供了交易數(shù)據(jù)統(tǒng)一查詢服務，覆蓋交易系統(tǒng)中的當日交易數(shù)據(jù)和HBase中的歷史交易數(shù)據(jù)，對終端用戶提供統(tǒng)一的數(shù)據(jù)訪問視圖。

基于以上這些典型應用場景，依托大數(shù)據(jù)技術(shù)可實現(xiàn)風險實時管控、產(chǎn)品精準營銷、支持商業(yè)智能決策分析、海量知識快速檢索，更好地讓數(shù)據(jù)服務業(yè)務發(fā)展。目前，農(nóng)行正在逐步構(gòu)建從采集、存儲、分析、展現(xiàn)到應用的全流程數(shù)據(jù)服務體系，而在打造全行數(shù)據(jù)平臺的過程中，還需要著重關注以下問題：

第一，價值驅(qū)動，架構(gòu)先行。數(shù)據(jù)的存儲和管理是手段，目標是獲取數(shù)據(jù)的價值。一切對于數(shù)據(jù)的管理均應基于其價值，對于價值密度高的賬戶類、交易類數(shù)據(jù)，不僅要管理好，還要利用好，建立數(shù)據(jù)間的關聯(lián)，挖掘潛在的價值。對于數(shù)據(jù)中臺的建設，要堅持架構(gòu)先行，確立整體數(shù)據(jù)架構(gòu)，通過數(shù)據(jù)治理等手段，加強數(shù)據(jù)模型的統(tǒng)籌管理，提升數(shù)據(jù)質(zhì)量，并結(jié)合服務接口管控，提升數(shù)據(jù)服務能力，逐步實施架構(gòu)演進，打造數(shù)據(jù)領域的開放平臺。