中國IDC圈3月23日報道：操作互聯網購物的營銷數據來追蹤和勾畫消費行為并以此為據促銷是大數據應用的樂成典范案例。有些人已此將大數據吹得神乎其神，仿佛它能成為萬能藥。其實，這只是大數據應用中的很小一部門。作為智能決定的支持手段之一，大數據在企業、事業、當局、社會打點和成長上的應用是更重要的挑戰。在這里，多源數據的融合就成為大數據闡明中的瓶頸。

每個親身介入過大數據項目標數據科學家、數據闡明師、數據庫打點員城市匯報你，項目標80%的時間和經費花在數據的籌備事情上。這個中多源數據的融合是最淹滅資源的任務之一。難怪最近紐約時報驚呼：“數據科學家把高達 80%的時間用于數據籌備而不是用來發明新的貿易智能”。

傳統的統計闡明常常是對單一數據源（營銷數據、行政報表、問卷觀測、人口普查等）舉辦深入的追蹤和闡明。闡明人員對數據的來歷和布局有必然的節制和深層的相識。在大數據時代，數據源是多樣的、自然形成的、海量的數據經常是半布局或無布局的。這就要求數據科學家和闡明師駕御多樣、多源的數據，將它們梳理后舉辦挖掘和闡明。在這個進程中，數據融合（data blending）就成為不行或缺的一步。

數據融合與數據客棧（Data Warehouse）、數據一體化（Data Integration）差異。它的目標不是將一個企業（Enterprise）或組織的所有數據會合在一起并尺度化而發生獨一的真相（Single Truth）。它是以發生決定智能為方針將多種數據源中的相關數據提取、融合、梳理整合成一個闡明數據集（Analytic Dataset）。這個闡明數據集是個獨立的和機動的實體，可隨數據源的變革重組、調解和更新。數據融合勝于數據客棧和數據一體化的另一點是它能海涵多源數據。

數據融合有六個根基步調：（1）毗連所需多源數據庫并獲取相關數據，（2）研究和領略所得到的數據，（3）梳理和清理數據，（4）數據轉換和成立布局，，（5）數據組合，（6）成立闡明數據集。這個進程的每一步都需要數據事情者當真細致的思考、辨認、測試、清理、最后發生可信賴、有意義的闡明數據庫。在已往，這個數據籌備進程很洪流平上是通過手動，十分費時和艱苦。縱然有數據處理懲罰的軟件（如Excel, SAS, SPSS等），每個數據事情者也都是本身利用所熟悉的東西，形成本性化的，充其量是半自動的數據籌備措施。最近幾年，大數據技能公司將數據處理懲罰整合進程中相關技能薈萃，組合，晉升后開拓出專門用于數據融合的新東西。應用這些直觀、可視、高效的軟件東西，數據籌備的進程的工效大大提高，在必然水平上辦理了數據融合的技能瓶頸。

數據融合的另一瓶頸是思維。打個例如，數據融合就像水泥的現場所成。水泥建造可以從人工攪拌變為機器合成，提高了工效。但水泥設置仍需要正確的配方；沙、石、混凝土的比例，以及相關化學成份的添加對到達水泥的質量尺度至關重要。數據處理懲罰新東西使數據科學家從數據籌備的繁瑣事情中解放了出來，但如何按照每個數據闡明項目量體定制，融合多源數據以形成有效的闡明數據集仍是數據科學家必需面臨的一個更具挑戰性的瓶頸。

多源的數據可以歸納為三大類：（1）一手數據（Primary Data），包羅企業或組織直吸收羅掌控的內部運行數據和營銷數據，（2）二級數據（Secondary Data），圈外人收羅、整理、和提供的二手數據，如經濟指標、人口普查、民意觀測、網路數據等，（3）科學數據（Scientific Data），包羅科學研究 的成就、指數、算法、模子等。

這三類數據為數據為驅動的智能決定提供了差異的調查角度。一手數據詳細、機動、快速積聚可以或許及時或靠近及時地為決定者提供監測、追蹤、描寫信息。二級數據一般是按期發布的數據，它能提供國度、地域、行業的狀況信息，成為數據闡明中的可比性坐標。科學數據的更新是不按時的，但它代表著今朝科研成就，對數據闡明的建模和算法提供科學基本。在大數據闡明項目中，數據科學家需要針對詳細研究課題同時收集、整理、融合相關的三類數據。數據科學家的程度就表此刻將三類數據公道、有效、有意義的融合上。

數據融合是今朝大數據應用和智能決定進程中一個瓶頸。這個挑戰激發了新一輪大數據東西的快速成長。按照2016年高德納公司數據打點和闡明軟件東西的評估陳訴，自我處事式數據籌備軟件（Self-service Data Preparation）已成為成長最快的東西之一。這一成長趨勢應引起我們的存眷。同時，數據融合的思維瓶頸仍是所有數據科學家必需面臨的更高條理的挑戰。