為了深入落實國家大數(shù)據(jù)戰(zhàn)略，推動大數(shù)據(jù)產(chǎn)業(yè)交流與合作，展示我國大數(shù)據(jù)產(chǎn)業(yè)最新發(fā)展成果，2019年6月4日至5日，由中國信息通信研究院、中國通信標準化協(xié)會主辦，大數(shù)據(jù)技術標準推進委員會承辦的2019大數(shù)據(jù)產(chǎn)業(yè)峰會在北京國際會議中心隆重舉辦。

會上，來自工業(yè)和信息化部的領導，我國眾多優(yōu)秀大數(shù)據(jù)領域服務商、行業(yè)應用客戶、研究機構(gòu)、地方大數(shù)據(jù)主管機構(gòu)的領導和專家，將對大數(shù)據(jù)政策、產(chǎn)業(yè)、技術的現(xiàn)狀與趨勢等內(nèi)容進行交流探討。

來自聯(lián)通大數(shù)據(jù) CTO宋雨倫為我們帶來了《聯(lián)通大規(guī)模數(shù)據(jù)治理實踐》的精彩演講。

非常高興能站在演講臺上跟大家分享聯(lián)通在大數(shù)據(jù)治理方面取得的一些成績，也非常榮幸今天能再次見到Kyle老師，我是他的第一批學員。目前取得的一些成績，還是幾大塊。如果非得從歷程上看的話，聯(lián)通從大數(shù)據(jù)公司的成立到集團最早做的全國大集中的工作來看，其實還是經(jīng)歷了非常傳統(tǒng)的過程，就是數(shù)據(jù)的集中，再到應用牽引，倒逼我們做數(shù)據(jù)治理，是這樣一個過程。

在這個過程中，由于我們對數(shù)據(jù)的采集或者加工倒逼我們不得不把數(shù)據(jù)處理好，因為這些數(shù)據(jù)對外服務的時候是有成本的，而且成本非常高。在這一塊，不管是資源的使用情況還是成本的使用情況來看，我們都需要對數(shù)據(jù)進行治理。因為涉及到比較敏感的內(nèi)容，我就不在這里說了。我想跟大家說的是，明天我們會有專場，有專業(yè)人員給大家講集群治理方面是怎么做的，因為這可以保證加工算力。

今天我們大體分為七塊，就是基礎資源分配和管理，統(tǒng)一數(shù)據(jù)采集交換，核心生產(chǎn)平臺、能力開放平臺、數(shù)據(jù)治理體系和安全管控體系，這七項工作是我們目前所形成的數(shù)據(jù)資產(chǎn)。

這七個方面我們是怎么做的？目前我們還是通過自己公司內(nèi)部的幾個項，從公司管理層的支撐，立了幾個內(nèi)部項目，主要目的是梳理、整理和促進應用，這是我們的核心目標。數(shù)據(jù)的加工過程，大家知道Hadoop的天生劣勢，就是對小文件的處理效率極低，那我們怎么辦？就要將小文件變成大文件。我們想用各種各樣的技術方式，去解決小文件的加工，不管是用什么樣的方式，所有的方式只為一個目標實現(xiàn)，就是以小化整，這樣才能提高整體算力和數(shù)據(jù)整體對外服務的按時、保質(zhì)保量的需求。

我們最終是要做什么？因為大數(shù)據(jù)公司定位非常清晰，就是數(shù)據(jù)的對外服務。數(shù)據(jù)對外服務就要體現(xiàn)數(shù)據(jù)的價值，我們所有的一切目標也都是圍繞數(shù)據(jù)價值的體現(xiàn)來實現(xiàn)的。為什么？為客戶和用戶做好服務，而服務的過程就是體現(xiàn)數(shù)據(jù)價值的過程。

我們有了自己的清晰目標，有了自己相對應的工程和方法論，我們就在這套指導思想下，不管是人力資源，還是硬件資源配套，就繼續(xù)做這樣的工作就行了。

面臨的挑戰(zhàn)以及數(shù)據(jù)核心能力建設，目前看大數(shù)據(jù)在中國已經(jīng)蓬勃發(fā)展好多年了，我們目前更多認為是在這六大能力里。對我們來說已經(jīng)不存在數(shù)據(jù)匯集、采集的問題了，更多的是我們?nèi)绾喂芾磉@些數(shù)據(jù)的能力，如何做好連接的管理，如何做好數(shù)據(jù)治理的能力，如何做好數(shù)據(jù)管理、數(shù)據(jù)安全管理、授權(quán)管理等等這一系列的管理能力。

尤其在5G的基礎背景下，海量數(shù)據(jù)激增，除了對人連接的管理和物連接的管理，數(shù)據(jù)再集中就有困難了，我們就要做好對數(shù)據(jù)路徑的管理和授權(quán)的管理，在這一點上說，我們未來對數(shù)據(jù)連接的管理將是我們的重中之重。

傳統(tǒng)的數(shù)據(jù)對外服務能力，包括數(shù)據(jù)科學的應用實踐能力，數(shù)據(jù)分析挖掘建模的能力，對外服務和應用開發(fā)能力，云服務器，都是我們必須要做的。剛才六大能力建設是對我們的挑戰(zhàn)，我總結(jié)了八個字，這是我覺得目前對這六項能力衡量的標準，就是如何量化這些能力，如何對這些能力進行相應的標準衡量，以及如何應用和如何體現(xiàn)價值。

我們在整個數(shù)據(jù)治理的過程中的深刻體會，第一是必須要有相應的組織結(jié)構(gòu)保障，directadmin漢化，不管是公司層面還是內(nèi)部分工層面，我也是從DMM模型中受益的。我們在數(shù)據(jù)的使用者和生產(chǎn)者上，要有清晰的定義和界限。包括反饋機制的建立，因為數(shù)據(jù)不用，你永遠不知道它的價值在哪里，永遠不知道衡量質(zhì)量的標準在哪里。包括理念的構(gòu)建，全員都要不斷的給反饋，只有快速的反饋機制才能促進我們不斷的提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)標準、治理能力。

當然了，我們在這里還是一樣，因為今天看到聯(lián)通數(shù)據(jù)中心也在，也是給了我們大力的支持。因為我們整個數(shù)據(jù)鏈路采集的過程，在聯(lián)通集團內(nèi)部還是比較長的，整個聯(lián)通集團都在為大數(shù)據(jù)公司對外提供數(shù)據(jù)服務能力，做了全程的保障。