為了深入落實(shí)國(guó)家大數(shù)據(jù)戰(zhàn)略，推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)交流與合作，展示我國(guó)大數(shù)據(jù)產(chǎn)業(yè)最新發(fā)展成果，2019年6月4日至5日，由中國(guó)信息通信研究院、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)主辦，大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)承辦的2019大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)在北京國(guó)際會(huì)議中心隆重舉辦。

會(huì)上，來(lái)自工業(yè)和信息化部的領(lǐng)導(dǎo)，我國(guó)眾多優(yōu)秀大數(shù)據(jù)領(lǐng)域服務(wù)商、行業(yè)應(yīng)用客戶、研究機(jī)構(gòu)、地方大數(shù)據(jù)主管機(jī)構(gòu)的領(lǐng)導(dǎo)和專家，將對(duì)大數(shù)據(jù)政策、產(chǎn)業(yè)、技術(shù)的現(xiàn)狀與趨勢(shì)等內(nèi)容進(jìn)行交流探討。

來(lái)自聯(lián)通大數(shù)據(jù) CTO宋雨倫為我們帶來(lái)了《聯(lián)通大規(guī)模數(shù)據(jù)治理實(shí)踐》的精彩演講。

非常高興能站在演講臺(tái)上跟大家分享聯(lián)通在大數(shù)據(jù)治理方面取得的一些成績(jī)，也非常榮幸今天能再次見到Kyle老師，我是他的第一批學(xué)員。目前取得的一些成績(jī)，還是幾大塊。如果非得從歷程上看的話，聯(lián)通從大數(shù)據(jù)公司的成立到集團(tuán)最早做的全國(guó)大集中的工作來(lái)看，其實(shí)還是經(jīng)歷了非常傳統(tǒng)的過(guò)程，就是數(shù)據(jù)的集中，再到應(yīng)用牽引，倒逼我們做數(shù)據(jù)治理，是這樣一個(gè)過(guò)程。

在這個(gè)過(guò)程中，由于我們對(duì)數(shù)據(jù)的采集或者加工倒逼我們不得不把數(shù)據(jù)處理好，因?yàn)檫@些數(shù)據(jù)對(duì)外服務(wù)的時(shí)候是有成本的，而且成本非常高。在這一塊，不管是資源的使用情況還是成本的使用情況來(lái)看，我們都需要對(duì)數(shù)據(jù)進(jìn)行治理。因?yàn)樯婕暗奖容^敏感的內(nèi)容，我就不在這里說(shuō)了。我想跟大家說(shuō)的是，明天我們會(huì)有專場(chǎng)，有專業(yè)人員給大家講集群治理方面是怎么做的，因?yàn)檫@可以保證加工算力。

今天我們大體分為七塊，就是基礎(chǔ)資源分配和管理，統(tǒng)一數(shù)據(jù)采集交換，核心生產(chǎn)平臺(tái)、能力開放平臺(tái)、數(shù)據(jù)治理體系和安全管控體系，這七項(xiàng)工作是我們目前所形成的數(shù)據(jù)資產(chǎn)。

這七個(gè)方面我們是怎么做的？目前我們還是通過(guò)自己公司內(nèi)部的幾個(gè)項(xiàng)，從公司管理層的支撐，立了幾個(gè)內(nèi)部項(xiàng)目，主要目的是梳理、整理和促進(jìn)應(yīng)用，這是我們的核心目標(biāo)。數(shù)據(jù)的加工過(guò)程，大家知道Hadoop的天生劣勢(shì)，就是對(duì)小文件的處理效率極低，那我們?cè)趺崔k？就要將小文件變成大文件。我們想用各種各樣的技術(shù)方式，去解決小文件的加工，不管是用什么樣的方式，所有的方式只為一個(gè)目標(biāo)實(shí)現(xiàn)，就是以小化整，這樣才能提高整體算力和數(shù)據(jù)整體對(duì)外服務(wù)的按時(shí)、保質(zhì)保量的需求。

我們最終是要做什么？因?yàn)?a href="http://www.qzkangyuan.com/cnidc/bigdata/">大數(shù)據(jù)公司定位非常清晰，就是數(shù)據(jù)的對(duì)外服務(wù)。數(shù)據(jù)對(duì)外服務(wù)就要體現(xiàn)數(shù)據(jù)的價(jià)值，我們所有的一切目標(biāo)也都是圍繞數(shù)據(jù)價(jià)值的體現(xiàn)來(lái)實(shí)現(xiàn)的。為什么？為客戶和用戶做好服務(wù)，而服務(wù)的過(guò)程就是體現(xiàn)數(shù)據(jù)價(jià)值的過(guò)程。

我們有了自己的清晰目標(biāo)，有了自己相對(duì)應(yīng)的工程和方法論，我們就在這套指導(dǎo)思想下，不管是人力資源，還是硬件資源配套，就繼續(xù)做這樣的工作就行了。

面臨的挑戰(zhàn)以及數(shù)據(jù)核心能力建設(shè)，目前看大數(shù)據(jù)在中國(guó)已經(jīng)蓬勃發(fā)展好多年了，我們目前更多認(rèn)為是在這六大能力里。對(duì)我們來(lái)說(shuō)已經(jīng)不存在數(shù)據(jù)匯集、采集的問(wèn)題了，更多的是我們?nèi)绾喂芾磉@些數(shù)據(jù)的能力，如何做好連接的管理，如何做好數(shù)據(jù)治理的能力，如何做好數(shù)據(jù)管理、數(shù)據(jù)安全管理、授權(quán)管理等等這一系列的管理能力。

尤其在5G的基礎(chǔ)背景下，海量數(shù)據(jù)激增，除了對(duì)人連接的管理和物連接的管理，數(shù)據(jù)再集中就有困難了，我們就要做好對(duì)數(shù)據(jù)路徑的管理和授權(quán)的管理，在這一點(diǎn)上說(shuō)，我們未來(lái)對(duì)數(shù)據(jù)連接的管理將是我們的重中之重。

傳統(tǒng)的數(shù)據(jù)對(duì)外服務(wù)能力，包括數(shù)據(jù)科學(xué)的應(yīng)用實(shí)踐能力，數(shù)據(jù)分析挖掘建模的能力，對(duì)外服務(wù)和應(yīng)用開發(fā)能力，云服務(wù)器，都是我們必須要做的。剛才六大能力建設(shè)是對(duì)我們的挑戰(zhàn)，我總結(jié)了八個(gè)字，這是我覺得目前對(duì)這六項(xiàng)能力衡量的標(biāo)準(zhǔn)，就是如何量化這些能力，如何對(duì)這些能力進(jìn)行相應(yīng)的標(biāo)準(zhǔn)衡量，以及如何應(yīng)用和如何體現(xiàn)價(jià)值。

我們?cè)谡麄€(gè)數(shù)據(jù)治理的過(guò)程中的深刻體會(huì)，第一是必須要有相應(yīng)的組織結(jié)構(gòu)保障，directadmin漢化，不管是公司層面還是內(nèi)部分工層面，我也是從DMM模型中受益的。我們?cè)跀?shù)據(jù)的使用者和生產(chǎn)者上，要有清晰的定義和界限。包括反饋機(jī)制的建立，因?yàn)閿?shù)據(jù)不用，你永遠(yuǎn)不知道它的價(jià)值在哪里，永遠(yuǎn)不知道衡量質(zhì)量的標(biāo)準(zhǔn)在哪里。包括理念的構(gòu)建，全員都要不斷的給反饋，只有快速的反饋機(jī)制才能促進(jìn)我們不斷的提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)標(biāo)準(zhǔn)、治理能力。

當(dāng)然了，我們?cè)谶@里還是一樣，因?yàn)榻裉炜吹铰?lián)通數(shù)據(jù)中心也在，也是給了我們大力的支持。因?yàn)槲覀冋麄€(gè)數(shù)據(jù)鏈路采集的過(guò)程，在聯(lián)通集團(tuán)內(nèi)部還是比較長(zhǎng)的，整個(gè)聯(lián)通集團(tuán)都在為大數(shù)據(jù)公司對(duì)外提供數(shù)據(jù)服務(wù)能力，做了全程的保障。