市面上已經(jīng)有很多各種各樣的國產(chǎn)分布式時序數(shù)據(jù)庫產(chǎn)品,但這些時序數(shù)據(jù)庫產(chǎn)品依舊是處于比較初級的階段,還存在諸如功能不完善、技術(shù)能力差異較大等等一系列問題,因此我們聯(lián)合了產(chǎn)業(yè)內(nèi)比較優(yōu)秀的幾家時序數(shù)據(jù)庫生產(chǎn)廠商共同編寫了時序數(shù)據(jù)庫的標準。
王妙瓊:大家下午好,又見面了,我是來自中國信通院大數(shù)據(jù)團隊的王妙瓊。這邊我給大家介紹一下流計算標準的情況,說到流計算大家腦海里面會蹦出來一些開源的名詞,像Storm、Spark Streaming、Flink,這些技術(shù)架構(gòu)都是解決一些實時數(shù)據(jù)的處理和分析的問題,使具有實效性的數(shù)據(jù)能發(fā)揮它最大的價值。
關(guān)系型云數(shù)據(jù)庫的未來計劃有四個點,第一梳理產(chǎn)業(yè)發(fā)展現(xiàn)狀,第二研討發(fā)展痛點及問題,第三建立關(guān)系型云數(shù)據(jù)庫應(yīng)用方服務(wù)方互動平臺,可以把各自的痛點一起聊一聊而不是各說各的,大家都聯(lián)系不到一起,不能解決問題,第四是制定關(guān)系型云數(shù)據(jù)庫技術(shù)管理規(guī)范,更長遠一點我們會根據(jù)這個標準規(guī)范定出基礎(chǔ)能力和性能每個月給大家發(fā)一個月報和產(chǎn)業(yè)的整體趨勢大家看一下究竟這個東西能不能用,能不能用好。
會上中國信息通信研究院大數(shù)據(jù)團隊做了TC601成果匯報,以下為演講實錄:
知識圖譜的參與廠商包括北京海致星圖、明略、文因互聯(lián)、智言科技、搜狗、中移蘇研,等等感謝這些廠商,接下來由我的同事王妙瓊來介紹下一個標準。
王卓:大家好,我是來自中國信通院大數(shù)據(jù)團隊的王卓,這里我為大家介紹一下我們時序數(shù)據(jù)庫這個標準目前的情況。首先時序數(shù)據(jù)實際上是我們工業(yè)企業(yè)的血液一樣的存在,對于時序數(shù)據(jù)的應(yīng)用和分析實際上也是工業(yè)互聯(lián)網(wǎng)應(yīng)用中一個非常重要的環(huán)節(jié)。
這里我們要特別感謝一下參與流計算標準的這些企業(yè),他們分別是百度云、阿里云、騰訊云、網(wǎng)易、華為、國雙、星環(huán)和中移蘇研,在這里感謝大家的支持。
但是很多公司自己是沒有建機房的一些能力的,所以就借用云的能力,所以我們就根據(jù)需求提出了這個項目,就是信息服務(wù)的規(guī)模和模式已經(jīng)產(chǎn)生了巨大的變革,這對各企業(yè)內(nèi)部的數(shù)據(jù)庫管理模式服務(wù)模式都提出了新的要求。原有的集中型的三大特點跟云對比,第一是資源管理,原有的集中型資源管理是需要耗時耗力,自己要去部署裝機房,等等這都很耗精力。第二運維很復雜,安裝完了后續(xù)如果出問題人得過去。還有成本代價,硬件成本、軟件成本工程師成本,這個成本會堆得很高。我們的理想是后面三個,資源統(tǒng)一管理、輕量運維、低成本,這個不跟大家細解釋了,這是我們理想中的優(yōu)化方案,這三個特點正好是關(guān)系型云數(shù)據(jù)庫的特點,所以這是未來的必由之路。但是從左邊到右邊是有問題的,第一個我們概念認知不清楚,有的人問我關(guān)系型云數(shù)據(jù)庫到底是個數(shù)據(jù)庫還是云上裝了個軟件,還是什么之類的,這是概念認知的問題。第二是產(chǎn)業(yè)現(xiàn)狀的調(diào)研分析,到底多少人在用,到底哪些人在用。三是技術(shù)能力的基準規(guī)范、遷移實施方案經(jīng)驗、不同場景應(yīng)用特點,這些都是我們欠缺的,所以這些問題都是在我們這本白皮書里面解決掉的。
12月13日,2018數(shù)據(jù)資產(chǎn)管理大會在北京國家會議中心舉行。本次大會由中國信息通信研究院、中國通信標準化協(xié)會(CCSA)主辦,CCSA TC601大數(shù)據(jù)技術(shù)標準推進委員會承辦,中國IDC圈協(xié)辦。
閆樹:各位專家大家下午好,今天我代表知識圖譜的標準編寫組向大家發(fā)布知識圖譜技術(shù)要求與測試方法的標準。知識圖譜是在數(shù)據(jù)走向智能路徑上非常關(guān)鍵的一環(huán),它能幫助用戶迅速、準確地查找到自己需要的信息,而且它的技術(shù)和產(chǎn)品正在成為大數(shù)據(jù)管理、數(shù)據(jù)分析和價值挖掘乃至智能領(lǐng)域一個非常重要的支撐,所以我們跟部分業(yè)界的知識圖譜的廠商共同完成這樣一個知識圖譜技術(shù)要求與測試方法的標準。
我來簡單介紹一下這個項目背景,數(shù)據(jù)庫作為企業(yè)的一個核心的IT基礎(chǔ)設(shè)施是大家有目共睹的,可以說大家基本上每年采購軟件的費用大概在60-70%左右都是花在數(shù)據(jù)庫上面,包括維護、包括服務(wù)、包括采購、包括更新,關(guān)系型數(shù)據(jù)庫是信息軟件成本里面的重中之重,在新的場景下我們現(xiàn)在因為數(shù)據(jù)爆炸,傳統(tǒng)來說只能建機房完成服務(wù),所以我覺得機房產(chǎn)業(yè)真的是非常發(fā)達,因為它契合了大家的痛點,因為數(shù)據(jù)太爆炸了,這個需求特別旺盛。
簡單看一下白皮書的大綱,一共分了五個章節(jié),第一是關(guān)系型云數(shù)據(jù)庫的概述,第二是關(guān)系型云數(shù)據(jù)庫各行業(yè)的需求,包括游戲、金融、電信、政務(wù)、物流、電商,基本上就是頭部行業(yè)都覆蓋到了。第三關(guān)系型云數(shù)據(jù)庫關(guān)鍵能力及驗證方法。四是關(guān)系型云數(shù)據(jù)庫對傳統(tǒng)業(yè)務(wù)方式的改變。五是關(guān)系型數(shù)據(jù)庫云化方案實施路徑,這是教大家怎么做,怎么做計劃書、指導思想、業(yè)務(wù)怎么遷移。
標準就是結(jié)合了業(yè)界的需求,針對我們通用知識圖譜的這些基礎(chǔ)的功能和性能的一些指標,規(guī)定了七大類的技術(shù)要求。比如像數(shù)據(jù)接入,就是知識圖譜工具從數(shù)據(jù)角度怎么樣讀入數(shù)據(jù)、接入數(shù)據(jù)。元數(shù)據(jù)定義,知識圖譜工具定義實體元數(shù)據(jù)、關(guān)系元數(shù)據(jù)等的能力,以及抽取實體屬性關(guān)系需要滿足的功能,比如說數(shù)據(jù)抽取過程中有哪些關(guān)鍵的環(huán)節(jié)需要知識圖譜這個工具完成的。還有數(shù)據(jù)存儲與查詢,包括知識圖譜在數(shù)據(jù)存儲、查詢、更新、刪除、過濾以及歷史狀態(tài)回溯這么一系列方面需要滿足的能力。數(shù)據(jù)融合,數(shù)據(jù)推理與分析還有知識圖譜展示,包括一些可視化的展示,亞洲服務(wù)器租用 歐洲服務(wù)器,加載、導出和配置的能力。我們在制作這個標準的時候,知識圖譜的業(yè)界的企業(yè)在通用知識圖譜這些功能上和定位上其實都是不太一樣的,有些企業(yè)會把知識圖譜作為底層架構(gòu)為它其他的產(chǎn)品服務(wù),有的會把知識圖譜作為關(guān)鍵的產(chǎn)品,有的在可視化方面會具有一些特色,而有的就不太重視可視化的功能。所以我們這28個具體的指標有一些是必選的、有一些是可選的,還有一些是必選加可選的,就是我們認為這個功能應(yīng)該具備,但是具體的實踐方式我們可能有多種多樣的選擇。
實際上今年我們已經(jīng)完成了時序數(shù)據(jù)庫產(chǎn)品的第一批測試,這批測試根據(jù)我們的標準主要針對于時序數(shù)據(jù)庫的基礎(chǔ)能力。接下來明年我們會繼續(xù)根據(jù)時序數(shù)據(jù)庫性能的一些要求制定相應(yīng)的標準并開展測試,謝謝大家。
由四位同事給大家講解除了數(shù)據(jù)資產(chǎn)管理之外的幾個成果,我們有請閆樹、王卓、王妙瓊、和馬鵬瑋,先是閆樹來講講知識圖譜的一個標準。
我介紹一下這本白皮書的編寫組,大家看到所有一線關(guān)系型云數(shù)據(jù)庫的服務(wù)商都在里面,百度云、阿里云、騰訊云、華為云、金山云、京東云等等這些知名的公司都參與到白皮書的編寫里面,這個白皮書非常的重磅,大家有興趣可以來找我聊。
中國信息通信研究院大數(shù)據(jù)團隊
那當一個企業(yè)需要去建設(shè)一些實時數(shù)據(jù)應(yīng)用的時候,我們該怎么去選擇這些技術(shù)產(chǎn)品呢?我們有這么多產(chǎn)品,怎么找到符合自己要求的一些基礎(chǔ)功能,我要求它運行要穩(wěn)定,又要使用便捷,所以我們找到了業(yè)界八個在流計算領(lǐng)域有深入研究的企業(yè)來和我們共同來制定了這個標準,去定義一個優(yōu)秀的流計算產(chǎn)品應(yīng)該是什么樣子的。我們這個標準是國內(nèi)首個聚焦于分布式流計算平臺技術(shù)要求的規(guī)范,里面定義了流計算平臺相關(guān)的術(shù)語,規(guī)定了7大類的技術(shù)要求和51項具體技術(shù)指標。明年我們也會依據(jù)這項標準開展我們第一批流計算的測試,后續(xù)也會圍繞流計算去做一些白皮書這類知識普及性的工作,以及流計算產(chǎn)品性能方面的標準。
接下來我們還要感謝參與這一次時序數(shù)據(jù)庫標準編寫的單位。本標準由我們中國信通院牽頭,同時由百度云、阿里云、騰訊云、網(wǎng)易、華為、陶思數(shù)據(jù)、朗坤智慧共同編寫完成。
目前對于工業(yè)領(lǐng)域的這些需求我們有時序數(shù)據(jù)庫產(chǎn)品來進行解決,時序數(shù)據(jù)庫有非常突出的寫入性能,同時針對于時序數(shù)據(jù)的存儲、查詢和分析都有一些相應(yīng)的優(yōu)化。它能夠解決目前大部分工業(yè)企業(yè)對于傳感器數(shù)據(jù)寫入和存儲的需求,同時也能夠應(yīng)用在一些傳統(tǒng)的運維監(jiān)控場景上。
最后,由我們的同事馬鵬瑋來介紹關(guān)系型云數(shù)據(jù)庫項目的進展情況。