在大型企業(yè)中保證業(yè)務(wù)數(shù)據(jù)的一致性是一個非常棘手的問題。一般來說，如跨國型公司的客戶或產(chǎn)品相關(guān)數(shù)據(jù)，往往有多個來源。這就導(dǎo)致了，有時即使是最簡單的問題也很難回答。在此情況下，數(shù)據(jù)集成可能是成為一種解決辦法。
數(shù)據(jù)集成為組織提供了存儲在多個數(shù)據(jù)源中數(shù)據(jù)的統(tǒng)一視圖，而提取、轉(zhuǎn)換和加載(ETL)技術(shù)就是數(shù)據(jù)集成的早期嘗試。
使用ETL，可以從多個源事務(wù)系統(tǒng)提取、轉(zhuǎn)換和加載數(shù)據(jù)到單個位置，例如公司數(shù)據(jù)倉庫。提取和加載部分相對機(jī)械，但轉(zhuǎn)換部分不那么容易。為了實現(xiàn)這一點，您需要對業(yè)務(wù)規(guī)則進(jìn)行定義，來解釋哪些轉(zhuǎn)換是有效的。
ETL與數(shù)據(jù)集成之間的一個主要區(qū)別是，數(shù)據(jù)集成是一個更廣泛的領(lǐng)域。它可能還包括數(shù)據(jù)質(zhì)量和定義主引用數(shù)據(jù)的過程，例如在公司范圍內(nèi)定義客戶、產(chǎn)品、供應(yīng)商和其他與業(yè)務(wù)事務(wù)提供有關(guān)的關(guān)鍵信息。
數(shù)據(jù)分類與一致性
下面我們看一個例子。一個大的營業(yè)公司可能需要從幾個層次對產(chǎn)品和客戶進(jìn)行分類，以分段分層展開營銷活動。對于該公司旗下規(guī)模較小的子公司，則可以通過簡單的產(chǎn)品和客戶分類層次結(jié)構(gòu)來實現(xiàn)這一點。在這個例子中，規(guī)模更大的組織可能將一罐可樂歸類為碳酸飲料、一種飲料、食品和飲料銷售的一部分。然而，較小的子公司可能會把同樣的可樂歸入食品和飲料銷售，而沒有中間的分類。這就是為什么需要分類的一致性——或者至少是對差異的理解——來獲得公司整體銷售的全局視圖的原因。
不幸的是，知道你在和誰做生意并不總是那么簡單。例如，Shell U.K.是石油巨頭Royal Dutch Shell公司的子公司。像Aera Energy和Bonny Gas Transport這樣的公司都是Shell公司的實體，有些還有其他投資者。因此，與這些公司進(jìn)行的業(yè)務(wù)交易，需要作為客戶添加到Shell公司的全局視圖中，但是從公司名稱來看，這種關(guān)系并不明顯。
著名投資銀行副總裁曾告訴筆者，他們不知道自己在全球范圍內(nèi)做了多少業(yè)務(wù),例如,德意志銀行(Deutsche bank),更不用說企業(yè)是否盈利，這些問題的答案埋在各種全球性投資銀行部門的系統(tǒng)內(nèi)。
數(shù)據(jù)質(zhì)量問題
ETL技術(shù)是解決這個問題的早期嘗試。但要正確獲得轉(zhuǎn)換步驟，您需要定義業(yè)務(wù)規(guī)則，制定什么樣的轉(zhuǎn)換是有效的——例如，如何匯總銷售事務(wù)或映射一個數(shù)據(jù)庫字段，當(dāng)“m”用于定義男性顧客，而“male”用于另一個含義時。技術(shù)的發(fā)展對這一過程是有幫助的。
事實證明，實現(xiàn)集成化的數(shù)據(jù)比ETL和數(shù)據(jù)集成本身更廣泛。數(shù)據(jù)質(zhì)量也是一個重要因素。如果發(fā)現(xiàn)客戶或產(chǎn)品文件中有重復(fù)的內(nèi)容怎么辦？在筆者參與的一個項目中，有80%的客戶記錄都是重復(fù)的。這意味著，該公司的商業(yè)客戶數(shù)量只有它認(rèn)為的五分之一。
在原材料中，主文件的重復(fù)率通常是20%到30%。當(dāng)進(jìn)行公司概述，需要匯總數(shù)據(jù)時，亞洲服務(wù)器，應(yīng)該消除這些異常情況。
不斷增長的數(shù)據(jù)量
盡管數(shù)據(jù)集成對大公司來說有其優(yōu)勢，但也不是沒有挑戰(zhàn)。如公司產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)的持續(xù)增長。
而且，由于數(shù)據(jù)以不同的格式保存——傳感器數(shù)據(jù)、web日志、呼叫記錄、文檔、圖像和視頻——ETL工具在這種環(huán)境中可能是無效的，因為它們在設(shè)計時并沒有考慮到這些因素。當(dāng)存在大量數(shù)據(jù)或大數(shù)據(jù)時，這些工具也會遇到困難。如Apache Kafka等類似工具，試圖通過實時流數(shù)據(jù)來解決這個問題，香港服務(wù)器租用，這使他們能夠克服以前的消息總線方法對實時數(shù)據(jù)集成的限制。
從早期的ETL到現(xiàn)在，數(shù)據(jù)集成的相關(guān)技術(shù)、理念已經(jīng)發(fā)生了很大的變化。但仍需要繼續(xù)保持不斷進(jìn)化，以跟上企業(yè)持續(xù)變化的需求和大數(shù)據(jù)時代下不斷涌現(xiàn)的新型挑戰(zhàn)。
【凡本網(wǎng)注明來源非中國IDC圈的作品，均轉(zhuǎn)載自其它媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負(fù)責(zé)。】
