杰夫·貝佐斯（Jeff Bezos）往車庫(kù)里下訂單并親自開(kāi)車去郵局時(shí)，處理成本數(shù)字，跟蹤庫(kù)存和預(yù)測(cè)未來(lái)需求相對(duì)簡(jiǎn)單。快進(jìn)25年了，亞馬遜的零售業(yè)務(wù)在全球擁有175 多個(gè)配送中心，超過(guò)25萬(wàn)名全職員工每天運(yùn)送數(shù)百萬(wàn)件商品。
亞馬遜全球財(cái)務(wù)運(yùn)營(yíng)團(tuán)隊(duì)的任務(wù)非常艱巨，即跟蹤所有數(shù)據(jù)（以PB為單位）。 在亞馬遜的規(guī)模上，錯(cuò)誤計(jì)算的指標(biāo)（例如單位成本或數(shù)據(jù)延遲）可能會(huì)產(chǎn)生巨大影響（請(qǐng)考慮數(shù)百萬(wàn)美元）。團(tuán)隊(duì)一直在尋找更快地獲取更準(zhǔn)確數(shù)據(jù)的方法。
這就是為什么他們?cè)?019年有一個(gè)主意：建立一個(gè)可以支撐地球上最大的物流網(wǎng)絡(luò)之一的數(shù)據(jù)湖。后來(lái)它在內(nèi)部被稱為Galaxy數(shù)據(jù)湖。Galaxy數(shù)據(jù)湖建于2019年，現(xiàn)在所有各個(gè)團(tuán)隊(duì)都在努力將數(shù)據(jù)移入其中。
數(shù)據(jù)湖是一個(gè)集中式安全存儲(chǔ)庫(kù)，可讓您以任何規(guī)模存儲(chǔ)，管理，發(fā)現(xiàn)和共享所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)湖不需要預(yù)定義的架構(gòu)，因此您可以處理原始數(shù)據(jù)，而不必知道將來(lái)可能要探索的洞察力。下圖顯示了數(shù)據(jù)湖的關(guān)鍵組件：
數(shù)據(jù)湖的關(guān)鍵組件
亞馬遜面對(duì)大數(shù)據(jù)的挑戰(zhàn)與許多其他公司面臨的挑戰(zhàn)相似：數(shù)據(jù)孤島，分析各種數(shù)據(jù)集的難度，數(shù)據(jù)控制器能力，數(shù)據(jù)安全性以及整合機(jī)器學(xué)習(xí)。讓我們仔細(xì)研究這些挑戰(zhàn)，看看數(shù)據(jù)湖如何幫助解決它們。
打破數(shù)據(jù)孤島
公司選擇創(chuàng)建數(shù)據(jù)湖的主要原因是要打破數(shù)據(jù)孤島。在不同地方擁有由不同組控制的數(shù)據(jù)包，本質(zhì)上會(huì)掩蓋數(shù)據(jù)。當(dāng)公司快速發(fā)展和/或收購(gòu)新業(yè)務(wù)時(shí)，通常會(huì)發(fā)生這種情況。就亞馬遜而言，兩者都是。
為了在國(guó)際上擴(kuò)張并迅速創(chuàng)建新的運(yùn)輸計(jì)劃（例如，免費(fèi)當(dāng)日交付或Amazon Fresh），大多數(shù)運(yùn)營(yíng)計(jì)劃團(tuán)隊(duì)一直在控制自己的數(shù)據(jù)和技術(shù)。結(jié)果，數(shù)據(jù)以不同的方式存儲(chǔ)在不同的位置。這種方法使每個(gè)團(tuán)隊(duì)都能解決問(wèn)題，響應(yīng)客戶需求并更快地進(jìn)行創(chuàng)新。
但是，很難在組織和公司范圍內(nèi)理解數(shù)據(jù)。它需要從許多不同來(lái)源手動(dòng)收集數(shù)據(jù)。如此眾多的團(tuán)隊(duì)獨(dú)立運(yùn)作，我們失去了可以通過(guò)共同解決問(wèn)題而獲得的效率。
從數(shù)據(jù)中獲取詳細(xì)細(xì)節(jié)也是困難的，因?yàn)椴皇敲總€(gè)人都可以訪問(wèn)各種數(shù)據(jù)存儲(chǔ)庫(kù)。對(duì)于較小的查詢，您可以在電子表格中共享一部分?jǐn)?shù)據(jù)。但是，當(dāng)數(shù)據(jù)超出電子表格的容量時(shí)，挑戰(zhàn)就出現(xiàn)了，這通常發(fā)生在大型公司中。在某些情況下，您可以共享較高級(jí)別的數(shù)據(jù)摘要，站群服務(wù)器，但實(shí)際上并沒(méi)有獲得完整的圖像。
數(shù)據(jù)湖通過(guò)將所有數(shù)據(jù)合并到一個(gè)中央位置來(lái)解決此問(wèn)題。團(tuán)隊(duì)可以繼續(xù)充當(dāng)敏捷單位，但是所有道路都通向數(shù)據(jù)湖進(jìn)行分析。沒(méi)有更多的筒倉(cāng)。
分析各種數(shù)據(jù)集
使用不同的系統(tǒng)和方法進(jìn)行數(shù)據(jù)管理的另一個(gè)挑戰(zhàn)是數(shù)據(jù)結(jié)構(gòu)和信息各不相同。例如，Amazon Prime擁有配送中心和包裝商品的數(shù)據(jù)，而Amazon Fresh則有雜貨店和食品的數(shù)據(jù)。
甚至國(guó)際運(yùn)輸計(jì)劃也有所不同。例如，不同的國(guó)家有時(shí)會(huì)有不同的盒子尺寸和形狀。來(lái)自“物聯(lián)網(wǎng)”設(shè)備（例如，配送中心機(jī)器上的傳感器）的非結(jié)構(gòu)化數(shù)據(jù)也越來(lái)越多。
而且，不同的系統(tǒng)可能也具有相同類型的信息，但是其標(biāo)簽不同。 例如，在歐洲，使用的術(shù)語(yǔ)是“每單位成本”，而在北美，使用的術(shù)語(yǔ)是“每包裝成本”。這兩個(gè)術(shù)語(yǔ)的日期格式不同。在這種情況下，需要在兩個(gè)標(biāo)簽之間建立鏈接，以便分析數(shù)據(jù)的人知道它指的是同一件事。
如果要在沒(méi)有數(shù)據(jù)湖的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中合并所有這些數(shù)據(jù)，則需要大量數(shù)據(jù)準(zhǔn)備以及導(dǎo)出，轉(zhuǎn)換和加載或ETL操作。您將不得不權(quán)衡要保留的內(nèi)容和丟失的內(nèi)容，并不斷更改剛性系統(tǒng)的結(jié)構(gòu)。
數(shù)據(jù)湖可讓您以任何格式導(dǎo)入任何數(shù)量的數(shù)據(jù)，因?yàn)闆](méi)有預(yù)定義的架構(gòu)。您甚至可以實(shí)時(shí)攝取數(shù)據(jù)。您可以從多個(gè)來(lái)源收集數(shù)據(jù)，并將其以原始格式移入數(shù)據(jù)湖。您還可以在信息之間建立鏈接，這些信息可能被標(biāo)記為不同但代表同一件事。
將所有數(shù)據(jù)移至數(shù)據(jù)湖還可以改善傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的功能。您可以靈活地將高度結(jié)構(gòu)化，經(jīng)常訪問(wèn)的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，同時(shí)還可以在數(shù)據(jù)湖存儲(chǔ)中保留多達(dá)EB的結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
管理數(shù)據(jù)訪問(wèn)
由于數(shù)據(jù)存儲(chǔ)在這么多位置，因此很難訪問(wèn)所有數(shù)據(jù)并鏈接到外部工具進(jìn)行分析。亞馬遜的運(yùn)營(yíng)財(cái)務(wù)數(shù)據(jù)分布在25多個(gè)數(shù)據(jù)庫(kù)中，區(qū)域團(tuán)隊(duì)創(chuàng)建了自己的本地?cái)?shù)據(jù)集版本。對(duì)于某些人來(lái)說(shuō)，這意味著超過(guò)25個(gè)訪問(wèn)管理憑據(jù)。許多數(shù)據(jù)庫(kù)都需要訪問(wèn)管理支持來(lái)執(zhí)行諸如更改配置文件或重置密碼之類的操作。此外，必須對(duì)每個(gè)數(shù)據(jù)庫(kù)進(jìn)行審核和控制，以確保沒(méi)有人有不當(dāng)訪問(wèn)權(quán)限。
