組織生成元數(shù)據(jù)的速度如此之快，以至于它變成了當(dāng)今的大數(shù)據(jù)挑戰(zhàn)。然而，存儲所有這些信息的最佳方式和位置并不總是很清楚。很大程度上取決于組織如何管理和使用元數(shù)據(jù)，以及他們是否將元數(shù)據(jù)與其原始數(shù)據(jù)分開。許多組織將他們的元數(shù)據(jù)轉(zhuǎn)移到中央存儲庫中以改進(jìn)操作并更好地使用信息。因此，元數(shù)據(jù)存儲問題成為首要問題。

什么是元數(shù)據(jù)存儲，為什么它很重要？

簡單地說，元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。它可以包含有關(guān)數(shù)據(jù)文件的各種信息，具體取決于文件類型和存儲類型。例如，文件的元數(shù)據(jù)可能包括以下內(nèi)容：

• 文件名;
• 所有者;
• 尺寸;
• 文件類型；
• 創(chuàng)建日期和時間；
• 創(chuàng)建位置的 GPS 坐標(biāo)；
• 版權(quán)信息；
• 數(shù)據(jù)沿襲。

盡管應(yīng)用程序通常會自動生成元數(shù)據(jù)，但組織可以手動添加并自定義。

隨著數(shù)據(jù)量的增長，元數(shù)據(jù)在管理和優(yōu)化數(shù)據(jù)方面發(fā)揮的重要作用也越來越大。元數(shù)據(jù)使索引、查找、排序和分類數(shù)據(jù)變得更加容易。它有助于通過高級分析更好地理解數(shù)據(jù)。元數(shù)據(jù)還有助于提高數(shù)據(jù)質(zhì)量、優(yōu)化數(shù)據(jù)管理、簡化存儲管理并促進(jìn)更高的生產(chǎn)力，所有這些都可以帶來更高效的運營和更低的成本。

然而，要實現(xiàn)這些好處，組織必須建立一個有效的元數(shù)據(jù)存儲和管理系統(tǒng)。元數(shù)據(jù)存儲必須通過提供安全高效的數(shù)據(jù)托管系統(tǒng)來滿足更大的元數(shù)據(jù)管理策略的需求。如果沒有精心規(guī)劃和實施的存儲系統(tǒng)，性能可能會受到影響，數(shù)據(jù)資源可能難以找到，元數(shù)據(jù)甚至可能丟失。存儲系統(tǒng)必須確保元數(shù)據(jù)持續(xù)可用。

元數(shù)據(jù)存儲和管理的最佳實踐

對于依賴于與源數(shù)據(jù)分開的中央存儲庫的元數(shù)據(jù)管理系統(tǒng)，存儲團(tuán)隊需要考慮幾個因素，包括他們將如何實施和分發(fā)平臺。

1.不要一個人去

團(tuán)隊的元數(shù)據(jù)存儲策略應(yīng)該是組織更大的元數(shù)據(jù)管理策略的一部分，而后者又應(yīng)該是組織更大的數(shù)據(jù)治理策略的一部分。有效的元數(shù)據(jù)管理需要整個組織的參與，包括負(fù)責(zé)元數(shù)據(jù)存儲的團(tuán)隊。參與定義元數(shù)據(jù)目標(biāo)和采用標(biāo)準(zhǔn)。通過這種方式，團(tuán)隊可以為討論帶來重要的視角，并開始在底層開展工作。

2.看大局

盡管存儲團(tuán)隊主要關(guān)注元數(shù)據(jù)存儲，但對支持元數(shù)據(jù)工作的底層基礎(chǔ)設(shè)施和技術(shù)有很好的了解。了解組織將部署哪些組件、這些組件如何組合在一起以及元數(shù)據(jù)在最終存儲之前如何在這些組件之間移動。

團(tuán)隊需要知道這些細(xì)節(jié)：

• 該組織將如何實施該目錄；
• 使用哪個數(shù)據(jù)庫系統(tǒng)；
• 需要存儲在目錄中的附加信息（元數(shù)據(jù)除外）；
• 如何部署支持應(yīng)用程序；
• 是否會有抽象層；
• 使用哪些第三方管理工具；
• 有關(guān)可能影響存儲的各種系統(tǒng)的任何其他信息。

3. 大局觀再大局觀

存儲團(tuán)隊?wèi)?yīng)該清楚元數(shù)據(jù)管理平臺將如何擴(kuò)展以滿足用戶需求。考慮部署多少個站點以及每個站點有多少個存儲節(jié)點等問題。了解組織將如何分發(fā)元數(shù)據(jù)。清楚地了解如何擴(kuò)展或縮小存儲系統(tǒng)以滿足未來的需求。

4. 不要將元數(shù)據(jù)視為二等公民

直到最近，大多數(shù)組織幾乎都沒有注意到元數(shù)據(jù)，但是大數(shù)據(jù)量的沖擊和分析技術(shù)的改進(jìn)讓他們認(rèn)識到了它的價值。因此，確保存儲系統(tǒng)滿足預(yù)期的性能需求，而不管平臺如何。元數(shù)據(jù)存儲庫在訪問資源方面起著至關(guān)重要的作用，因此性能不佳的元數(shù)據(jù)存儲可能是數(shù)據(jù)訪問中的一個重大瓶頸。

隨著組織從被動元數(shù)據(jù)模型轉(zhuǎn)向主動元數(shù)據(jù)模型，性能風(fēng)險甚至更高。被動元數(shù)據(jù)是相對靜態(tài)的。主動元數(shù)據(jù)是智能驅(qū)動的，實時運行，因此它不斷地從網(wǎng)絡(luò)中收集元數(shù)據(jù)。

5. 掌握數(shù)據(jù)要求

存儲團(tuán)隊需要對將要存儲的數(shù)據(jù)有一個完整的了解——不僅是元數(shù)據(jù)，還包括支持元數(shù)據(jù)管理平臺的任何數(shù)據(jù)。數(shù)據(jù)總量是這張照片中最重要的部分。提供足夠的能力支持元數(shù)據(jù)平臺進(jìn)行的操作，包括元數(shù)據(jù)提取；其他提取、轉(zhuǎn)換和加載過程；以及其他需要存儲空間的支持工具或系統(tǒng)。

對象存儲的使用正在上升。考慮到對象存儲元數(shù)據(jù)是高度可定制的，這會增加數(shù)據(jù)總量。確定是通過二進(jìn)制還是文本存儲元數(shù)據(jù)、保留多長時間、是否存檔以及用于分析的存儲量。

6. 像保護(hù)任何其他公司數(shù)據(jù)一樣保護(hù)元數(shù)據(jù)

元數(shù)據(jù)可能包含敏感信息并為網(wǎng)絡(luò)攻擊提供途徑。采取必要的步驟來實施安全的存儲環(huán)境并遵守適用的法律法規(guī)。防止因自然災(zāi)害、網(wǎng)絡(luò)攻擊、數(shù)據(jù)處理不當(dāng)或其他威脅情況而導(dǎo)致的數(shù)據(jù)丟失。使用復(fù)制、備份或氣隙存檔等工具。附帶說明一下，如果元數(shù)據(jù)本身是最新且可靠的，組織還可以使用其元數(shù)據(jù)來幫助保護(hù)數(shù)據(jù)并遵守適用的法規(guī)。

元數(shù)據(jù)存儲的其他注意事項和示例

組織可能會將元數(shù)據(jù)與源數(shù)據(jù)一起存儲或存儲在單獨的位置。當(dāng)與數(shù)據(jù)一起存儲時，元數(shù)據(jù)通常嵌入到與原始數(shù)據(jù)相同的文件中，在這種情況下，元數(shù)據(jù)存儲的考慮因素與原始數(shù)據(jù)的考慮因素非常相似。有時元數(shù)據(jù)存儲在主數(shù)據(jù)文件附帶的外部文件中，但在這種情況下，存儲方面的考慮也大同小異，只是可能需要更多空間。

將元數(shù)據(jù)保持在數(shù)據(jù)附近，以提供一種處理元數(shù)據(jù)和隨之而來的存儲的簡單方法。元數(shù)據(jù)在移動時與主要數(shù)據(jù)保持在一起，并且可以輕松讀取和更新。但是，如果從數(shù)據(jù)文件中剝離元數(shù)據(jù)或刪除外部元數(shù)據(jù)文件，則這兩種方法的優(yōu)勢都將喪失。這兩種方法都無法實現(xiàn)跨網(wǎng)絡(luò)的集中管理，隨著數(shù)據(jù)量的擴(kuò)大和元數(shù)據(jù)變得更有價值，這已成為人們?nèi)找骊P(guān)注的問題。當(dāng)元數(shù)據(jù)與數(shù)據(jù)一起存儲時，不斷增長的數(shù)據(jù)量也使得搜索特定數(shù)據(jù)變得更加困難。

由于這些限制，許多組織現(xiàn)在將其元數(shù)據(jù)存儲在與源數(shù)據(jù)分開的中央存儲庫中。中央元數(shù)據(jù)存儲庫或目錄通常是更大的元數(shù)據(jù)管理策略的一部分，其中元數(shù)據(jù)從源數(shù)據(jù)中提取并存儲在存儲庫中。中央存儲庫可以更輕松地在整個組織中搜索特定類型的數(shù)據(jù)，無論數(shù)據(jù)量或位置有多大。這種方法還簡化了管理，從而在整個組織內(nèi)實現(xiàn)更高效的運營和更一致的元數(shù)據(jù)。

將元數(shù)據(jù)與數(shù)據(jù)分開，以部署最適合元數(shù)據(jù)特定工作負(fù)載的存儲。集中式存儲庫可以促進(jìn)高級分析，從而從元數(shù)據(jù)中獲取更多價值。元數(shù)據(jù)與數(shù)據(jù)是分開的，因此存儲可以適應(yīng)特定于元數(shù)據(jù)的工作負(fù)載。在某些情況下，組織可能會采用混合方法進(jìn)行元數(shù)據(jù)管理，構(gòu)建中央存儲庫但將元數(shù)據(jù)嵌入某些文件中。

集中式方法會帶來其他挑戰(zhàn)。如果元數(shù)據(jù)變得與數(shù)據(jù)不同步，則元數(shù)據(jù)的用處可能會降低。管理系統(tǒng)必須能夠持續(xù)將元數(shù)據(jù)與源數(shù)據(jù)同步，以確保持續(xù)的準(zhǔn)確性——這一過程會影響存儲資源。元數(shù)據(jù)管理系統(tǒng)可能無法理解某些文件中的元數(shù)據(jù)，在這種情況下，系統(tǒng)可能需要將元數(shù)據(jù)保存到二進(jìn)制大對象存儲中，以供第三方工具訪問。即使這些因素不是問題，存儲團(tuán)隊仍必須確保他們有合適的存儲來支持元數(shù)據(jù)存儲庫典型的讀取密集型工作負(fù)載類型。