當公司根據(jù)不可靠的數(shù)據(jù)做出決策時，不正確的見解會嚴重影響利潤。如果沒有正確的信息，您將無法對最終用戶和產(chǎn)品做出明智的決定，這就是為什么保持高水平的數(shù)據(jù)完整性應該是您的首要任務。本文介紹了數(shù)據(jù)完整性以及保持文件清潔、可靠和準確的價值。繼續(xù)閱讀以了解什么是數(shù)據(jù)完整性，并了解數(shù)據(jù)驅(qū)動型組織如何確保文件在數(shù)據(jù)生命周期的所有階段都保持健康。

數(shù)據(jù)完整性定義

數(shù)據(jù)完整性是指在文件的整個生命周期（捕獲、存儲、檢索、更新、備份、傳輸?shù)龋┲写_定數(shù)據(jù)可靠性和一致性的特征。無論有人編輯或復制文件多少次，一條完整的數(shù)據(jù)都不會有任何意外更改。

作為一個術語，數(shù)據(jù)完整性的范圍很廣，并且可以根據(jù)上下文具有不同的含義。該短語可以描述：

• 數(shù)據(jù)的狀態(tài)（例如，有效或無效）。
• 確保和保持數(shù)據(jù)有效性的過程（例如，錯誤檢查或文件驗證）。

數(shù)據(jù)完整性應該是任何收集、存儲、處理或檢索數(shù)據(jù)的系統(tǒng)的一個關鍵方面。公司通常通過圍繞數(shù)據(jù)交互（刪除、插入、編輯、更新等）的各種規(guī)則和程序來強制執(zhí)行完整性。

數(shù)據(jù)完整性的主要目標是防止對業(yè)務文件的任何意外更改（惡意或意外）。一條具有完整性的數(shù)據(jù)應具有以下特征：

• 可歸因（公司應該知道如何以及何時創(chuàng)建或獲取數(shù)據(jù)）。
• 可追溯（團隊必須知道文件在其整個生命周期中發(fā)生了什么）。
• 原件（沒有不必要的文件副本）。
• 準確（所有包含的信息都是正確且無錯誤的）。
• 清晰（文件完整并且具有明確定義的屬性，可以與其他數(shù)據(jù)保持一致）。

在某些設計中，數(shù)據(jù)完整性還可以指有關法規(guī)遵從性的數(shù)據(jù)安全，最常見的是GDPR方面。

數(shù)據(jù)完整性與數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量（或數(shù)據(jù)準確性）的目標是保證文件的準確性。文件質(zhì)量旨在確保信息正確且存儲在數(shù)據(jù)庫中的文件符合公司的標準和需求。

公司可以通過衡量數(shù)據(jù)可靠性和準確性的各種流程來評估數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量的一些關鍵指標是：

• 完整性（基于特定變量和業(yè)務規(guī)則的數(shù)據(jù)全面性的指示）。
• 唯一性（衡量數(shù)據(jù)集中或與另一個數(shù)據(jù)庫相比項目的重復性）。
• 有效性（與已定義的業(yè)務規(guī)則和要求一致的程度）。
• 及時性（數(shù)據(jù)是否是最新的并且在可接受的時間范圍內(nèi)可用）。
• 準確性（數(shù)據(jù)項描述對象的正確程度）。
• 一致性（表示相同對象的數(shù)據(jù)項之間不存在差異的度量）。

數(shù)據(jù)完整性和質(zhì)量之間有很多重疊之處。完整性還需要完整和準確的文件，但僅僅擁有高質(zhì)量的數(shù)據(jù)并不能保證組織會發(fā)現(xiàn)它很有幫助。

例如，一家公司可能有一個有效且最新的用戶名和地址數(shù)據(jù)庫。但是，如果您還沒有提供有關最終用戶及其與公司關系的上下文的支持數(shù)據(jù)，那么該數(shù)據(jù)庫就沒有任何價值。

數(shù)據(jù)完整性與數(shù)據(jù)安全性

數(shù)據(jù)完整性旨在使文件保持有用和可靠，而數(shù)據(jù)安全性則保護有價值的信息免遭未經(jīng)授權的訪問。數(shù)據(jù)安全是完整性的一個基本子集，因為沒有頂級保護就不可能擁有高水平的可靠性。

公司依靠各種技術來保護文件免受外部和內(nèi)部威脅。常見的策略包括：

• 嚴格的身份和訪問管理。
• 網(wǎng)絡分割。
• 數(shù)據(jù)備份。
• 靜態(tài)加密。
• 威脅識別系統(tǒng)（即入侵檢測系統(tǒng)）。
• 各種容災能力。

安全性對完整性至關重要。數(shù)據(jù)安全性通過保護文件免受威脅、維護隱私和確保沒有人可以泄露有價值的信息來提高完整性。

為什么數(shù)據(jù)完整性很重要？

對于大多數(shù)公司而言，泄露的數(shù)據(jù)毫無用處。例如，如果有人更改了您的銷售數(shù)據(jù)，并且沒有記錄為什么編輯發(fā)生或誰更改了文件，則無法知道您是否可以信任該數(shù)據(jù)。您根據(jù)該文件做出的所有決定都不會來自可靠的信息，并且您很容易在以下方面犯下代價高昂的錯誤：

• 預測客戶行為。
• 評估市場活動和需求。
• 評估擴張機會。
• 調(diào)整銷售策略。

沒有可靠的數(shù)據(jù)會嚴重影響您的業(yè)務績效。根據(jù)麥肯錫最近的一項研究，基于數(shù)據(jù)的決策是頂級組織統(tǒng)治市場的方式。基于可靠數(shù)據(jù)的數(shù)據(jù)驅(qū)動型公司是：

• 在客戶獲取方面超過競爭對手的可能性大約高出 23 倍。
• 留住用戶的可能性高出 9 倍以上。
• 利潤是最接近的競爭對手的 19 倍。

不幸的是，大多數(shù)高級管理人員對其組織使用數(shù)據(jù)的方式?jīng)]有高度信任。畢馬威國際最近的一項研究揭示了以下數(shù)字：

• 只有 35% 的 C+ 高管表示他們高度信任公司使用數(shù)據(jù)和分析的方式。
• 超過 92% 的決策者擔心數(shù)據(jù)和分析對組織聲譽的負面影響。

數(shù)據(jù)完整性類型

保持高水平的可靠性需要了解兩種不同類型的數(shù)據(jù)完整性：物理完整性和邏輯完整性。

物理數(shù)據(jù)完整性

物理完整性是指確保系統(tǒng)和用戶正確存儲和獲取文件的過程。此類數(shù)據(jù)完整性的一些挑戰(zhàn)可能包括：

• 各種人為錯誤導致的問題。
• 機電故障。
• 設計缺陷。
• 停電。
• 自然災害。
• 極端溫度。
• 黑客破壞數(shù)據(jù)庫（例如，使用DDoS 攻擊或SQL 注入）。
• 材料疲勞和腐蝕。
• 各類網(wǎng)絡安全攻擊。

公司可以確保高水平的身體完整性的一些最常見的方法是：

• 設置冗余硬件。
• 使用集群文件系統(tǒng)。
• 依靠糾錯內(nèi)存。
• 部署不間斷電源。
• 使用某些類型的RAID陣列。
• 在關鍵子系統(tǒng)上使用看門狗定時器。
• 依靠糾錯碼。

邏輯完整性

邏輯完整性與特定上下文中一段數(shù)據(jù)的正確性有關。邏輯完整性的常見挑戰(zhàn)是：

• 人為錯誤。
• 軟件錯誤。
• 設計缺陷。

確保高水平邏輯完整性的標準方法包括：

• 檢查約束。
• 外鍵約束。
• 程序斷言。
• 運行時完整性檢查。

處理關系數(shù)據(jù)庫時，邏輯完整性具有三個子集：

• 實體完整性：實體完整性使用主鍵（標識一條數(shù)據(jù)的唯一值）來確保表沒有重復的內(nèi)容或空值字段。
• 參照完整性：這種類型的數(shù)據(jù)完整性是指使用外鍵的概念來控制數(shù)據(jù)的更改、添加和刪除的過程。
• 域完整性：域完整性確保域中每條數(shù)據(jù)的準確性（域是列可以包含和不能包含的一組可接受的值，例如只能有數(shù)字的列）。

除了這三個子集，一些專家還對用戶定義的完整性進行了分類。此子類別是指適合業(yè)務需求但不屬于實體、引用或域完整性的自定義規(guī)則和約束。

數(shù)據(jù)完整性風險

各種因素都會影響業(yè)務數(shù)據(jù)的完整性。一些最常見的風險包括：

• 人為錯誤：用戶和員工是影響數(shù)據(jù)完整性的最重要風險因素。輸入錯誤的數(shù)字、錯誤地編輯數(shù)據(jù)、復制文件和意外刪除信息是危害完整性的典型錯誤。
• 硬件相關問題：服務器突然崩潰和 IT 組件受損可能導致數(shù)據(jù)呈現(xiàn)不正確或不完整。這些問題也會限制對數(shù)據(jù)的訪問。
• 格式之間的不一致：格式之間缺乏一致性也會影響數(shù)據(jù)完整性（例如，依賴單元格引用的 Excel 電子表格中的一組數(shù)據(jù)在不支持這些單元格類型的不同格式中可能不準確）。
• 傳輸錯誤：當一條數(shù)據(jù)無法從數(shù)據(jù)庫中的一個位置成功傳輸?shù)搅硪粋€位置時，就會發(fā)生傳輸錯誤。
• 安全故障：安全漏洞很容易危及數(shù)據(jù)完整性。例如，防火墻中的錯誤可能允許未經(jīng)授權訪問數(shù)據(jù)，或者備份協(xié)議中的錯誤可能會刪除特定圖像。
• 惡意行為者：間諜軟件、惡意軟件和病毒是嚴重的數(shù)據(jù)完整性威脅。如果惡意程序入侵計算機，第三方可以開始更改、刪除或竊取數(shù)據(jù)。

不遵守數(shù)據(jù)法律也可能導致嚴重的完整性問題。不遵守HIPAA和PCI等法規(guī)也將導致巨額罰款。

數(shù)據(jù)完整性違規(guī)示例

以下是公司可能危及文件完整性的一些現(xiàn)實場景：

• 公司有人不小心試圖將數(shù)據(jù)插入錯誤的表中。
• 當有人在兩個數(shù)據(jù)庫之間傳輸數(shù)據(jù)時，網(wǎng)絡出現(xiàn)故障。
• 員工輸入了超出可接受范圍的日期。
• 最終用戶以錯誤的格式輸入電話號碼。
• 應用程序錯誤嘗試刪除錯誤的文件。
• 用戶刪除另一個數(shù)據(jù)庫正在引用的表中的記錄。
• 黑客設法從保護不善的數(shù)據(jù)庫中竊取所有用戶密碼。
• 一場大火席卷了數(shù)據(jù)中心，燒毀了存儲有價值數(shù)據(jù)庫的計算機。
• 過去一個月，常規(guī)數(shù)據(jù)庫備份一直失敗，而沒有提醒安全團隊。
• 黑客入侵數(shù)據(jù)庫并使用勒索軟件加密敏感數(shù)據(jù)。

如何確保數(shù)據(jù)完整性

以下是您可以用來提高組織中數(shù)據(jù)完整性的建議和最佳實踐列表。

了解數(shù)據(jù)的生命周期

您必須了解有關數(shù)據(jù)的所有信息，才能完全控制其完整性。首先回答以下問題：

• 貴公司存儲哪些數(shù)據(jù)，為什么？
• 公司如何收集數(shù)據(jù)？
• 不同類型的數(shù)據(jù)在邏輯上是分開的嗎？
• 你的信息來自哪里？
• 團隊如何分析和使用數(shù)據(jù)？
• 誰創(chuàng)建了有價值的文件？
• 誰有權訪問敏感文件？
• 哪些員工可以修改數(shù)據(jù)？
• 公司刪除過期數(shù)據(jù)的流程是怎樣的？

在此階段，您還應該考慮任何相關法規(guī)（GDPR、CCPA、HIPAA 等）。只有在您了解公司收集哪些數(shù)據(jù)以及員工如何處理文件后，您才能準備好開始提高整體完整性。

創(chuàng)建審計跟蹤

審計跟蹤記錄一段數(shù)據(jù)在其生命周期中的每次交互。每次用戶傳輸或使用文件時都會進行審計記錄，因此您將擁有高水平的可見性。典型的端到端路徑應具有以下特征：

• 自動生成。
• 防止篡改的不變性。
• 跟蹤和記錄每個事件（訪問、創(chuàng)建、刪除、修改等）的能力。
• 每個事件的時間戳。
• 將事件與單個用戶帳戶對齊的能力。

如果您遭受數(shù)據(jù)泄露或遇到數(shù)據(jù)瓶頸，審計跟蹤將有助于追蹤問題的根源并加快恢復時間。

嚴格的訪問控制

使未經(jīng)授權的個人遠離敏感文件對于完整性至關重要。你應該：

• 映射所有員工和系統(tǒng)以了解誰有權訪問哪些文件。
• 驗證用戶時使用雙重身份驗證 (2FA)。
• 在需要知道和需要使用的基礎上授予訪問權限。
• 使用久經(jīng)考驗的身份驗證協(xié)議，例如Kerberos。

使用錯誤檢測軟件

錯誤檢測軟件有助于自動監(jiān)控數(shù)據(jù)完整性。這些程序通過以下方式提供幫助：

• 隔離輪廓。
• 減少意外錯誤的可能性。
• 協(xié)助員工維護數(shù)據(jù)衛(wèi)生。
• 執(zhí)行數(shù)據(jù)編輯和管理規(guī)則。
• 找出錯誤背后的原因。
• 推薦步驟以避免將來出現(xiàn)錯誤。

您還可以使用異常檢測服務將數(shù)據(jù)完整性風險保持在可管理的水平。

識別并消除安全漏洞

尋找并主動消除安全漏洞對于保持高水平的文件完整性至關重要。根據(jù)您的預算和團隊的技能組合，您可以在內(nèi)部級別搜索漏洞，也可以聘請外部安全專業(yè)人員團隊。

使用驗證

計劃、映射和規(guī)定公司如何使用數(shù)據(jù)至關重要，但您還應該使用驗證來確保員工遵循指示。如果 IT 系統(tǒng)和人員按照業(yè)務范圍的程序運行，您應該部署定期測試、驗證和重新驗證的程序（甚至可能是員工）。每當已知或未知來源提供您的數(shù)據(jù)集（最終用戶、應用程序、員工等）時，您還應該使用輸入驗證。

傳達數(shù)據(jù)完整性的價值

對您的員工進行有關信息完整性的教育與強制他們處理數(shù)據(jù)的方式一樣重要。員工應該知道如何：

• 正確使用、存儲、檢索和編輯數(shù)據(jù)。
• 識別并應對數(shù)據(jù)完整性的潛在威脅。
• 報告對業(yè)務數(shù)據(jù)不負責任的行為。
• 查找有關正確文件管理的所有說明和指南。

搜索和刪除重復數(shù)據(jù)

您需要清理雜散數(shù)據(jù)并刪除敏感文件的不必要重復項。雜散副本可以輕松地在文檔、電子表格、電子郵件或共享文件夾中找到一個主頁，沒有適當訪問權限的人可以看到它。雖然您可以讓人工查找和刪除重復數(shù)據(jù)，但更安全的長期賭注是依靠可以在本地和云端自動清理數(shù)據(jù)的工具。

備份敏感數(shù)據(jù)

您應該使用備份在所有情況下保持完整性。備份文件有助于防止數(shù)據(jù)丟失，如果您使用不可變備份，您可以安全地以原始狀態(tài)存儲數(shù)據(jù)。這樣，再多的編輯或刪除文件的嘗試都不會導致永久性數(shù)據(jù)丟失。

提高誠信并促進您的決策

知道如何保持高度誠信的公司在當今市場上蓬勃發(fā)展，而那些不能正確管理信息的公司往往會失去重要的競爭優(yōu)勢。提高您的數(shù)據(jù)完整性水平，開始做出自信的、數(shù)據(jù)驅(qū)動的決策，引導您的公司朝著正確的方向發(fā)展。