什么是 DFS – 分布式文件系統(tǒng)?分布式文件系統(tǒng)(DFS) 是一種文件系統(tǒng),允許用戶通過計算機網(wǎng)絡(luò)從多個主機訪問文件存儲,就好像客戶端正在訪問本地存儲一樣。它允許程序以與本地文件相同的方式訪問和存儲遠程數(shù)據(jù)。此外,它使用戶能夠從任何計算機或網(wǎng)絡(luò)系統(tǒng)訪問文件。此外,它允許網(wǎng)絡(luò)用戶以允許和規(guī)范的方式共享文件和信息。在 DFS 中,服務(wù)器控制數(shù)據(jù)并為用戶提供訪問控制。
嗯, DFS的主要目的是允許物理分布式系統(tǒng)的用戶使用通用文件系統(tǒng) (CFS)共享他們的信息和資源。DFS文件系統(tǒng)也作為操作系統(tǒng)的一部分運行。它的配置是局域網(wǎng)連接的大型機和工作站的集合。在 DFS 中,創(chuàng)建命名空間對用戶是可見的。讓我們從什么是 DFS – 分布式文件系統(tǒng)開始?(好處解釋)。
DFS 是如何工作的?
基本上,DFS 允許您在邏輯上共享各種服務(wù)器上的數(shù)據(jù)和資源。因此,它使您能夠透明地將組共享加入到一個分層命名空間中。當然,DFS使用樹狀結(jié)構(gòu)來組織網(wǎng)絡(luò)上的共享資源。它支持一個主機服務(wù)器名稱空間、獨立 DFS 名稱空間和具有高可用性和多個主機服務(wù)器的基于域的名稱空間。Active?Directory存儲基于域的命名空間拓撲數(shù)據(jù)。此數(shù)據(jù)包括 DFS 鏈接、DFS 目標和 DFS 根。
每個 DFS 樹結(jié)構(gòu)都包含一個或多個根目標。根目標是執(zhí)行 DFS 服務(wù)的主機服務(wù)器。每個樹結(jié)構(gòu)都有一個或多個 DFS 鏈接。所有 DFS 鏈接都指向一個或多個共享文件夾。用戶從命名空間添加、刪除和修改 DFS 鏈接。
此外,DFS 鏈接指向一個或多個稱為目標的共享文件夾。一旦用戶獲得對 DFS 鏈接的訪問權(quán)限,DFS 服務(wù)器就會根據(jù)客戶端的站點數(shù)據(jù)選擇一組目標。客戶端訪問集合中的第一個可用目標。這有助于跨可能的目標分發(fā)客戶端請求。此外,即使某些服務(wù)器發(fā)生故障,它也能為用戶提供不間斷的訪問。
DFS 的組成部分是什么?
DFS 有兩個主要組成部分:
- 位置透明——命名空間組件實現(xiàn)了位置透明。
- 冗余——冗余通過文件同步/復制組件實現(xiàn)。
在負載過重或發(fā)生故障時,這兩個組件協(xié)同工作以提高數(shù)據(jù)可用性。它們使來自多個位置的數(shù)據(jù)共享能夠邏輯地分組在單個文件夾下,稱為 DFS 根目錄。沒有必要同時使用兩個 DFS 組件。用戶可以在不使用文件復制組件的情況下使用命名空間組件。另一方面,客戶端在不使用名稱空間組件的情況下使用服務(wù)器之間的文件復制組件。
分布式文件系統(tǒng)的實現(xiàn)
因此,DFS 系統(tǒng)旨在使用戶能夠共享來自公共文件系統(tǒng)的數(shù)據(jù)和文件。以下是 DFS 的主要實現(xiàn):
Hadoop
網(wǎng)絡(luò)文件系統(tǒng)
(NFS)網(wǎng)絡(luò)文件系統(tǒng)是一種用于在網(wǎng)絡(luò)上存儲文件的結(jié)構(gòu)。它允許客戶端訪問位于孤立計算機上的目錄和文件,并像處理本地目錄和文件一樣處理這些目錄和文件。例如,客戶端應(yīng)用操作系統(tǒng)命令來寫入、讀取、設(shè)置、創(chuàng)建和刪除隔離目錄和文件的文件屬性。
NFS軟件包包括用于 NIS(網(wǎng)絡(luò)信息服務(wù))、NFS和其他服務(wù)的守護進程和命令。盡管客戶端將 NIS 和 NFS 作為一個包安裝,但每個都是獨立的,并且每個都由客戶端單獨配置和管理。
通用互聯(lián)網(wǎng)文件系統(tǒng) (CIFS)
同樣,CIFS 是IBM 為在互聯(lián)網(wǎng)上使用而開發(fā)的服務(wù)器消息塊文件的公共迭代。基本上,它是一個獨立的文件系統(tǒng)協(xié)議,允許集群在企業(yè)內(nèi)部網(wǎng)或互聯(lián)網(wǎng)上共享文檔和協(xié)作。
CIFS 是一種開放的多平臺技術(shù),基于 Microsoft Windows平臺的本地文件共享協(xié)議。各種平臺,例如 UNIX,都支持CIFS。它支持 Unicode 文件名;用戶可以使用它來將一個獨立的文件系統(tǒng)掛載為本地機器上的驅(qū)動器或目錄。CIFS 還具有 NFS 不支持的功能,例如對鎖和預(yù)寫的本機支持。
服務(wù)器消息塊 (SMB)
服務(wù)器消息塊 (SMB) 是一種文件共享協(xié)議,它使計算機應(yīng)用程序能夠從服務(wù)器程序請求服務(wù)并讀取和寫入計算機網(wǎng)絡(luò)中的文件。客戶端使用SMB協(xié)議、其 TCP/IP 協(xié)議和其他網(wǎng)絡(luò)協(xié)議。使用 SMB 協(xié)議,應(yīng)用程序的用戶可以從遠程 服務(wù)器訪問資源或文件。然后,SMB 還與接受 SMB 客戶端請求的服務(wù)器程序通信。
網(wǎng)件
Netware 是由 Novell, Inc 開發(fā)的計算機網(wǎng)絡(luò)操作系統(tǒng)。雖然 NetWare 已不再使用,但客戶最初將其用于協(xié)同多任務(wù)處理,以使用 IPX 網(wǎng)絡(luò)協(xié)議在個人 PC 上執(zhí)行多項服務(wù)。Netware 適合從大型機縮小到 PC 網(wǎng)絡(luò)的公司使用。它具有內(nèi)存保護和低硬件要求。接下來是什么是 DFS – 分布式文件系統(tǒng)?(Benefits Explained)是學習DFS的主要特點。
DFS 的主要特點
DFS 具有多種功能。這些包括:
透明度
透明度是一種保護文件系統(tǒng)免受其他文件和用戶影響的安全機制。DFS 有四種透明度:
- 結(jié)構(gòu)透明。用戶不需要知道文件服務(wù)器和存儲設(shè)備的位置或數(shù)量。在結(jié)構(gòu)透明性方面,多個文件服務(wù)器必須能夠適應(yīng)和執(zhí)行。
- 命名透明度。文件名中不應(yīng)有文件位置的蹤跡。當客戶端將文件從一個節(jié)點移動到另一個節(jié)點時,文件名不應(yīng)更改
- 訪問透明度。 必須以相同的方式訪問本地文件和獨立文件。文件系統(tǒng)必須自動找到訪問的文件并將其發(fā)送給客戶端
- 應(yīng)用透明度。當客戶端跨多個節(jié)點復制文件時,它們必須將文件副本及其位置從一個節(jié)點隱藏到下一個節(jié)點。
可擴展性
隨著客戶端將更多機器合并到網(wǎng)絡(luò)中或當兩個網(wǎng)絡(luò)鏈接在一起時,分布式系統(tǒng)會隨著時間的推移而增加。一個好的 DFS 必須能夠隨著系統(tǒng)的用戶和節(jié)點數(shù)量的增加而快速擴展。
數(shù)據(jù)的完整性
由于許多用戶通常共享一個文件系統(tǒng),因此文件系統(tǒng)需要保護傳輸文件中存儲的數(shù)據(jù)的完整性。并發(fā)控制方法必須準確同步多個用戶爭相訪問同一文件的并發(fā)訪問請求。合適的文件系統(tǒng)為用戶提供具有高級并發(fā)系統(tǒng)的原子事務(wù),以確保數(shù)據(jù)完整性。
高可靠性
有效的 DFS 必須盡可能降低數(shù)據(jù)丟失的可能性。用戶不應(yīng)該因為系統(tǒng)不可靠而被迫創(chuàng)建文件備份。相反,文件系統(tǒng)必須備份重要文件,以便在原始文件出現(xiàn)問題時恢復。為了提高可靠性,許多文件系統(tǒng)采用穩(wěn)定存儲。
高可用性
一個好的DFS應(yīng)該能夠在出現(xiàn)局部故障的情況下正常工作,比如鏈路故障、存儲設(shè)備崩潰、節(jié)點故障等。
使用方便
多道程序設(shè)計中文件系統(tǒng)的用戶界面應(yīng)該簡單,文件中的命令最少。
DFS 復制和 DFS 命名空間之間的區(qū)別
DFS 由兩個主要角色服務(wù)組成;復制和命名空間:
復制
DFS復制是一種Windows服務(wù)器角色服務(wù),使用戶能夠跨多個站點和服務(wù)器復制文件夾。這包括與 DFS 名稱空間路徑關(guān)聯(lián)的那些。理想情況下,它是一個多主服務(wù)器和高效的復制引擎,您可以使用它在有限帶寬的網(wǎng)絡(luò)連接上實現(xiàn)服務(wù)器之間的同步。DFS 復制取代文件復制服務(wù)作為 DFS 命名空間復制引擎。
顯然,DFS 復制使用名為遠程差分壓縮 RDC 的壓縮算法。RDC 識別文件中數(shù)據(jù)的更改,并允許 DFS復制復制更改的文件塊而不是整個文件。要使用此復制,用戶必須創(chuàng)建復制組并將復制的文件夾包含在組中。
什么是 DFS 命名空間?
分布式文件系統(tǒng)?(DFS) 命名空間是一種虛擬文件夾或角色服務(wù),允許用戶將不同服務(wù)器上的共享文件夾分組到一個或多個邏輯結(jié)構(gòu)化的命名空間中。這讓用戶可以虛擬地查看共享文件夾,其中一個單獨的路徑指向不同服務(wù)器上的文件。
DFS 命名空間的組件
命名空間服務(wù)器——這是一個 (?VM)或托管 DFS 命名空間的物理服務(wù)器。命名空間服務(wù)器可以是域控制器,也可以是安裝了 DFS 角色的普通服務(wù)器。
命名空間根——這是 DFS 命名空間樹的起點。
文件夾——這是 DFS 命名空間中的一個鏈接,它指向一個包含供用戶訪問的內(nèi)容的目標文件夾。也有不帶文件夾目標的文件夾,用于組織結(jié)構(gòu)和層級。
文件夾目標——文件夾目標是指向特定文件服務(wù)器上的組共享命名空間或文件夾的鏈接,可通過通用命名約定 (UNC) 使用。如果單個文件夾目標位于兩個不同的服務(wù)器上并相互復制,則它們可以是指向一個或多個文件夾的鏈接。
DFS 命名空間實現(xiàn)
DFS有兩種主要的實現(xiàn)方法,它們是:
- 獨立 DFS 命名空間,它在系統(tǒng)注冊表內(nèi)的根服務(wù)器上本地存儲配置元數(shù)據(jù)和信息。訪問根名稱空間的路徑以根服務(wù)器名稱開頭。獨立的 DFS 命名空間不是容錯的,只能駐留在一臺服務(wù)器上。如果無法訪問根服務(wù)器,則無法訪問整個 DFS 命名空間。
- Domain-based DFS Namespace ,在活動目錄中存儲配置信息和元數(shù)據(jù)。訪問根名稱空間的路徑通常以域名開頭。用戶可以將基于域的 DFS 命名空間存儲在多臺服務(wù)器上,以提高命名空間的可用性。此方法使用戶能夠跨服務(wù)器提供負載平衡和容錯。
DFS 的好處
由于其廣泛的功能和強大的功能,DFS 提供了比非分布式文件系統(tǒng)和其他文件系統(tǒng)更多的優(yōu)勢。以下是 DFS 的一些好處。
更快的重啟和更高的可靠性
使用 DCE LFS 在異常關(guān)閉后重新啟動 DFS 會更快。這是因為 DCE LFS 記錄影響操作的信息,這些操作影響與 DCE LFS 文件集和聚合關(guān)聯(lián)的元數(shù)據(jù)。一旦客戶端重新啟動系統(tǒng),DFS LFS 就會重放日志以重建元數(shù)據(jù)。與必須執(zhí)行fsck命令的非 LFS 文件系統(tǒng)相比,它將系統(tǒng)恢復到恒定狀態(tài)的速度更快。
由于各種原因,在 DFS 中訪問資源要可靠得多。在分布式文件系統(tǒng)中,多個客戶端(如緩存管理器)可以嘗試同時訪問相似的數(shù)據(jù)。DFS 使用令牌來確保用戶始終使用文件的最新副本并跟蹤當前正在使用該文件的人員。令牌精確定位客戶端可以對數(shù)據(jù)執(zhí)行的操作。它們還充當文件導出器的承諾,如果集中保存的數(shù)據(jù)副本發(fā)生變化,通知用戶;在收到此類通知后,用戶可以在下次請求時檢索數(shù)據(jù)的最新副本。
DFS 還通過使用戶能夠在多個文件服務(wù)器機器上復制最常用的 DCE LFS 文件集來提高數(shù)據(jù)訪問的可靠性。當用戶復制文件集時,他們會將文件集的精確副本放置在不同的文件服務(wù)器機器上。托管文件集的單個服務(wù)器不可用不會中斷對該文件集的工作,因為可以從其他機器訪問該文件集。
更好地從失敗中恢復
從數(shù)據(jù)丟失等嚴重系統(tǒng)故障中恢復更簡單,因為 DFS備份系統(tǒng)使客戶能夠備份其用戶和系統(tǒng)數(shù)據(jù)。備份信息存儲在備份數(shù)據(jù)庫中,可用于將用戶和系統(tǒng)數(shù)據(jù)恢復到特定日期的狀態(tài)。
在大多數(shù) UNIX 文件系統(tǒng)中,從系統(tǒng)故障中恢復需要運行fsck命令。這確保沒有損壞的文件系統(tǒng)。此外,它會糾正發(fā)生的問題,以免它們影響整個文件系統(tǒng)。在 DFS 中,不需要在每次重新啟動時執(zhí)行此類措施。在需要時,他們使用 DFS Salvager 來查找和更正 DCE LFS 在沒有幫助的情況下無法恢復的嚴重數(shù)據(jù)損壞。在某些情況下,文件系統(tǒng)的基本結(jié)構(gòu)可能會出現(xiàn)問題,或者日志可能會損壞。Salvager 允許用戶檢查文件系統(tǒng)并糾正問題,以避免損壞包含文件系統(tǒng)的整個 DCE LFS 聚合。
一旦用戶重新啟動文件服務(wù)器機器,文件導出器就會嘗試恢復對機器內(nèi)數(shù)據(jù)的一致訪問。重啟后,它會在短時間內(nèi)阻止所有客戶端為機器上的數(shù)據(jù)建立新的令牌。在此恢復期間,文件導出器接受重新啟動前持有令牌的用戶的重新建立令牌的請求。這些用戶有機會在另一個用戶可以請求沖突的令牌之前恢復他們的令牌——使用戶能夠在文件服務(wù)器機器重啟后重新獲得他們的令牌被稱為令牌狀態(tài)恢復。
提高文件可用性、網(wǎng)絡(luò)效率和訪問時間
DFS 中改進的網(wǎng)絡(luò)效率和文件可用性是通過三種機制提供的:緩存、復制和多宿主文件服務(wù)器。
- 本地數(shù)據(jù)緩存減少了對數(shù)據(jù)的訪問時間。緩存是客戶端計算機內(nèi)存或本地磁盤中專用于臨時數(shù)據(jù)存儲的區(qū)域。緩存數(shù)據(jù)后,后續(xù)對數(shù)據(jù)的訪問會更快,因為客戶端不需要通過網(wǎng)絡(luò)發(fā)送請求。因此,緩存減少了網(wǎng)絡(luò)流量。
- 多宿主文件服務(wù)器提高了文件的可用性并幫助管理員有效地使用他們的網(wǎng)絡(luò)。使管理員能夠在子網(wǎng)和文件服務(wù)器之間建立連接可以提高網(wǎng)絡(luò)效率。每個文件服務(wù)器的多個網(wǎng)絡(luò)連接也提高了文件可用性,因為一個網(wǎng)絡(luò)區(qū)域中的問題不太可能導致文件服務(wù)器不可用。
- 復制通過在多個服務(wù)器機器上復制 DCE LFS 文件集來提高文件可用性;這減少了機器停機的影響。
文件位置、透明度和高效的負載平衡
與標準的非分布式文件系統(tǒng)相比,DFS 中的數(shù)據(jù)負載平衡效率更高。原因之一是復制的使用,它使來自最常用的 DCE LFS 文件集的 DCE LFS 文件集能夠分布在不同的機器上,確保沒有一臺機器因數(shù)據(jù)請求而過載。多宿主服務(wù)器功能允許每臺機器與網(wǎng)絡(luò)建立多個連接,從而可以直接連接到請求最多的子網(wǎng)。這些連接有助于最大限度地減少跨路由器流量。
增強的互操作性和可擴展性
可以通過 DFS 使用來自非 LFS 系統(tǒng)的數(shù)據(jù)。用戶可以將非 LFS 磁盤分區(qū)導出到 DCE 名稱空間,以供客戶端用作 DCE 中的聚合。盡管在命名空間中可以訪問導出的部分,但它僅包含客戶端交付時包含的一個文件系統(tǒng)。此外,非 LFS 聚合可能不支持 DCE ACL、有關(guān)元數(shù)據(jù)的記錄信息和文件集復制等功能。
DFS 中的 Basic Overseer Server(BOS 服務(wù)器)自動監(jiān)視文件服務(wù)器機器上的 DFS 進程。啟動和配置后,Basic Overseer Server 將繼續(xù)監(jiān)視 DFS 服務(wù)器進程,而系統(tǒng)管理員的干預(yù)最少。具有高客戶端與服務(wù)器比率和性能的減少的管理義務(wù)使 DFS 成為一個可擴展的系統(tǒng)。用戶可以將客戶端和服務(wù)器計算機添加到 DFS 配置中,而對其他客戶端或服務(wù)器的影響最小,并且?guī)缀醪恍枰~外的管理責任。
結(jié)論
總而言之,DFS是一種有價值的機制,它不僅有助于保護數(shù)據(jù),還有助于提供高可用性和容錯能力。這些功能使其成為廣泛用例的理想選擇,尤其是需要大量讀寫的工作負載。此外,它還是機器學習、計算機模擬和日志處理等數(shù)據(jù)密集型工作的理想選擇。