剛剛GitHub通過官方博客發(fā)布了21日“掛掉”的事件分析。GitHub指出此次事件發(fā)生的原因是在10月21日22:52 UTC進行日常維護——更換發(fā)生故障的100G光學(xué)設(shè)備時導(dǎo)致美國東海岸網(wǎng)絡(luò)中心與美國東海岸數(shù)據(jù)中心之間的連接斷開。

為了大規(guī)模提高性能，GitHub的應(yīng)用程序?qū)⒅苯訉懭朊總€群集的相關(guān)主數(shù)據(jù)庫，但在絕大多數(shù)情況下將讀取請求委派給副本服務(wù)器的子集。GitHub使用Orchestrator來管理MySQL集群拓撲并處理自動故障轉(zhuǎn)移，Orchestrator在此過程中考慮了許多變量，并在Raft共識機制之上達成共識。Orchestrator可以實現(xiàn)應(yīng)用程序無法支持的拓撲，因此必須注意將Orchestrator的配置與應(yīng)用程序級別的期望保持一致。

GitHub對所有受影響的用戶表示歉意，并表示“我們已經(jīng)吸取了教訓(xùn)，并且采取了一系列急救措施，我們希望更好地確保不再發(fā)生類似情況。”

同時GitHub也表示接下來將解決由此導(dǎo)致的數(shù)據(jù)不一致問題。

然而21日，在上述網(wǎng)絡(luò)分區(qū)中，Orchestrator在主數(shù)據(jù)中心中一直保持活躍，根據(jù)Raft的共識機制，歐洲服務(wù)器租用 云服務(wù)器，它開始了一個取消領(lǐng)導(dǎo)選舉的過程。美國西海岸數(shù)據(jù)中心和美國東海岸公有云Orchestrator節(jié)點能夠建立合規(guī)數(shù)量并開始對群集進行故障轉(zhuǎn)移，以便將寫入指向美國西海岸數(shù)據(jù)中心。Orchestrator繼續(xù)組織美國西海岸數(shù)據(jù)庫集群拓撲，當(dāng)連接恢復(fù)時，應(yīng)用層立即開始將寫入流量引導(dǎo)到西海岸站點的新當(dāng)選者。

更具體地，GitHub分析，雖然兩地的連接在43秒內(nèi)恢復(fù)，但這次短暫的中斷引發(fā)了一系列事件，這才導(dǎo)致了長達24小時11分鐘的服務(wù)降級。

GitHub工程師發(fā)現(xiàn)問題后進行了一系列搶救措施，美國站群服務(wù)器 亞洲服務(wù)器，“最終沒有用戶數(shù)據(jù)丟失，但是，幾秒鐘的數(shù)據(jù)庫寫入的手動協(xié)調(diào)仍在進行中。”

美國東海岸數(shù)據(jù)中心的數(shù)據(jù)庫服務(wù)器包含一段短暫的寫入時間，但尚未復(fù)制到美國西海岸的設(shè)施。由于兩個數(shù)據(jù)中心中的數(shù)據(jù)庫集群都包含了其它數(shù)據(jù)中心中不存在的寫入，因此無法安全地將主要數(shù)據(jù)庫故障轉(zhuǎn)移到美國東海岸數(shù)據(jù)中心。