剛剛GitHub通過官方博客發布了21日“掛掉”的事件分析。GitHub指出此次事件發生的原因是在10月21日22:52 UTC進行日常維護——更換發生故障的100G光學設備時導致美國東海岸網絡中心與美國東海岸數據中心之間的連接斷開。
為了大規模提高性能，GitHub的應用程序將直接寫入每個群集的相關主數據庫，但在絕大多數情況下將讀取請求委派給副本服務器的子集。GitHub使用Orchestrator來管理MySQL集群拓撲并處理自動故障轉移，Orchestrator在此過程中考慮了許多變量，并在Raft共識機制之上達成共識。Orchestrator可以實現應用程序無法支持的拓撲，因此必須注意將Orchestrator的配置與應用程序級別的期望保持一致。
GitHub對所有受影響的用戶表示歉意，并表示“我們已經吸取了教訓，并且采取了一系列急救措施，我們希望更好地確保不再發生類似情況。”
同時GitHub也表示接下來將解決由此導致的數據不一致問題。
然而21日，在上述網絡分區中，Orchestrator在主數據中心中一直保持活躍，根據Raft的共識機制，歐洲服務器租用 云服務器，它開始了一個取消領導選舉的過程。美國西海岸數據中心和美國東海岸公有云Orchestrator節點能夠建立合規數量并開始對群集進行故障轉移，以便將寫入指向美國西海岸數據中心。Orchestrator繼續組織美國西海岸數據庫集群拓撲，當連接恢復時，應用層立即開始將寫入流量引導到西海岸站點的新當選者。
更具體地，GitHub分析，雖然兩地的連接在43秒內恢復，但這次短暫的中斷引發了一系列事件，這才導致了長達24小時11分鐘的服務降級。
GitHub工程師發現問題后進行了一系列搶救措施，美國站群服務器 亞洲服務器，“最終沒有用戶數據丟失，但是，幾秒鐘的數據庫寫入的手動協調仍在進行中。”
美國東海岸數據中心的數據庫服務器包含一段短暫的寫入時間，但尚未復制到美國西海岸的設施。由于兩個數據中心中的數據庫集群都包含了其它數據中心中不存在的寫入，因此無法安全地將主要數據庫故障轉移到美國東海岸數據中心。
