互聯(lián)網(wǎng)時代，服務(wù)器機房可謂心臟，大型機房出故障是小概率事件。但即便如此，依然可能出現(xiàn)自然災(zāi)害、斷電、光纜被挖斷等黑天鵝事件。
有人斗膽下了個戰(zhàn)書：如果多個機房的光纜同時被挖斷，40%的服務(wù)器突然無法工作，結(jié)果會怎樣?
結(jié)果，居然還真的有人敢來應(yīng)戰(zhàn)。此人便是螞蟻金服副CTO胡喜。
據(jù)報道，在9月20日的云棲ATEC主論壇上，螞蟻金服副CTO胡喜在現(xiàn)場特別模擬了剪斷支付寶位于一個城市中兩個模擬機房的光纜。
一旦機房發(fā)生故障，會怎么辦?
首先，設(shè)想一下服務(wù)器機房如果發(fā)生了故障，我們的生活會出現(xiàn)什么樣的變化?
斷網(wǎng)了，或許打不通網(wǎng)頁，或許撥不出電話，或許各種失聯(lián)……
有人說如果服務(wù)器機房發(fā)生變化，在支付寶領(lǐng)域，遇到的最大困擾就是轉(zhuǎn)賬失敗。
轉(zhuǎn)賬失敗?付不了帳?買不了東東，這可腫么辦?
螞蟻金服正是這樣做了這樣一次嘗試性實驗，此次實驗被差評君（ID:Chaping321）全程記錄。
現(xiàn)場在模擬支付寶轉(zhuǎn)賬的同時，程序員剪斷了位于杭州一個模擬機房的光纖，當光纖被剪斷后，這個模擬機房所負責區(qū)域的任何業(yè)務(wù)都不能處理。這就是轉(zhuǎn)賬失敗的原因。
螞蟻金服副CTO胡喜現(xiàn)場解釋，這是演習(xí)。
然而，在真實環(huán)境下，如果支付寶部署在兩個城市的兩個機房同時出問題，據(jù)官方宣稱，跑在這兩個機房上的支付寶賬戶，恢復(fù)正常的速度是分鐘級。精確地說，只需要26秒，模擬環(huán)境中的支付寶就能完全恢復(fù)正常。
分分鐘就能完全恢復(fù)，這完全顛覆了宕機停服幾個小時的傳統(tǒng)印象。
為什么能在這么短的時間，能讓故障排除，迅速恢復(fù)到正常工作的情況?
據(jù)悉，這是因為這一機房架構(gòu)叫“三地五中心”，即在三座城市部署五個機房，一旦其中一個或兩個機房發(fā)生故障，其底層技術(shù)系統(tǒng)會將故障城市的流量全部切換到運行正常的機房，并且能做到數(shù)據(jù)保持一致且零丟失。
目前，互聯(lián)網(wǎng)和金融科技行業(yè)普遍采用的是“兩地三中心”部署架構(gòu)，即在一個城市設(shè)兩個機房，在另一個城市設(shè)一個冷備機房。
而在這個實驗中，城市A的兩個機房是服務(wù)大眾的，不管是轉(zhuǎn)賬、繳費還是查賬全部都由這兩個機房提供服務(wù)，而且兩個機房是同步在處理數(shù)據(jù)且數(shù)據(jù)一致的。但在城市B的備份機房只是做備份而已，并不參與服務(wù)大眾這一活動。
一旦城市A的兩個機房被自然災(zāi)害等毀壞就不能繼續(xù)對外服務(wù)，那只能讓程序員熬夜去切換另一個城市的備份數(shù)據(jù)。但是由于B城市的機房常年沒有工作(提供服務(wù))，整個機器都處于“冷凍人”的狀態(tài)，所以切換前還需要校驗數(shù)據(jù)，再預(yù)熱等等復(fù)雜的操作后才能讓服務(wù)再次暢通。
這就是為什么很多App服務(wù)器掛掉的時候，要花很久時間才能恢復(fù)的原因。
據(jù)悉，上圖是支付寶的城市級故障自動容災(zāi)系統(tǒng)，是它支撐了26秒的災(zāi)后恢復(fù)。
災(zāi)備方案有備無患
目前來看，主要的數(shù)據(jù)備份方式如下：
定期磁帶備份：包括遠程磁帶庫、光盤庫備份和遠程關(guān)鍵數(shù)據(jù)+磁帶備份。
數(shù)據(jù)庫備份：就是在與主數(shù)據(jù)庫所在生產(chǎn)機相分離的備份機上建立主數(shù)據(jù)庫的一個拷貝。
網(wǎng)絡(luò)數(shù)據(jù)：這種方式是對生產(chǎn)系統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)和所需跟蹤的重要目標文件的更新進行監(jiān)控與跟蹤，并將更新日志實時通過網(wǎng)絡(luò)傳送到備份系統(tǒng)，備份系統(tǒng)則根據(jù)日志對磁盤進行更新。
遠程鏡像：通過高速光纖通道線路和磁盤控制技術(shù)將鏡像磁盤延伸到遠離生產(chǎn)機的地方，鏡像磁盤數(shù)據(jù)與主磁盤數(shù)據(jù)完全一致，更新方式為同步或異步。
這些措施能夠在系統(tǒng)發(fā)生故障后進行系統(tǒng)恢復(fù)，但是這些措施一般只能處理計算機單點故障，對區(qū)域性、毀滅性災(zāi)難比如地震、火災(zāi)等則束手無策，免備案主機，也不具備災(zāi)難恢復(fù)能力。
災(zāi)備場景涵蓋面廣，方案復(fù)雜，傳統(tǒng)數(shù)據(jù)中心容災(zāi)方案存在CAPEX、OPEX高昂、數(shù)據(jù)同步策略復(fù)雜、災(zāi)難恢復(fù)效果有限等問題。企業(yè)有必要采用多云災(zāi)備策略，以保證業(yè)務(wù)連續(xù)性及關(guān)鍵數(shù)據(jù)可靠性。我們就需要建立異地容災(zāi)中心，做數(shù)據(jù)的遠程備份，在災(zāi)難發(fā)生之后要確保原有的數(shù)據(jù)不會丟失或者遭到破壞。建立的異地容災(zāi)中心可以簡單地把它理解成一個遠程的數(shù)據(jù)備份中心。
