互聯(lián)網(wǎng)時(shí)代，服務(wù)器機(jī)房可謂心臟，大型機(jī)房出故障是小概率事件。但即便如此，依然可能出現(xiàn)自然災(zāi)害、斷電、光纜被挖斷等黑天鵝事件。
有人斗膽下了個(gè)戰(zhàn)書：如果多個(gè)機(jī)房的光纜同時(shí)被挖斷，40%的服務(wù)器突然無法工作，結(jié)果會(huì)怎樣?
結(jié)果，居然還真的有人敢來應(yīng)戰(zhàn)。此人便是螞蟻金服副CTO胡喜。
據(jù)報(bào)道，在9月20日的云棲ATEC主論壇上，螞蟻金服副CTO胡喜在現(xiàn)場特別模擬了剪斷支付寶位于一個(gè)城市中兩個(gè)模擬機(jī)房的光纜。
一旦機(jī)房發(fā)生故障，會(huì)怎么辦?
首先，設(shè)想一下服務(wù)器機(jī)房如果發(fā)生了故障，我們的生活會(huì)出現(xiàn)什么樣的變化?
斷網(wǎng)了，或許打不通網(wǎng)頁，或許撥不出電話，或許各種失聯(lián)……
有人說如果服務(wù)器機(jī)房發(fā)生變化，在支付寶領(lǐng)域，遇到的最大困擾就是轉(zhuǎn)賬失敗。
轉(zhuǎn)賬失敗?付不了帳?買不了東東，這可腫么辦?
螞蟻金服正是這樣做了這樣一次嘗試性實(shí)驗(yàn)，此次實(shí)驗(yàn)被差評(píng)君（ID:Chaping321）全程記錄。
現(xiàn)場在模擬支付寶轉(zhuǎn)賬的同時(shí)，程序員剪斷了位于杭州一個(gè)模擬機(jī)房的光纖，當(dāng)光纖被剪斷后，這個(gè)模擬機(jī)房所負(fù)責(zé)區(qū)域的任何業(yè)務(wù)都不能處理。這就是轉(zhuǎn)賬失敗的原因。
螞蟻金服副CTO胡喜現(xiàn)場解釋，這是演習(xí)。
然而，在真實(shí)環(huán)境下，如果支付寶部署在兩個(gè)城市的兩個(gè)機(jī)房同時(shí)出問題，據(jù)官方宣稱，跑在這兩個(gè)機(jī)房上的支付寶賬戶，恢復(fù)正常的速度是分鐘級(jí)。精確地說，只需要26秒，模擬環(huán)境中的支付寶就能完全恢復(fù)正常。
分分鐘就能完全恢復(fù)，這完全顛覆了宕機(jī)停服幾個(gè)小時(shí)的傳統(tǒng)印象。
為什么能在這么短的時(shí)間，能讓故障排除，迅速恢復(fù)到正常工作的情況?
據(jù)悉，這是因?yàn)檫@一機(jī)房架構(gòu)叫“三地五中心”，即在三座城市部署五個(gè)機(jī)房，一旦其中一個(gè)或兩個(gè)機(jī)房發(fā)生故障，其底層技術(shù)系統(tǒng)會(huì)將故障城市的流量全部切換到運(yùn)行正常的機(jī)房，并且能做到數(shù)據(jù)保持一致且零丟失。
目前，互聯(lián)網(wǎng)和金融科技行業(yè)普遍采用的是“兩地三中心”部署架構(gòu)，即在一個(gè)城市設(shè)兩個(gè)機(jī)房，在另一個(gè)城市設(shè)一個(gè)冷備機(jī)房。
而在這個(gè)實(shí)驗(yàn)中，城市A的兩個(gè)機(jī)房是服務(wù)大眾的，不管是轉(zhuǎn)賬、繳費(fèi)還是查賬全部都由這兩個(gè)機(jī)房提供服務(wù)，而且兩個(gè)機(jī)房是同步在處理數(shù)據(jù)且數(shù)據(jù)一致的。但在城市B的備份機(jī)房只是做備份而已，并不參與服務(wù)大眾這一活動(dòng)。
一旦城市A的兩個(gè)機(jī)房被自然災(zāi)害等毀壞就不能繼續(xù)對外服務(wù)，那只能讓程序員熬夜去切換另一個(gè)城市的備份數(shù)據(jù)。但是由于B城市的機(jī)房常年沒有工作(提供服務(wù))，整個(gè)機(jī)器都處于“冷凍人”的狀態(tài)，所以切換前還需要校驗(yàn)數(shù)據(jù)，再預(yù)熱等等復(fù)雜的操作后才能讓服務(wù)再次暢通。
這就是為什么很多App服務(wù)器掛掉的時(shí)候，要花很久時(shí)間才能恢復(fù)的原因。
據(jù)悉，上圖是支付寶的城市級(jí)故障自動(dòng)容災(zāi)系統(tǒng)，是它支撐了26秒的災(zāi)后恢復(fù)。
災(zāi)備方案有備無患
目前來看，主要的數(shù)據(jù)備份方式如下：
定期磁帶備份：包括遠(yuǎn)程磁帶庫、光盤庫備份和遠(yuǎn)程關(guān)鍵數(shù)據(jù)+磁帶備份。
數(shù)據(jù)庫備份：就是在與主數(shù)據(jù)庫所在生產(chǎn)機(jī)相分離的備份機(jī)上建立主數(shù)據(jù)庫的一個(gè)拷貝。
網(wǎng)絡(luò)數(shù)據(jù)：這種方式是對生產(chǎn)系統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)和所需跟蹤的重要目標(biāo)文件的更新進(jìn)行監(jiān)控與跟蹤，并將更新日志實(shí)時(shí)通過網(wǎng)絡(luò)傳送到備份系統(tǒng)，備份系統(tǒng)則根據(jù)日志對磁盤進(jìn)行更新。
遠(yuǎn)程鏡像：通過高速光纖通道線路和磁盤控制技術(shù)將鏡像磁盤延伸到遠(yuǎn)離生產(chǎn)機(jī)的地方，鏡像磁盤數(shù)據(jù)與主磁盤數(shù)據(jù)完全一致，更新方式為同步或異步。
這些措施能夠在系統(tǒng)發(fā)生故障后進(jìn)行系統(tǒng)恢復(fù)，但是這些措施一般只能處理計(jì)算機(jī)單點(diǎn)故障，對區(qū)域性、毀滅性災(zāi)難比如地震、火災(zāi)等則束手無策，免備案主機(jī)，也不具備災(zāi)難恢復(fù)能力。
災(zāi)備場景涵蓋面廣，方案復(fù)雜，傳統(tǒng)數(shù)據(jù)中心容災(zāi)方案存在CAPEX、OPEX高昂、數(shù)據(jù)同步策略復(fù)雜、災(zāi)難恢復(fù)效果有限等問題。企業(yè)有必要采用多云災(zāi)備策略，以保證業(yè)務(wù)連續(xù)性及關(guān)鍵數(shù)據(jù)可靠性。我們就需要建立異地容災(zāi)中心，做數(shù)據(jù)的遠(yuǎn)程備份，在災(zāi)難發(fā)生之后要確保原有的數(shù)據(jù)不會(huì)丟失或者遭到破壞。建立的異地容災(zāi)中心可以簡單地把它理解成一個(gè)遠(yuǎn)程的數(shù)據(jù)備份中心。
