9月27日，由云計(jì)較成長與政策論壇、數(shù)據(jù)中心同盟指導(dǎo)，開放數(shù)據(jù)中心委員會主辦，百度、騰訊、阿里巴巴、中國電信、中國移動(dòng)、中國信息通信研究院、英特爾承辦的“2016 ODCC開放數(shù)據(jù)中心峰會”在京謹(jǐn)慎召開。在下午“數(shù)據(jù)中心網(wǎng)絡(luò)”的分論壇上騰訊高級網(wǎng)絡(luò)架構(gòu)師陸素建頒發(fā)了題為“騰訊Internet 出口網(wǎng)絡(luò)SDN 運(yùn)營實(shí)踐”的演講。以下為演講全文：

騰訊高級網(wǎng)絡(luò)架構(gòu)師 陸素建

本日我分享主題就是騰訊internet出口網(wǎng)絡(luò)SDN運(yùn)營實(shí)踐，騰訊從2012年開始做SDN研究，最近我們internet出口SDN方案已經(jīng)在線網(wǎng)落地運(yùn)營，本日很僥幸在這里跟各人一起分享一下這套方案落地運(yùn)營的環(huán)境以及在期間碰著的挑戰(zhàn)。開始講這套方案之前簡樸看一下騰訊網(wǎng)絡(luò)歸納綜合，我們?nèi)蚋鞔笾揸愒O(shè)了網(wǎng)絡(luò)結(jié)點(diǎn)，當(dāng)前外洋接入了一百多家運(yùn)營商，總出口快要一個(gè)T，同時(shí)努力跟當(dāng)?shù)嘏e辦對接。海內(nèi)部門我們分為三大華東華南華北，來歲也會擴(kuò)展西部。當(dāng)前三大接入運(yùn)營商主力高出兩個(gè)T的帶寬，同時(shí)我們在海內(nèi)努力跟中小運(yùn)營商舉辦對接，我們已經(jīng)接了快要30家中小運(yùn)營商，可以看到騰訊internet出口帶寬資源很是富厚，我們僅僅要打點(diǎn)好這么多出口資源自己就是很巨大的事情，我們要界說許多路由計(jì)策讓差異出口選擇差異路徑。

在實(shí)際運(yùn)營進(jìn)程中我們還碰著更多的挑戰(zhàn)，上面這兩個(gè)圖，上面場景在線網(wǎng)運(yùn)營中非經(jīng)常見，呈現(xiàn)這兩個(gè)問題的最基礎(chǔ)原因就是當(dāng)前BGP沒有思量網(wǎng)絡(luò)實(shí)際環(huán)境，沒有思量質(zhì)量環(huán)境，沒有思量擁塞的環(huán)境。我們想到SDN辦理方案，業(yè)界通用我們需要把網(wǎng)絡(luò)中的數(shù)據(jù)信息上送到節(jié)制器，由節(jié)制器會合計(jì)較，具體看一下騰訊怎么做的？我們通過BMP收羅路由，收羅出口與網(wǎng)絡(luò)流量，網(wǎng)管收羅出口網(wǎng)管的質(zhì)量信息，外部導(dǎo)入AS以及IP對應(yīng)干系，我這套節(jié)制器需要計(jì)較的所有信息已經(jīng)得到，這時(shí)候共同騰訊定制的路由計(jì)較算法完成會合的計(jì)較，然后通過BGP實(shí)現(xiàn)正確的路由選路。這個(gè)方案整體看起來很是簡樸，我們看一下實(shí)際運(yùn)營結(jié)果怎么樣？首先看一個(gè)最簡樸的例子，SDN方案帶來的收益。傳統(tǒng)封堵會通知網(wǎng)管我IP受到進(jìn)攻，網(wǎng)管行動(dòng)網(wǎng)絡(luò)設(shè)備下設(shè)置，這種方法有很大的缺點(diǎn)，首先效率很是低，我們受進(jìn)攻的時(shí)候但愿毫秒級完成封堵，因?yàn)楫?dāng)我受到進(jìn)攻頻繁變革的時(shí)候需要頻繁登錄網(wǎng)絡(luò)設(shè)備，有大概對設(shè)備不變性造成影響，我尚有其他的運(yùn)維人員需要操縱這臺設(shè)備。我們通過SDN辦理方案，當(dāng)我檢測到受進(jìn)攻IP的時(shí)候通過北向接口通知給節(jié)制器，偽造一套路由，目標(biāo)地點(diǎn)就是受進(jìn)攻IP，我們轉(zhuǎn)發(fā)設(shè)備預(yù)先設(shè)備好的指向的路由，當(dāng)路由下發(fā)到轉(zhuǎn)發(fā)路由通過路由迭代就實(shí)現(xiàn)封堵，線網(wǎng)運(yùn)營的時(shí)候晉升的一百倍，而且封堵樂成率晉升到百分之百，同步BGP尺度協(xié)議下發(fā)不需要頻繁對網(wǎng)絡(luò)設(shè)置舉辦修改，也晉升了網(wǎng)絡(luò)的不變運(yùn)營。

我們看別的一個(gè)收益，出口調(diào)治，運(yùn)營商的網(wǎng)絡(luò)質(zhì)量和出口妨礙可能舉辦改觀，好比左邊出口切換到右邊出口，好比華東切到華南，以前做法需要運(yùn)維人員隨著網(wǎng)絡(luò)設(shè)備改設(shè)置做接口切換，這些效率低，靠得住性較量低。本來為了淘汰改的設(shè)置量，所以出口切換基于整個(gè)出口切換，所以不能做到基于網(wǎng)站去做，通過我們SDN方案，我們需要做出口切換的時(shí)候可以登錄前臺打點(diǎn)頁面，運(yùn)維人員直接輸入須要的要害信息，輸入之后由節(jié)制器完成計(jì)較，最后轉(zhuǎn)換成IP路由，這個(gè)效率也長短常之高，并且靠得住性很高，我不再需要運(yùn)維人員說本身改設(shè)置。同時(shí)對騰訊線網(wǎng)出口設(shè)備多個(gè)廠商，以前改設(shè)置的時(shí)候需要差異廠商下發(fā)差異設(shè)置，后頭就改成尺度通道，最要害的可以實(shí)現(xiàn)基于網(wǎng)絡(luò)的調(diào)治，可以做更風(fēng)雅化的調(diào)治。

另一個(gè)對業(yè)務(wù)最大的收獲就是網(wǎng)絡(luò)質(zhì)量的晉升，可以做到自動(dòng)優(yōu)化。我們騰訊網(wǎng)絡(luò)出口很是多，有十幾條路達(dá)到用戶，以前做法都是本身選，此刻不了質(zhì)量探測處事器，我們舉辦周期性計(jì)較下發(fā)給轉(zhuǎn)發(fā)設(shè)備，轉(zhuǎn)發(fā)設(shè)備引導(dǎo)流量走勢。我們得到的收益這整套系統(tǒng)都是自動(dòng)化收羅，自動(dòng)計(jì)較，自動(dòng)下發(fā)，對業(yè)務(wù)而言可以得到更好的處事質(zhì)量，對付網(wǎng)絡(luò)運(yùn)維而言，這個(gè)算法是定制化，此刻可以按照質(zhì)量做路由計(jì)較，今后可以插手本錢因素，可以在滿意網(wǎng)絡(luò)質(zhì)量前提下，我選擇一個(gè)越發(fā)低廉的本錢出口，也可以讓我們獲得本錢的節(jié)減。

在這套方案落地進(jìn)程中是否是一帆風(fēng)順呢？我們也有許多挑戰(zhàn)，首先這個(gè)圖是最早期的internet出口陳設(shè)方案，每臺轉(zhuǎn)發(fā)設(shè)備旁邊都陳設(shè)BGP與運(yùn)營商設(shè)備成立EBGP，通過BMP將路由上送節(jié)制器。節(jié)制器完成會合計(jì)較后通過IBGP下發(fā)給BGP Agnet，BGP Agnet通過I2RS將路由下發(fā)給出口設(shè)備。我們在落地進(jìn)程中碰著別的一個(gè)挑戰(zhàn)，早期時(shí)候在路由節(jié)制器跟轉(zhuǎn)發(fā)設(shè)備交互最早選擇I2RS協(xié)議，聽名稱知道這個(gè)協(xié)議開拓出來就是為了在路由器上面開一個(gè)接口，讓節(jié)制器去調(diào)，天生為SDN籌備的，當(dāng)初也選擇了這么一套交互協(xié)議。可是我們在落地進(jìn)程中碰著一些問題，這個(gè)協(xié)議很新，不是所有供給商都愿意轉(zhuǎn)發(fā)設(shè)備支持這個(gè)協(xié)議，因?yàn)樘驴v然供給商都愿意做，各人對這個(gè)的領(lǐng)略紛歧樣，最終領(lǐng)略千差萬別，所以不能彼此兼容。尚有效率太低，這個(gè)協(xié)議頂層傳輸通道效率很低，我們測的進(jìn)程中發(fā)明最大的效率到達(dá)1500每秒，對付互聯(lián)網(wǎng)已經(jīng)高出60萬路而言，這個(gè)效率太低。后頭實(shí)驗(yàn)選擇其他交互協(xié)議，選擇了BGP通道，這個(gè)成長幾十年，各人都支持，所有路由器廠商可能互換器廠商對這個(gè)協(xié)議支持都很好，沒有兼容問題，其實(shí)效率很高，我們到達(dá)15到20K每秒，根基能滿意所有需求。這里大概有人疑問，既然BGP這么好為什么一開始選擇I2RS？實(shí)際通過BGP通道下發(fā)路由會改變轉(zhuǎn)發(fā)設(shè)備原有路由表，什么意思？左邊的圖跟運(yùn)營商對接轉(zhuǎn)發(fā)設(shè)備收到運(yùn)營商路由之后通過R反射到全網(wǎng)，路由節(jié)制器下發(fā)的路由但愿只對節(jié)制舉辦路由，所以我們對路由節(jié)制器BGP路由做了限制，不讓向外宣布。我們節(jié)制器下路由指導(dǎo)流量轉(zhuǎn)發(fā)，所以我們優(yōu)先級比原有轉(zhuǎn)發(fā)設(shè)備從運(yùn)營商的要高，這樣一來呈現(xiàn)一個(gè)問題，我們路由節(jié)制器下發(fā)路由包圍原有轉(zhuǎn)發(fā)設(shè)備從運(yùn)營商的路由的時(shí)候，這個(gè)路由釀成黑洞，只有在這臺設(shè)備有，其他設(shè)備就沒有，進(jìn)而改變整個(gè)BGP路由表，這個(gè)是我們不肯意看到的，大概引起其他路由黑洞和滑落問題。這個(gè)和許多廠商相同過，各人都以為這是一個(gè)棘手的問題，有些供給商和廠商最終接頭來接頭去最終辦理方案在轉(zhuǎn)發(fā)設(shè)備再開一張表，此刻轉(zhuǎn)發(fā)這個(gè)設(shè)備各人知道有路由表跟轉(zhuǎn)頒發(fā)，他們說再開一張表，這樣做對騰訊用戶而言時(shí)間太久了，首先不是所有的供給商都愿意這么干，在我路由器下面開放第三張表，縱然做了不會那么快的實(shí)現(xiàn)，需要硬件做改變。所以我們后頭在思考有沒有其他更好的適合騰訊的辦理方案，最終我們選擇了對網(wǎng)絡(luò)設(shè)備做分級。思路是說對設(shè)備疏散，部門設(shè)備只接運(yùn)營商，運(yùn)營商設(shè)備和IDC設(shè)備，IDC設(shè)備不陳設(shè)路由節(jié)制器的時(shí)候我通過RR反射給他，他沒有出口，他不需要引導(dǎo)其他流量轉(zhuǎn)發(fā)出去，我路由節(jié)制下的路由縱然包圍從RR的路由，我發(fā)出去不會有任何影響，這樣很好辦理了BGP下一個(gè)路由之后改變路由將來得環(huán)境。這種改變方法得到了別的一個(gè)收益，IDC不接運(yùn)營商，我們可以用互換機(jī)替代，不需要用傳統(tǒng)的路由器，這個(gè)此刻已經(jīng)在線網(wǎng)做試點(diǎn)陳設(shè)了。