過去二十年，從看文字資訊，到后來看圖片集錦，再到現(xiàn)在看視頻，互聯(lián)網(wǎng)內(nèi)容不斷更新迭代，信息量變得越來越大、可視性也越來越強(qiáng)。短視頻也因此應(yīng)運(yùn)而生，并且迅速占據(jù)我們工作、生活之余的大部分碎片時(shí)間，目前，單獨(dú)一個(gè)短視頻平臺(tái)的日播放量就能高達(dá)到100億次。

在短視頻業(yè)務(wù)快速擴(kuò)張的背后，是各種技術(shù)的不斷革新包括移動(dòng)終端性能的提升，移動(dòng)網(wǎng)絡(luò)的提速，當(dāng)然還有后端計(jì)算平臺(tái)的日益強(qiáng)勁和穩(wěn)健。

當(dāng)我們從看圖時(shí)代轉(zhuǎn)向視頻時(shí)代時(shí)，數(shù)據(jù)中心又需要什么樣的變革來適應(yīng)新的業(yè)務(wù)應(yīng)用？

開展短視頻業(yè)務(wù)前，你需要先了解這些數(shù)字

每月PB級(jí)的數(shù)據(jù)存在哪？

相對(duì)于文字和圖片，視頻的存儲(chǔ)需要更大的空間。以國內(nèi)某短視頻平臺(tái)的對(duì)外公開數(shù)據(jù)來看，其平臺(tái)注冊(cè)用戶超過5億，日活躍人數(shù)8000萬，每天新增的段視頻數(shù)量1000萬，按照1條57s的視頻大小6MB左右來算，僅從存儲(chǔ)的視頻容量來看，平臺(tái)每月新增的短視頻容量都將超過1PB.那我們?cè)偎阆拢凑諉螇K硬盤8T，每臺(tái)服務(wù)器12塊硬盤，那么每月僅為了存儲(chǔ)這些視頻就新增12臺(tái)服務(wù)器。

如何面對(duì)80%的“冷”卻不可舍棄的數(shù)據(jù)？

視頻行業(yè)，不論是短視頻，還是直播，又或是視頻網(wǎng)站，他們的數(shù)據(jù)都有著一個(gè)共同的特點(diǎn)——數(shù)據(jù)的熱度不均且變化較快。比如據(jù)統(tǒng)計(jì)，大部分上傳的數(shù)據(jù)的高熱度狀態(tài)僅能保持1周甚至更短的時(shí)間。在數(shù)據(jù)中心中熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)占總數(shù)據(jù)量的比例約為5%、15%、80%.冷數(shù)據(jù)也可以被叫做“低價(jià)值度的數(shù)據(jù)”，因?yàn)樗鼈冋加弥蟛糠值?a href="http://www.qzkangyuan.com/cnidc/tech/cunchu/20160910/2879.html">存儲(chǔ)空間，但是通常不會(huì)再產(chǎn)生價(jià)值（被觀看）。

但是，從一方面來看短視頻從本質(zhì)上來講類似QQ空間、微信朋友圈，是一種記錄生活的平臺(tái)，因此平臺(tái)需要保證保有的數(shù)據(jù)不會(huì)被刪除，因此這80%的數(shù)據(jù)成為“沒有價(jià)值”但是不能被舍棄的“雞肋”數(shù)據(jù)。

如何安全且低成本地保存這些低價(jià)值度的視頻數(shù)據(jù)？

高功耗的存儲(chǔ)服務(wù)器將帶來居高不下的運(yùn)營成本

服務(wù)器產(chǎn)品在維護(hù)階段具有周期長、維護(hù)成本高的特點(diǎn)，一般而言2年的維護(hù)成本就會(huì)超過購買成本。所以在設(shè)備運(yùn)行過程中降低耗電量和簡(jiǎn)化維護(hù)成了必須重視的工作。

目前國內(nèi)大部分的存儲(chǔ)服務(wù)器仍是采用通用服務(wù)器的配置，并沒有針對(duì)溫冷數(shù)據(jù)的存儲(chǔ)應(yīng)用進(jìn)行優(yōu)化。因此目前大多數(shù)數(shù)據(jù)中心中的存儲(chǔ)系統(tǒng)都處于低負(fù)載卻高功耗的狀態(tài)，如何把存儲(chǔ)集群的功耗降下來，是把數(shù)據(jù)中心從成本中心轉(zhuǎn)為利潤中心的關(guān)鍵之一。

浪潮SA5224M4存儲(chǔ)集群

短視頻背后的數(shù)據(jù)中心需要怎樣的存儲(chǔ)架構(gòu)

計(jì)算和存儲(chǔ)分離，讓專業(yè)的機(jī)器做專業(yè)的事

短視頻背后的數(shù)據(jù)中心架構(gòu)其實(shí)并不是特別復(fù)雜，從視頻采集端到客戶端，編解碼、用戶特征分析由專門的計(jì)算節(jié)點(diǎn)完成；CDN節(jié)點(diǎn)負(fù)責(zé)熱點(diǎn)視頻的緩存加速和分發(fā)；高密度的存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)平臺(tái)的視頻數(shù)據(jù)。

CDN節(jié)點(diǎn)，考慮如何讓熱點(diǎn)數(shù)據(jù)最快發(fā)出

由于視頻流量大，因此CDN節(jié)點(diǎn)所承載的吞吐量較大，因此對(duì)于存儲(chǔ)容量和擴(kuò)容的便捷度要求更高。另外由于CDN需要存儲(chǔ)的數(shù)據(jù)熱度不一，比如1年前的自拍視頻，和最熱網(wǎng)紅的最新出品的點(diǎn)擊率有天壤之別。因此，視頻數(shù)據(jù)需要分級(jí)存儲(chǔ)，將不同熱度數(shù)據(jù)放在不同的存儲(chǔ)介質(zhì)中，充分發(fā)揮部件的利用效率，提升存儲(chǔ)能效比。

對(duì)于CDN服務(wù)器的選擇，通常會(huì)需要計(jì)算和存儲(chǔ)兩類服務(wù)器來支撐：計(jì)算型主要用于處理分發(fā)任務(wù)等，CPU采用較高主頻即可，對(duì)于內(nèi)存和硬盤容量的要求并不高；存儲(chǔ)型則用于在關(guān)鍵節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和快速分發(fā)，因此要求IT架構(gòu)中需要大容量的SSD或者高速HDD來應(yīng)對(duì)。

在服務(wù)器的選擇上可以考慮浪潮SA5212M5這種計(jì)算存儲(chǔ)均衡類服務(wù)器，。在存儲(chǔ)性能上，SA5212M5搭配12塊大容量SATA硬盤，單塊容量達(dá)到8T，單機(jī)可容納96T的CDN數(shù)據(jù)，滿足CDN集群的龐大數(shù)據(jù)容量需求。而對(duì)于相對(duì)熱的數(shù)據(jù)，SA5212M5中可加入的4塊2.5寸SSD盤位，將提升系統(tǒng)整體響應(yīng)速度，香港站群服務(wù)器 美國服務(wù)器，經(jīng)實(shí)測(cè)，使用SSD固態(tài)硬盤后單臺(tái)服務(wù)器的服務(wù)能力提升了1倍以上。

高密存儲(chǔ)節(jié)點(diǎn)，考慮如何提升存儲(chǔ)能效比

作為存儲(chǔ)節(jié)點(diǎn)的高密度服務(wù)器本身不需要太高的計(jì)算處理性能，因此可以選擇基于Intel Xeon-D處理器家族的SA5224M4機(jī)型，搭配單顆D-1521 CPU，借助Xeon-D的SOC特性和低功耗優(yōu)勢(shì)，通過大容量8T硬盤的使用，以追求更優(yōu)的TCO收益。