優(yōu)刻得推出了數(shù)據(jù)傳輸 (UCloud Data Transmission Service) UDTS服務(wù)，支持多種同構(gòu)和異構(gòu)數(shù)據(jù)源之間進(jìn)行全量或增量數(shù)據(jù)傳輸、支持多庫或全庫的遷移、支持ETL數(shù)據(jù)過濾等，從而幫助用戶降低數(shù)據(jù)遷移的風(fēng)險(xiǎn)、提高數(shù)據(jù)傳輸?shù)膶?shí)時(shí)可靠性，方便其靈活調(diào)整數(shù)據(jù)架構(gòu)、實(shí)時(shí)同步數(shù)據(jù)并分析等。
數(shù)據(jù)庫作為核心數(shù)據(jù)的重要存儲(chǔ)，很多時(shí)候都會(huì)面臨數(shù)據(jù)遷移的需求，例如：業(yè)務(wù)從本地遷移上云、數(shù)據(jù)中心故障需要切換至災(zāi)備中心、混合云或多云部署下的數(shù)據(jù)同步、流量突增導(dǎo)致數(shù)據(jù)庫性能瓶頸需要拆分……
而傳統(tǒng)的開源數(shù)據(jù)庫遷移工具SSMA、imp/exp等為了保證遷移數(shù)據(jù)的一致性，國(guó)內(nèi)服務(wù)器，必須要在遷移之前停止服務(wù)，容易造成業(yè)務(wù)中斷。對(duì)于有些用戶，遷移數(shù)據(jù)量非常大可能達(dá)TB級(jí)別，即便有了這些開源工具還需要規(guī)劃磁盤空間大小、傳輸?shù)木W(wǎng)絡(luò)帶寬、CPU資源等等。另外由于這些開源工具的參數(shù)配置也相對(duì)比較復(fù)雜，對(duì)用戶而言這部分學(xué)習(xí)成本也較高。
優(yōu)刻得UDTS一鍵啟動(dòng)遷移服
傳統(tǒng)的數(shù)據(jù)庫遷移步驟包括系統(tǒng)環(huán)境的配置、工具的安裝編譯、數(shù)據(jù)備份、恢復(fù)測(cè)試等，整套流程不僅復(fù)雜且傳輸過程易出錯(cuò)，還可能面臨數(shù)據(jù)丟失風(fēng)險(xiǎn)。
而優(yōu)刻得UDTS從產(chǎn)品功能上實(shí)現(xiàn)了服務(wù)化，幫助用戶簡(jiǎn)化了這些復(fù)雜的操作。用戶無須關(guān)心所需的底層物理資源，也不需要關(guān)注工具的復(fù)雜參數(shù)配置， 只需要在控制臺(tái)一鍵點(diǎn)擊創(chuàng)建遷移任務(wù)， 選擇增量/全量任務(wù)類型，填寫數(shù)據(jù)源信息即可啟動(dòng)遷移服務(wù)。
相比傳統(tǒng)的遷移工具，優(yōu)刻得UDTS更加靈活彈性，對(duì)于正在遷移的任務(wù)，用戶如果不想遷移了可隨時(shí)停止，如果任務(wù)信息填錯(cuò)等需要修改的時(shí)候，用戶也可以隨時(shí)進(jìn)行修改重啟。優(yōu)刻得UDTS還能提供完善的運(yùn)行信息，例如遷移任務(wù)的起始時(shí)間、剩余時(shí)間、數(shù)據(jù)量等。在安全可靠性方面，優(yōu)刻得UDTS在公有云平臺(tái)上進(jìn)行數(shù)據(jù)遷移不僅支持外網(wǎng)的遷移，還提供優(yōu)刻得內(nèi)網(wǎng)的數(shù)據(jù)遷移。
支持豐富的遷移類型
如上圖所示，目前優(yōu)刻得UDTS支持主流數(shù)據(jù)庫MySQL、TiDB、PgSQL、SQLServer、MongoDB、Redis的同構(gòu)數(shù)據(jù)源之間的遷移，以及異構(gòu)數(shù)據(jù)源的遷移MySQL->TiDB。還支持一些其他類型的遷移，例如從CSV->UDW（UCloud數(shù)據(jù)倉庫）、CSV->MySQL。
了解到很多UFile用戶有數(shù)據(jù)遷移的需求，因此UDTS新增了UFile之間的數(shù)據(jù)遷移，包括支持全bucket遷移、按prefix遷移、斷點(diǎn)續(xù)傳，同時(shí)可以與優(yōu)刻得工作流服務(wù)StepFlow結(jié)合實(shí)現(xiàn)增量同步。
優(yōu)刻得UDTS的三次重要升級(jí)
1、遷移維度從表到庫
經(jīng)過調(diào)研我們發(fā)現(xiàn)有些用戶的表比較少且集中，有些用戶一個(gè)表有上百G的數(shù)據(jù)，如果按庫遷移的話，一個(gè)庫里面上TB的數(shù)據(jù)遷移在導(dǎo)出階段一旦出問題就得從頭再來，因此UDTS最初是從表的維度開始遷移，一次只能遷移一個(gè)庫里面的一張表。
后來又調(diào)研到有用戶的一個(gè)MySQL實(shí)例有十幾個(gè)庫，每個(gè)庫有二十幾張表，如果按表遷移可能要?jiǎng)?chuàng)建幾百個(gè)任務(wù)，對(duì)于該用戶來說按表遷移的顯然任務(wù)量巨大。于是我們很快開發(fā)支持了按庫進(jìn)行遷移，將這個(gè)用戶庫里面所有表一次全部遷移過去。另外UDTS還支持多庫及全庫的遷移，可以將一個(gè)實(shí)例下除系統(tǒng)庫（mysql, information_schema, performance_schema, test, sys）以外的所有庫一次性遷移過去。
2、支持ETL數(shù)據(jù)過濾
有些用戶會(huì)面臨這樣的需求：在數(shù)據(jù)遷移的時(shí)候不希望或者不需要將所有數(shù)據(jù)完整的遷移到目標(biāo)庫，因此UDTS開發(fā)了按條件（行）選擇及按列選擇功能。
還有一些數(shù)據(jù)整合的場(chǎng)景，用戶原來的數(shù)據(jù)分散在不同的數(shù)據(jù)庫中，現(xiàn)在希望整合到同一個(gè)高性能數(shù)據(jù)庫中。但有時(shí)會(huì)遇到數(shù)據(jù)庫名重復(fù)沖突導(dǎo)致無法整合。于是UDTS提供了遷移時(shí)重命名的功能，可以針對(duì)數(shù)據(jù)庫也可以針對(duì)表，這樣就幫助這類用戶解決了數(shù)據(jù)整合的難題。同時(shí)我們還提供了列級(jí)的映射，讓用戶有更靈活的遷移服務(wù)。
使用過MySQL的用戶可能經(jīng)常會(huì)遇到這種情況，如果業(yè)務(wù)量大，從庫老是追不上主庫。我們遇到有用戶在做完全量遷移后，做增量遷移的時(shí)候發(fā)現(xiàn)老是追不上主庫，經(jīng)過分析發(fā)現(xiàn)該用戶有一個(gè)批量計(jì)算在里面，有一張表有幾千萬條數(shù)據(jù)，每隔一段時(shí)間做一次批量計(jì)算，將那張表拷貝一份在里面做大量的運(yùn)算，用完了之后再刪掉，不斷的重復(fù)做這件事情。但由于這些表都是臨時(shí)生成的只知道前綴不知道名字，于是UDTS增加了一個(gè)數(shù)據(jù)過濾功能，支持按特定的前綴來排除特定的表，這樣運(yùn)行出來速度就很快，任務(wù)一旦啟動(dòng)就從來沒有掉過隊(duì)，一直是實(shí)時(shí)保持同步的。
3、從單地域到多地域
