跟著大數據這個觀念的鼓起以及真實需求在各個行業的落地，許多人都熱衷于接頭漫衍式數據庫，本日就這個話題，主要分為三部門：第一部門講一下漫衍式數據庫的已往和近況，但愿各人能對這個規模有一個全面的相識；第二部門講一下TiDB的架構以及最近的一些希望；最后團結我們開拓TiDB進程中的一些思考講一下漫衍式數據庫將來大概的趨勢。
一、漫衍式數據庫的汗青和近況
1、從單機數據庫說起
干系型數據庫發源自1970年月，其最根基的成果有兩個：
把數據存下來；
滿意用戶對數據的計較需求。
第一點是最根基的要求，假如一個數據庫沒步伐把數據安詳完整存下來，那么后續的任何成果都沒有意義。當滿意第一點后，用戶緊接著就會要求可以或許利用數據，大概是簡樸的查詢，好比憑據某個Key來查找Value；也大概是巨大的查詢，好比要對數據做巨大的聚合操縱、連表操縱、分組操縱。往往第二點是一個比第一點更難滿意的需求。
在數據庫成長早期階段，這兩個需求其實不難滿意，好比有許多優秀的貿易數據庫產物，如Oracle/DB2。在1990年之后，呈現了開源數據庫MySQL和PostgreSQL。這些數據庫不絕地晉升單機實例機能，再加上遵循摩爾定律的硬件晉升速度，往往可以或許很好地支撐業務成長。
接下來，跟著互聯網的不絕普及出格是移動互聯網的鼓起，數據局限爆炸式增長，而硬件這些年的進步速度卻在逐漸減慢，人們也在擔憂摩爾定律會失效。在此消彼長的環境下，單機數據庫越來越難以滿意用戶需求，縱然是將數據生存下來這個最根基的需求。
2、漫衍式數據庫
所以2005年閣下，人們開始摸索漫衍式數據庫，帶起了NoSQL這海海潮。這些數據庫辦理的首要問題是單機上無法生存全部數據，個中以HBase/Cassadra/MongoDB為代表。為了實現容量的程度擴展，這些數據庫往往要放棄事務，可能是只提供簡樸的KV接口。存儲模子的簡化為存儲系統的開拓帶來了便利，可是低落了對業務的支撐。
（1）NoSQL的進擊
HBase是個中的典范代表。HBase是Hadoop生態中的重要產物，Google BigTable的開源實現，所以這里先說一下BigTable。
BigTable是Google內部利用的漫衍式數據庫，構建在GFS的基本上，補充了漫衍式文件系統對付小工具的插入、更新、隨機讀請求的缺陷。HBase也憑據這個架構實現，底層基于HDFS。HBase自己并不實際存儲數據，耐久化的日志和SST file存儲在HDFS上，Region Server通過 MemTable 提供快速的查詢，寫入都是先寫日志，靠山舉辦Compact，將隨機寫轉換為順序寫。數據通過 Region 在邏輯長舉辦支解，負載平衡通過調理各個Region Server認真的Region區間實現，Region在一連寫入后，會舉辦破裂，然后被負載平衡計策調治到多個Region Server上。
前面提到了，HBase自己并不存儲數據，這里的Region僅是邏輯上的觀念，數據照舊以文件的形式存儲在HDFS上，HBase并不體貼副本個數、位置以及程度擴展問題，這些都依賴于HDFS實現。和BigTable一樣，HBase提供行級的一致性，從CAP理論的角度來看，它是一個CP的系統，而且沒有更進一步提供 ACID 的跨行事務，也是很遺憾。
HBase的優勢在于通過擴展Region Server可以險些線性晉升系統的吞吐，及HDFS自己就具有的程度擴展本領，且整個系統成熟不變。但HBase依然有一些不敷。首先，Hadoop利用Java開拓，GC延遲是一個無法制止問題，這對系統的延遲造成一些影響。別的，由于HBase自己并不存儲數據，和HDFS之間的交互會多一層機能損耗。第三，HBase和BigTable一樣，并不支持跨行事務，所以在Google內部有團隊開拓了MegaStore、Percolator這些基于BigTable的事務層。Jeff Dean認可很反悔沒有在BigTable中插手跨行事務，這也是Spanner呈現的一個原因。
（2）RDMS的救贖
除了NoSQL之外，RDMS系統也做了不少盡力來適應業務的變革，也就是干系型數據庫的中間件和分庫分表方案。做一款中間件需要思量許多，好比理會 SQL，理會出ShardKey，然后按照ShardKey分發請求，再歸并功效。別的在中間件這層還需要維護Session及事務狀態，并且大大都方案并不支持跨shard的事務，這就不行制止地導致了業務利用起來會較量貧苦，需要本身維護事務狀態。另外，尚有動態的擴容縮容和自動的妨礙規復，在集群局限越來越大的環境下，運維和DDL的巨大度是指數級上升。
海內開拓者在這個規模有過許多的著名的項目，好比阿里的Cobar、TDDL，厥后社區基于Cobar改造的MyCAT，360開源的Atlas等，都屬于這一類中間件產物。在中間件這個方案上有一個知名的開源項目是Youtube的Vitess，這是一個集大成的中間件產物，內置了熱數據緩存、程度動態分片、讀寫疏散等，但這也造成了整個項目很是巨大。
