隨著計算機的日益普及,各種應用每天產生的數據量呈指數級增長。如何存儲這些數據,有效處理分析這些數據,并從中提取有價值的信息,是當下迫切需要解決的問題。在過去的十年里,NoSQL在軟件工程師陣營里越來越受歡迎,其中最重要的實現是MapReduce ,Bigtable,Cassandra,MongoDB,等產品。 它主要用于解決SQL的可擴展性問題。
然而今天SQL開始回歸。幾乎所有的云計算服務提供商都在提供備受青睞的關系型數據庫管理服務:例如Amazon RDS,Google Cloud SQL,Azure 的PostgreSQL數據庫(Azure今年推出)。在亞馬遜看來,其PostgreSQL和MySQL兼容的數據庫產品Aurora一直是AWS歷史上增長最快的服務。Hadoop和Spark之上的SQL接口繼續迅猛發展。就在上個月,Kafka推出了SQL支持。
在這篇文章中,我們將研究SQL備受青睞的原因以及這對未來的數據社區工程和分析意味著什么。
第1部分:新希望的崛起
想要了解SQL為什么回歸,讓我們先了解他最初的設計初衷。
故事始于20世紀70年代初的IBM研究院,其中關系型數據庫誕生了。那時候,查詢語言依賴于復雜的數學邏輯和符號。Donald Chamberlin和Raymond Boyce兩位博士對關系型數據模型造詣頗深,看到查詢語言將成為其主要瓶頸。他們開始設計一種新的查詢語言(以他們自己的話來說):“ 用戶使用更容易,不需要再參加數學或計算機程序設計方面的正規培訓 ”。
回想在互聯網之前,在PC出現以前,當程序設計語言C首次被引入世界時,兩名年輕的計算機科學家意識到,“計算機行業的成功很大程度上依賴于培養一種除了訓練有素的計算機專家以外的用戶。“他們渴望一種與英文一樣容易閱讀的查詢語言,包括數據庫管理和操作。
結果是SQL在1974年首次被引入世界,成了關系型數據庫的最主要語言。在接下來的幾十年里,SQL被證明也是很受歡迎的。作為關系型數據庫,如System R,Ingres,DB2,Oracle,SQL Server,PostgreSQL,MySQL(等等)在軟件行業里的發展壯大,SQL也成為了與數據庫進行交互的首選語言,成為了一個日益擁擠、競爭激烈的生態系統的通用語言。。
(不幸的是,Raymond Boyce從來沒有機會見證SQL的成功,他只做了一個早期的SQL演講,1個月后他便死于腦動脈瘤,當時他只有26歲,留下了一個妻子和一個年輕的女兒。)
有一段時間,似乎SQL已經成功地履行了它的使命。接著互聯網出現了。
第2部分:NoSQL反擊
雖然Chamberlin和Boyce正在開發SQL,但他們沒有意識到的是,加利福尼亞州的 另一批工程師正在開展另一個新興項目,該項目逐漸成熟后,明顯威脅到SQL的存在。該項目就是 ARPANET,誕生于1969年10月29日。
但是此前SQL發展一直很好,直到1989年,另一位工程師的出現并發明了萬維網。
互聯網和Web的蓬勃發展正在改變著我們的世界,但是對于數據社區來說,也是很讓人頭痛的:數據以大的量級和更快的速度爆炸式增長。
隨著互聯網的不斷發展和壯大,軟件社區發現當時的關系數據庫無法應對新的負載壓力,就好像一百萬個數據庫突然過載讓人抓狂一般。
然后兩家新的互聯網巨頭取得突破,并開發了自己的非關系型分布式系統來應對這種新的數據沖擊:Google的MapReduce(2004年發布)和Bigtable(2006年發布)以及亞馬遜的Dynamo(2007年發布)。這些開創性論文導致出現了更多的非關系型數據庫,包括Hadoop(基于MapReduce論文,2006),Cassandra(Bigtable和Dynamo的深度解析,2008 )和MongoDB(2009))。因為這些都是從零開始大量編寫的新系統,避開了SQL,導致了NoSQL運動的興起。
開發者社區的軟件工程師們逐漸地也接受了NoSQL,相較于SQL當時的出現,被越來越多的工程師所接受。這個原因非常容易理解:NoSQL是現在流行的;它承諾了規模和權力;這似乎是項目通往成功的捷徑。但后來問題出現了。
開發人員很快發現,不用SQL的局限性。每個NoSQL數據庫都提供了自己獨特的查詢語言,這意味著:要學習更多的語言(并向同事教授); 將這些數據庫連接到應用程序的難度增加,導致大量膠水代碼的出現(代碼之間有很強的耦合性);缺乏第三方生態系統,要求企業必須開發自己的操作和可視化工具。
這些NoSQL語言是新的,也沒有完全開發。例如,關系型數據庫已經運行很多年了,為SQL添加必要的功能(例如JOIN)也早都已經完成了,NoSQL語言的不成熟意味著在應用程序級別就會有更多的復雜性。缺乏JOIN也導致了非規范化,導致數據膨脹和僵化。