近幾年,機器學習、深度學習以及大數據分析一直是熱門話題,人工智能在金融、營銷、軟件開發、戰略決策等領域的應用也越來越普遍。
數據智能技術供應商Teradata天睿公司于去年推出下一代分析平臺Teradata Vantage,提供描述性、預測性與指示性分析、自主性決策、機器學習、可視化工具等廣泛功能,致力于解決當前分析方案中的各類問題。Teradata Vantage的高級分析是如何利用分析處理引擎實現機器學習和深度學習?上市半年來取得了哪些階段性成果?這些問題在近期召開的Teradata媒體會上得到了詳細解答。
高級分析的三個發展階段
Teradata天睿公司首席技術官寶立明(Stephen Brobst)認為,高級分析的發展可以分為三個階段:第一階段是描述性分析,用于洞察過去;第二階段是預測性分析,能夠了解未來;第三階段是指導性分析,為可能發生的結果提供建議。Teradata開發的Vantage軟件平臺屬于第三階段的產物,能夠為企業提供最佳的高級分析能力。
Teradata天睿公司首席技術官寶立明(Stephen Brobst)
如今,機器學習技術取得飛速發展,其能力超出人類的例子也比比皆是。最讓寶立明印象深刻的是,在某界國際象棋比賽中,來自挪威和美國的兩位象棋大師在最后一局打成了平局,經過軟件分析后得知,挪威象棋大師本可以在60步內將死對手,但是由于象棋大師只能預測幾十步以內的可能性,對于60歩的結果完全無能為力,最后只能打成平手。
行業預測表明,一些需要簡單體力或腦力勞動的職業將被機器取代,如收銀員、卡車司機、簡單翻譯、放射科醫生和個人信用評估等等。實際上,機器學習的預測能力已經被應用到企業的實際業務中,為企業的未來發展指引方向。
目前所謂的人工智能都是增強型人工智能,它還無法完全取代人類,只能增強人的能力。例如,軟件可以幫助醫生診斷一些疾病,但是機器的診斷分析只能提供參考,最后還是要靠醫生選擇治療方案,進行治療。由這個例子引申開來,人們在制定策略、戰略時,可以讓智能化的軟件輔助我們實現這些戰略,AI不止能夠幫助企業提速降本增效,還能幫助企業管理者將戰略制定得更長遠,更完美,Teradata Vantage正是為了這一目標而存在。
Teradata Vantage高級分析平臺
Teradata Vantage高級分析平臺在架構上可以分為四層,由下至上分別是數據源、分析引擎、分析語言和分析工具。此前,Teradata收購了一家來自斯坦福大學的創業公司Aster Data,創新性地同時集成了Map-Reduce和ANSI SQL引擎,能夠將上層的分析引擎與底層的存儲設備打通,進行大數據分析和計算。
Teradata Vantage的分析引擎層包含NewSQL引擎、機器學習引擎、圖形引擎、Spark引擎、TensorFlow引擎以及一系列定制引擎。寶立明強調,Teradata Vantage的機器學習引擎由廣泛的分析功能組成,除數據準備、非結構化數據分析功能以外,還涵蓋人工智能、統計、文本、情感判別等200余種分析引擎,便于科學家進行描述性或預測性的分析。圖引擎可實現關聯分析,并了解網絡用戶、產品、過程乃至任何聯網實體中這些關系將怎樣影響結果。其中,云服務器租用,每個引擎都用Docker做成Container封裝起來,不斷迭代。與此同時,基于開源的OpenStack平臺和商業分析引擎,讓開發者們可以開發出一些內部引擎和工具集。
在分析語言方面,早期,Teradata推出了高性能和高可靠性的Teradata關系數據庫管理系統,該系統采用標準的SQL查詢語言,適用于處理復雜查詢的數據倉庫應用。隨著預測性、指導性高級分析需求的逐漸增多,SQL這一結構性的查詢語言已無法滿足需求, Teradata陸續將NoSQL,R,Python,NewSQL,SAS等語言納入進來,結合頂層的分析工具以及廣泛的商業智能與可視化工具,讓企業的分析師和數據科學家無需非常了解機器學習算法即可用到機器學習的能力,為用戶提供預測性、指導性的高級分析能力。
Teradata Vantage本地化最佳實踐
為了滿足中國市場的本地化需求,Vantage平臺支持百萬級乃至上億級用戶體量的高級分析需求。據介紹,Teradata在中國的諸多銀行客戶紛紛開發出了相關的分析引擎,使數據科學家們能夠利用任何他們慣用的開源或商業的語言和工具,充分利用不同的數據源,通過各類分析引擎,與不同的應用相結合,訪問、共享位于分布式存儲以及對象存儲中的各種格式的數據。