如果你剛接觸大數據,你可能會覺得這個領域很難以理解,無從下手。不過,你可以從下面這份包含了 25 個大數據術語的清單入手,那么我們開始吧。
算法(Algorithm) :算法可以理解成一種數學公式或用于進行數據分析的統計學過程。那么,「算法」又是何以與大數據扯上關系的呢 要知道,盡管算法這個詞是一個統稱,但是在這個流行大數據分析的時代,算法也經常被提及且變得越發流行。
分析(Analytics) :讓我們試想一個很可能發生的情況,你的信用卡公司給你發了封記錄著你全年卡內資金轉賬情況的郵件,如果這個時候你拿著這張單子,開始認真研究你在食品、衣物、娛樂等方面消費情況的百分比會怎樣 你正在進行分析工作,你在從你原始的數據(這些數據可以幫助你為來年自己的消費情況作出決定)中挖掘有用的信息。那么,如果你以類似的方法在推特和臉書上對整個城市人們發的帖子進行處理會如何呢 在這種情況下,我們就可以稱之為大數據分析。所謂大數據分析,就是對大量數據進行推理并從中道出有用的信息。以下有三種不同類型的分析方法,現在我們來對它們分別進行梳理。
描述性分析法(Descriptive Analytics) :如果你只說出自己去年信用卡消費情況為:食品方面 25%、衣物方面 35%、娛樂方面 20%、剩下 20% 為雜項開支,那么這種分析方法被稱為描述性分析法。當然,你也可以找出更多細節。
預測性分析法(Predictive Analytics) :如果你對過去 5 年信用卡消費的歷史進行了分析,發現每年的消費情況基本上呈現一個連續變化的趨勢,那么在這種情況下你就可以高概率預測出:來年的消費狀態應該和以往是類似的。這不是說我們在預測未來,而是應該理解為,我們在「用概率預測」可能發生什么事情。在大數據的預測分析中,數據科學家可能會使用先進的技術,如機器學習,和先進的統計學處理方法(這部分后面我們會談到)來預測天氣情況、經濟變化等等。
規范性分析(Prescriptive Analytics) :這里我們還是用信用卡轉賬的例子來理解。假如你想找出自己的哪類消費(如食品、娛樂、衣物等等)可以對整體消費產生巨大影響,那么基于預測性分析(Predictive Analytics)的規范性分析法通過引入「動態指標(action)」(如減少食品或衣物或娛樂)以及對由此產生的結果進行分析來規定一個可以降低你整體開銷的最佳消費項。你可以將它延伸到大數據領域,并想象一個負責人是如何通過觀察他面前多種動態指標的影響,進而作出所謂由「數據驅動」的決策的。
批處理(Batch processing) :盡管批量數據處理從大型機(mainframe)時代就已經存在了,但是在處理大量數據的大數據時代面前,批處理獲得了更重要的意義。批量數據處理是一種處理大量數據(如在一段時間內收集到的一堆交易數據)的有效方法。分布式計算(hadoop),后面會討論,就是一種專門處理批量數據的方法。
Cassandra 是一個很流行的開源數據管理系統,由 Apache Software Foundation 開發并運營。Apache 掌握了很多大數據處理技術,Cassandra 就是他們專門設計用于在分布式服務器之間處理大量數據的系統。
云計算(Cloud computing) :雖然云計算這個詞現在已經家喻戶曉,這里大可不必贅述,但是為了全篇內容完整性的考慮,筆者還是在這里加入了云計算詞條。本質上講,軟件或數據在遠程服務器上進行處理,并且這些資源可以在網絡上任何地方被訪問,那么它就可被稱為云計算。
集群計算(Cluster computing) :這是一個來描述使用多個服務器豐富資源的一個集群(cluster)的計算的形象化術語。更技術層面的理解是,在集群處理的語境下,我們可能會討論節點(node)、集群管理層(cluster management layer)、負載平衡(load balancing)和并行處理(parallel processing)等等。
暗數據(Dark data) :這是一個生造詞,在筆者看來,它是用來嚇唬人,讓高級管理聽上去晦澀難懂的。基本而言,所謂暗數據指的是,那些公司積累和處理的實際上完全用不到的所有數據,從這個意義上來說我們稱它們為「暗」的數據,它們有可能根本不會被分析。這些數據可以是社交網絡中的信息,電話中心的記錄,會議記錄等等。很多估計認為所有公司的數據中有 60% 到 90% 不等可能是暗數據,但實際上沒人知道。
數據湖(Data lake) :當筆者第一次聽到這個詞時,真的以為這是個愚人節笑話。但是它真的是一個術語。所以一個數據湖(data lake)即一個以大量原始格式保存了公司級別的數據知識庫。這里我們介紹一下數據倉庫(Data warehouse)。數據倉庫是一個與這里提到的數據湖類似的概念,但不同的是,它保存的是經過清理和并且其它資源整合后的結構化數據。數據倉庫經常被用于通用數據(但不一定如此)。一般認為,一個數據湖可以讓人更方便地接觸到那些你真正需要的數據,此外,你也可以更方便地處理、有效地使用它們。