上文我們主要講了云計算,接下來我們將繼續講解云計算、大數據和人工智能三者之間的相互關系。
在 PaaS 層中一個復雜的通用應用就是大數據平臺。大數據是如何一步一步融入云計算的呢?
01
數據不大也包含智慧
一開始這個大數據并不大。原來才有多少數據?現在大家都去看電子書,上網看新聞了,在我們 80 后小時候,信息量沒有那么大,也就看看書、看看報,一個星期的報紙加起來才有多少字?
如果你不在一個大城市,一個普通的學校的圖書館加起來也沒幾個書架,是后來隨著信息化的到來,信息才會越來越多。
首先我們來看一下大數據里面的數據,就分三種類型:
結構化的數據:即有固定格式和有限長度的數據。例如填的表格就是結構化的數據,國籍:中華人民共和國,民族:漢,性別:男,這都叫結構化數據。
非結構化的數據:現在非結構化的數據越來越多,就是不定長、無固定格式的數據,例如網頁,有時候非常長,有時候幾句話就沒了;例如語音,視頻都是非結構化的數據。
半結構化數據:是一些 XML 或者 HTML 的格式的,不從事技術的可能不了解,但也沒有關系。
其實數據本身不是有用的,必須要經過一定的處理。例如你每天跑步帶個手環收集的也是數據,網上這么多網頁也是數據,我們稱為 Data。
數據本身沒有什么用處,但數據里面包含一個很重要的東西,叫做信息(Information)。
數據十分雜亂,經過梳理和清洗,才能夠稱為信息。信息會包含很多規律,我們需要從信息中將規律總結出來,稱為知識(Knowledge),而知識改變命運。
信息是很多的,但有人看到了信息相當于白看,但有人就從信息中看到了電商的未來,有人看到了直播的未來,所以人家就牛了。
如果你沒有從信息中提取出知識,天天看朋友圈也只能在互聯網滾滾大潮中做個看客。
有了知識,然后利用這些知識去應用于實戰,有的人會做得非常好,這個東西叫做智慧(Intelligence)。
有知識并不一定有智慧,例如好多學者很有知識,已經發生的事情可以從各個角度分析得頭頭是道,但一到實干就歇菜,并不能轉化成為智慧。
而很多的創業家之所以偉大,就是通過獲得的知識應用于實踐,最后做了很大的生意。
所以數據的應用分這四個步驟:數據、信息、知識、智慧。
最終的階段是很多商家都想要的。你看我收集了這么多的數據,能不能基于這些數據來幫我做下一步的決策,改善我的產品。
例如讓用戶看視頻的時候旁邊彈出廣告,正好是他想買的東西;再如讓用戶聽音樂時,另外推薦一些他非常想聽的其他音樂。
用戶在我的應用或者網站上隨便點點鼠標,輸入文字對我來說都是數據,我就是要將其中某些東西提取出來、指導實踐、形成智慧,讓用戶陷入到我的應用里面不可自拔,上了我的網就不想離開,手不停地點、不停地買。
很多人說雙十一我都想斷網了,我老婆在上面不斷地買買買,買了 A 又推薦 B,老婆大人說,“哎呀,B 也是我喜歡的啊,老公我要買”。
你說這個程序怎么這么牛,這么有智慧,比我還了解我老婆,這件事情是怎么做到的呢?
02
數據如何升華為智慧
數據的處理分以下幾個步驟,完成了才最后會有智慧:
數據收集
數據傳輸
數據存儲
數據處理和分析
數據檢索和挖掘
數據收集
首先得有數據,數據的收集有兩個方式:
拿,專業點的說法叫抓取或者爬取。例如搜索引擎就是這么做的:它把網上的所有的信息都下載到它的數據中心,然后你一搜才能搜出來。
比如你去搜索的時候,結果會是一個列表,這個列表為什么會在搜索引擎的公司里面?就是因為他把數據都拿下來了,但是你一點鏈接,點出來這個網站就不在搜索引擎它們公司了。
比如說新浪有個新聞,你拿百度搜出來,你不點的時候,那一頁在百度數據中心,一點出來的網頁就是在新浪的數據中心了。
推送,有很多終端可以幫我收集數據。比如說小米手環,可以將你每天跑步的數據,心跳的數據,睡眠的數據都上傳到數據中心里面。
數據傳輸
一般會通過隊列方式進行,因為數據量實在是太大了,數據必須經過處理才會有用。可系統處理不過來,只好排好隊,慢慢處理。
數據存儲
現在數據就是金錢,掌握了數據就相當于掌握了錢。要不然網站怎么知道你想買什么?
就是因為它有你歷史的交易數據,這個信息可不能給別人,十分寶貴,所以需要存儲下來。
數據處理和分析
上面存儲的數據是原始數據,原始數據多是雜亂無章的,有很多垃圾數據在里面,因而需要清洗和過濾,得到一些高質量的數據。
對于高質量的數據,就可以進行分析,從而對數據進行分類,或者發現數據之間的相互關系,得到知識。
比如盛傳的沃爾瑪超市的啤酒和尿布的故事,就是通過對人們的購買數據進行分析,發現了男人一般買尿布的時候,會同時購買啤酒。
這樣就發現了啤酒和尿布之間的相互關系,獲得知識,然后應用到實踐中,將啤酒和尿布的柜臺弄的很近,就獲得了智慧。
數據檢索和挖掘