在PaaS層中一個復雜的通用應用就是大數據平臺。大數據是如何一步一步融入云計算的呢?
1數據不大也包含智慧
一開始這個大數據并不大。原來才有多少數據?現在大家都去看電子書,上網看新聞了,在我們80后小時候,信息量沒有那么大,也就看看書、看看報,一個星期的報紙加起來才有多少字?如果你不在一個大城市,一個普通的學校的圖書館加起來也沒幾個書架,是后來隨著信息化的到來,信息才會越來越多。
首先我們來看一下大數據里面的數據,就分三種類型,一種叫結構化的數據,一種叫非結構化的數據,還有一種叫半結構化的數據。
結構化的數據:即有固定格式和有限長度的數據。例如填的表格就是結構化的數據,國籍:中華人民共和國,民族:漢,性別:男,這都叫結構化數據。 非結構化的數據:現在非結構化的數據越來越多,就是不定長、無固定格式的數據,例如網頁,有時候非常長,有時候幾句話就沒了;例如語音,視頻都是非結構化的數據。 半結構化數據:是一些XML或者HTML的格式的,不從事技術的可能不了解,但也沒有關系。
其實數據本身不是有用的,必須要經過一定的處理。例如你每天跑步帶個手環收集的也是數據,網上這么多網頁也是數據,我們稱為Data。數據本身沒有什么用處,但數據里面包含一個很重要的東西,叫做信息(Information)。
數據十分雜亂,經過梳理和清洗,才能夠稱為信息。信息會包含很多規律,我們需要從信息中將規律總結出來,稱為知識(Knowledge),而知識改變命運。信息是很多的,但有人看到了信息相當于白看,但有人就從信息中看到了電商的未來,有人看到了直播的未來,所以人家就牛了。如果你沒有從信息中提取出知識,天天看朋友圈也只能在互聯網滾滾大潮中做個看客。自己建的大數據學習交流群:458345782,群里都是學大數據開發的,如果你正在學習大數據 ,小編歡迎你加入,大家都是軟件開發黨,不定期分享干貨(只有大數據軟件開發相關的),包括我自己整理的一份最新的大數據進階資料和高級開發教程,歡迎進階中和進想深入大數據的小伙伴加入。
所以數據的應用分這四個步驟:數據、信息、知識、智慧。
最終的階段是很多商家都想要的。你看我收集了這么多的數據,能不能基于這些數據來幫我做下一步的決策,改善我的產品。例如讓用戶看視頻的時候旁邊彈出廣告,正好是他想買的東西;再如讓用戶聽音樂時,另外推薦一些他非常想聽的其他音樂。
用戶在我的應用或者網站上隨便點點鼠標,輸入文字對我來說都是數據,我就是要將其中某些東西提取出來、指導實踐、形成智慧,讓用戶陷入到我的應用里面不可自拔,上了我的網就不想離開,手不停地點、不停地買。
很多人說雙十一我都想斷網了,我老婆在上面不斷地買買買,買了A又推薦B,老婆大人說,“哎呀,B也是我喜歡的啊,老公我要買”。你說這個程序怎么這么牛,這么有智慧,比我還了解我老婆,這件事情是怎么做到的呢?
2數據如何升華為智慧
數據的處理分幾個步驟,完成了才最后會有智慧。
第一個步驟叫數據的收集。首先得有數據,數據的收集有兩個方式:
第一個方式是拿,專業點的說法叫抓取或者爬取。例如搜索引擎就是這么做的:它把網上的所有的信息都下載到它的數據中心,然后你一搜才能搜出來。比如你去搜索的時候,結果會是一個列表,這個列表為什么會在搜索引擎的公司里面?就是因為他把數據都拿下來了,但是你一點鏈接,點出來這個網站就不在搜索引擎它們公司了。比如說新浪有個新聞,你拿百度搜出來,你不點的時候,那一頁在百度數據中心,一點出來的網頁就是在新浪的數據中心了。
第二個方式是推送,有很多終端可以幫我收集數據。比如說小米手環,可以將你每天跑步的數據,心跳的數據,睡眠的數據都上傳到數據中心里面。
第二個步驟是數據的傳輸。一般會通過隊列方式進行,因為數據量實在是太大了,數據必須經過處理才會有用。可系統處理不過來,只好排好隊,慢慢處理。
第三個步驟是數據的存儲。現在數據就是金錢,掌握了數據就相當于掌握了錢。要不然網站怎么知道你想買什么?就是因為它有你歷史的交易的數據,這個信息可不能給別人,十分寶貴,所以需要存儲下來。