關于大數據的討論,一方面人們需要厘清大數據的概念,開發適用的大數據系統和工具,探索大數據的應用模式等,另一方面人們更關心如何將大數據的價值變現。這對于一個企業來說尤其重要,否則,收集和存儲了大量的數據,消耗了大量的錢財,如果大數據不能被很好地利用,從經濟上講就是不合算的,深圳論壇空間 香港主機,這樣的事情也不會長遠。
大數據價值的發現與其所處的應用場景密切相關。概括起來,大數據價值發現可以劃分為三大類:數據服務、數據分析和數據探索。數據服務是面向大規模用戶,提供高性能的數據查詢、檢索、預測等服務,通過直接滿足用戶需求而將數據價值變現的形式;數據分析是分析人員利用經驗,通過對大規模數據使用特定的計算模型進行較為復雜的運算,從而發現易于人們理解的數據模式或規律所進行的數據價值變現的一種運算形式;數據探索是一種利用數據分析和人機交互的結合,通過不斷揭示數據的規律和數據間的關聯,引導分析人員發現并認識其所未知的數據模式或規律,其價值更多地體現在對未知途徑的數據模式和規律的探索。
1.數據服務
數據服務針對用戶非常明確的數據查詢和處理任務,以高性能和高吞吐量的方式實現大眾化的服務,是數據價值最重要也是最直接的發現方式。由于要處理大眾化的服務請求,每個服務任務必須能夠被快速地處理掉,因此,數據服務的單個任務負載不能過于復雜,單任務直接處理的數據不能太大,任務對應的用戶需求和采用的數據處理方法必須是明確的。一些典型的數據服務包括事務處理、數據查詢、信息檢索、數據預測。
事務處理是傳統數據庫范疇的價值發現形式,它針對的主要是任務關鍵型的數據服務,如銀行記賬、商業交易等; 數據查詢主要是面向快速查找或修改數據的服務需求,它比事務處理更簡單,對數據一致性要求沒那么強,但對服務的吞吐量要求非常高;信息檢索是指從大規模的數據集中快速查找滿足用戶需求的資料或數據片段的過程;數據預測和數據分類被很多人認為是一種數據分析任務,其實,很多針對個體的數據預測和分類任務實際上是一種數據服務,馬來西亞主機 日本服務器,它使用數據分析得來的預測模型,對個體數據實例進行預測,從而能夠高并發地為大規模用戶提供分類和預測服務,進而更好地體現出數據的價值。
2.數據分析
數據分析是指用適當的統計分析方法對大量數據進行分析或建模,提取有用信息并形成結論,進而輔助人們決策的過程。在這個過程中,用戶會有一個明確的目標,通過“數據清理、轉換、建模、統計”等一系列復雜的操作,獲得對數據的洞察,從而協助用戶進行決策。常見的數據分析任務又可以被進一步劃分為描述型分析、診斷型分析、預測型分析、策略型分析。
描述型分析的主要特點是對數據代表的含義進行描述性的揭示,通過數據統計分析揭示數據隱含的現象,從而幫助人們更好地進行決策。
診斷型分析主要用來揭示一些現象背后的成因,因此,它比描述型分析更深入。很多數據挖掘方法與診斷型分析密切相關。比如相關性分析和因果關系的分析等,都是想通過對數據的深度分析揭示描述型分析所發現的某些現象背后的成因。
預測型分析主要是使用機器學習技術,對現有的大數據進行深度分析,構建數據預測和分類的模型,從而更好地支持數據預測和分類服務。
策略型分析也稱指導型分析,是在分析過程中減少甚至排除人的參與,在給定目標的驅動下,直接幫助人們找到好的策略,作用于大數據應用,使得未來數據指標能夠按照設想的某些趨勢發展。它是數據分析的高級階段,更能發揮出大數據的價值。
總之,數據分析一般基于大量數據和較為復雜的運算模型,其結果信息量通常很大,適用于宏觀決策。而對于細節層面信息的獲取,數據分析缺乏如索引和訪問控制等方面的技術支持。如何在一個平臺上,既支持宏觀的分析,也支持細節的分析,是當今一個挑戰的技術難題。
3.數據探索
數據探索是指針對目標可變、持續、多角度的搜索或分析任務,其搜索過程是有選擇、有策略和反復進行的。它將以找到信息為目的的傳統信息檢索模式變為以發現、學習和決策為目的的信息搜尋模式。這樣的搜索模式結合了大量的數據分析與人機交互過程,適合于人們從數據中發現和學習更多的內容和價值。
對于數據探索,用戶可以在微觀層面(數據搜索)和宏觀層面(數據分析)之間進行自由切換,用交互式的方式探索并發現數據的價值。