大數據的挖掘和處理
傳統的數據方法，不管是傳統的 OLAP技術還是數據挖掘技術，都難以應付大數據的挑戰。首先是執行效率低。傳統數據挖掘技術都是基于集中式的底層軟件架構開發，難以并行化，因而在處理 TB級以上數據的效率低。其次是數據分析精度難以隨著數據量提升而得到改進，特別是難以應對非結構化數據。在人類全部數字化數據中，僅有非常小的一部分(約占總數據量的1%)數值型數據得到了深入分析和挖掘(如回歸、分類、聚類)，大型互聯網企業對網頁索引、社交數據等半結構化數據進行了淺層分析(如排序)，占總量近60%的語音、圖片、視頻等非結構化數據還難以進行有效的分析。
大數據的意義和前景
所以大數據分析技術的發展需要在兩個方面取得突破，一是對體量龐大的結構化和半結構化數據進行高效率的深度分析，挖掘隱性知識，如從自然語言構成的文本網頁中理解和識別語義、情感、意圖等;二是對非結構化數據進行分析，將海量復雜多源的語音、圖像和視頻數據轉化為機器可識別的、具有明確語義的信息，進而從中提取有用的知識。
大數據的特點
科學技術及互聯網的發展，推動著大數據時代的來臨，各行各業每天都在產生數量巨大的數據碎片，數據計量單位已從從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數據時代數據的采集也不再是技術問題，只是面對如此眾多的數據，我們怎樣才能找到其內在規律。
大數據的應用
總的來說，大數據是對大量、動態、能持續的數據，通過運用新系統、新工具、新模型的挖掘，從而獲得具有洞察力和新價值的東西。以前，面對龐大的數據，我們可能會一葉障目、可見一斑，因此不能了解到事物的真正本質，從而在科學工作中得到錯誤的推斷，而大數據時代的來臨，一切真相將會展現在我么面前。
大數據的采集
數據量大、數據種類多、要求實時性強、數據所蘊藏的價值大。在各行各業均存在大數據，但是眾多的信息和咨詢是紛繁復雜的，我們需要搜索、處理、分析、歸納、總結其深層次的規律。
大數據可應用于各行各業，將人們收集到的龐大數據進行分析整理，實現資訊的有效利用。舉個本專業的例子，比如在奶牛基因層面尋找與產奶量相關的主效基因，我們可以首先對奶牛全基因組進行掃描，盡管我們獲得了所有表型信息和基因信息，但是由于數據量龐大，這就需要采用大數據技術，進行分析比對，挖掘主效基因。例子還有很多。
大數據必然無法用人腦來推算、估測，云服務器租用，或者用單臺的計算機進行處理，必須采用分布式計算架構，依托云計算的分布式處理、分布式數據庫、云存儲和虛擬化技術，云主機，因此，大數據的挖掘和處理必須用到云技術。
大數據，又稱巨量資料，指的是所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。
