在搭建大數據分析平臺之前，需要明確業務需求場景和用戶需求，通過大數據分析平臺，獲取哪些有價值的信息，訪問哪些數據，以及基于場景業務需求的大數據平臺的基本功能，從而確定平臺搭建過程中使用的大數據處理工具和框架。數據采集看似簡單，但需要掌握業務對問題的理解，并將其轉化為數據問題來解決。說白了就是需要什么數據，從哪個角度去分析定義問題，然后再進行數據采集。從技術上講，它的特點是對海量數據進行分布式數據挖掘。但它必須依靠云計算的分布式處理、分布式數據庫、云存儲和虛擬化技術。
一、大數據預處理
大數據預處理，指的是在進行數據分析之前，先對采集到的原始數據所進行的諸如“清洗、填補、平滑、合并、規格化、一致性檢驗”等一系列操作，旨在提高數據質量，為后期分析工作奠定基礎。數據預處理主要包括四個部分：數據清理、數據集成、數據轉換、數據規約。
1.數據集成：是指將不同數據源中的數據，合并存放到統一數據庫的，存儲方法，著重解決三個問題：模式匹配、數據冗余、數據值沖突檢測與處理。
2.數據規約：是指在最大限度保持數據原貌的基礎上，最大限度精簡數據量，以得到較小數據集的操作，包括：數據方聚集、維規約、數據壓縮、數值規約、概念分層等。
3.數據清理：指利用ETL等清洗工具，對有遺漏數據(缺少感興趣的屬性)、噪音數據(數據中存在著錯誤、或偏離期望值的數據)、不一致數據進行處理。
4.數據轉換：是指對所抽取出來的數據中存在的不一致，進行處理的過程。它同時包含了數據清洗的工作，即根據業務規則對異常數據進行清洗，以保證后續分析結果準確性。
二、大數據分析挖掘：從可視化分析、數據挖掘算法、預測性分析、語義引擎、數據質量管理等方面，對雜亂無章的數據，進行萃取、提煉和分析的過程。
FineBI（可選）：你可以把它視作為可視化工具，因為它里面自帶幾十種常用圖表，以及動態效果；你也可以把它作為報表工具，因為它能接入各種OA、ERP、CRM等系統數據，不寫代碼不寫SQL就能批量化做報表。你還可以把它看作數據分析工具，其內置等常見的數據分析模型、以及各式圖表，可以借助FineBI做一些探索性的分析。
FineReport（可選）：可以直接和數據庫交互（數據導出+填入數據），能連接各系統的數據，能高效率批量做報表，展現，交互分析，可視化大屏，并做到辦公協同，FineReport無愧是大數據報表領域的佼佼者。
1、數據挖掘算法：數據挖掘算法，即通過創建數據挖掘模型，而對數據進行試探和計算的，數據分析手段。它是大數據分析的理論核心。數據挖掘算法多種多樣，且不同算法因基于不同的數據類型和格式，會呈現出不同的數據特點。但一般來講，創建模型的過程卻是相似的，即首先分析用戶提供的數據，然后針對特定類型的模式和趨勢進行查找，并用分析結果定義創建挖掘模型的最佳參數，并將這些參數應用于整個數據集，以提取可行模式和詳細統計信息。
2、語義引擎：由于非結構化數據的多樣性帶來了數據分析的新的挑戰，因此就需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。這樣有利于解決由于數據多樣性帶來的結果的不準確性。
3、可視化分析：可視化分析，指借助圖形化手段，清晰并有效傳達與溝通信息的分析手段。主要應用于海量數據關聯分析，即借助可視化數據分析平臺，對分散異構數據進行關聯分析，并做出完整分析圖表的過程。具有簡單明了、清晰直觀、易于接受的特點。
4、數據質量管理：指對數據全生命周期的每個階段（計劃、獲取、存儲、共享、維護、應用、消亡等）中可能引發的各類數據質量問題，進行識別、度量、監控、預警等操作，以提高數據質量的一系列管理活動。
5、預測性分析：預測性分析，是大數據分析最重要的應用領域之一，通過結合多種高級分析功能（特別統計分析、預測建模、數據挖掘、文本分析、實體分析、優化、實時評分、機器學習等），達到預測不確定事件的目的。幫助分用戶析結構化和非結構化數據中的趨勢、模式和關系，并運用這些指標來預測將來事件，為采取措施提供依據。
三、大數據采集：大數據采集，即對各種來源的結構化和非結構化海量數據，所進行的采集。
1.文件采集：包括實時文件采集和處理技術flume、基于ELK的日志采集和增量采集等等。
2.網絡數據采集：一種借助網絡爬蟲或網站公開API，從網頁獲取非結構化或半結構化數據，并將其統一結構化為本地數據的數據采集方式。
3.數據庫采集：流行的有Sqoop和ETL，傳統的關系型數據庫MySQL和Oracle 也依然充當著許多企業的數據存儲方式。當然了，目前對于開源的Kettle和Talend本身，也集成了大數據集成內容，可實現hdfs，hbase和主流Nosq數據庫之間的數據同步和集成。
四、大數據存儲：大數據存儲，指用存儲器，以數據庫的形式，存儲采集到的數據的過程，包含三種典型路線：
1、大數據一體機：這是一種專為大數據的分析處理而設計的軟、硬件結合的產品。它由一組集成的服務器、存儲設備、操作系統、數據庫管理系統，以及為數據查詢、處理、分析而預安裝和優化的軟件組成，具有良好的穩定性和縱向擴展性。
2、基于MPP架構的新型數據庫集群：采用Shared Nothing架構，結合MPP架構的高效分布式計算模式，通過列存儲、粗粒度索引等多項大數據處理技術，重點面向行業大數據所展開的數據存儲方式。具有低成本、高性能、高擴展性等特點，在企業分析類應用領域有著廣泛的應用。較之傳統數據庫，其基于MPP產品的PB級數據分析能力，有著顯著的優越性。自然，MPP數據庫，也成為了企業新一代數據倉庫的最佳選擇。
3、基于Hadoop的技術擴展和封裝：基于Hadoop的技術擴展和封裝，是針對傳統關系型數據庫難以處理的數據和場景（針對非結構化數據的存儲和計算等），利用Hadoop開源優勢及相關特性（善于處理非結構、半結構化數據、復雜的ETL流程、復雜的數據挖掘和計算模型等），衍生出相關大數據技術的過程。伴隨著技術進步，其應用場景也將逐步擴大，目前最為典型的應用場景：通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐，其中涉及了幾十種NoSQL技術。租用服務器可咨詢夢飛云idc了解。
