到2025年，聯(lián)網(wǎng)設(shè)備的數(shù)量預(yù)計將增加兩倍。相對的，VPS租用 國內(nèi)服務(wù)器，物聯(lián)網(wǎng)也加入了重要的大數(shù)據(jù)源行列，這使得數(shù)據(jù)從業(yè)者可能將注意力轉(zhuǎn)向物聯(lián)網(wǎng)大數(shù)據(jù)中。
物聯(lián)網(wǎng)大數(shù)據(jù)不同于其他大數(shù)據(jù)類型。為了形成一個清晰的畫面，想象一個不斷生成數(shù)據(jù)的傳感器網(wǎng)絡(luò)。例如在制造中，它可以是某一特定機械零件的溫度值，以及振動、潤滑、濕度、壓力等。因此，物聯(lián)網(wǎng)大數(shù)據(jù)是機器生成的，而不是人類創(chuàng)造的。它主要表示數(shù)字流，而不是文本塊。
現(xiàn)在，假設(shè)每個傳感器每秒產(chǎn)生5次測量，總體已經(jīng)安裝了1000個傳感器。而且這種高容量的數(shù)據(jù)是不斷流動的(順便說一下，這種數(shù)據(jù)有一個特殊的名稱——流數(shù)據(jù))。當然，純數(shù)據(jù)收集并不是最終目標，需要的是有價值的見解，其中一些見解盡可能接近實時。如果壓力突然下降到臨界水平，肯定是想在第一時間或者即使性得知，如果時間有所延長，到那時，維護團隊可能已經(jīng)在嘗試修復(fù)損壞的機器單元。
物聯(lián)網(wǎng)大數(shù)據(jù)的存儲，預(yù)處理和分析
當然，最終業(yè)務(wù)目標總是為解決方案的體系結(jié)構(gòu)奠定基礎(chǔ)。然而，物聯(lián)網(wǎng)大數(shù)據(jù)的性質(zhì)在數(shù)據(jù)存儲、預(yù)處理和分析方面留下了印記，所以，讓我們需要仔細看看每個進程的特定特性。
由于必須處理大量以不同格式快速到達的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，香港服務(wù)器租用，傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)無法滿足需求，需要一個數(shù)據(jù)湖和一個大數(shù)據(jù)倉庫。數(shù)據(jù)會分成幾個區(qū)域，比如著陸區(qū)(其原始格式的原始數(shù)據(jù))，暫存區(qū)(基本清潔和過濾后的數(shù)據(jù)應(yīng)用和原始數(shù)據(jù)從其他數(shù)據(jù)源)，以及分析沙箱(數(shù)據(jù)科學(xué)探索活動)。需要一個大數(shù)據(jù)倉庫來從數(shù)據(jù)湖中提取數(shù)據(jù)，進行轉(zhuǎn)換，并以更有組織的方式存儲。
物聯(lián)網(wǎng)大數(shù)據(jù)預(yù)處理
決定是存儲原始數(shù)據(jù)還是已經(jīng)預(yù)處理的數(shù)據(jù)非常重要。事實上，正確回答這個問題是物聯(lián)網(wǎng)大數(shù)據(jù)面臨的挑戰(zhàn)之一。讓我們回到我們的例子中，用一個傳感器每秒傳輸5個溫度值。一種選擇是存儲所有5個讀數(shù)，而另一種選擇是只存儲一個值，例如它們的平均值、中值、模式，每個聚合周期為1秒。為了清楚地可視化這種方法對所需存儲容量的影響，將傳感器的總數(shù)量乘以它們的預(yù)期運行時間，然后乘以它們的讀取頻率。
如果計劃中有一部分是實時洞察，那么仍然可以在不將所有讀數(shù)發(fā)送到數(shù)據(jù)存儲的情況下獲得實時警報。例如，系統(tǒng)能夠攝取整個數(shù)據(jù)流，并且已經(jīng)設(shè)置了觸發(fā)即時警報的臨界閾值或偏差。不過，只有一些經(jīng)過過濾或壓縮的數(shù)據(jù)被發(fā)送到數(shù)據(jù)存儲。
避免數(shù)據(jù)丟失的方法
此外，也有必要提前考慮一下，如果由于某種原因，比如由于傳感器暫時故障或與網(wǎng)關(guān)的連接中斷，讀數(shù)流將會停止。
這里有兩種方法：
使用可靠的魯棒算法來處理數(shù)據(jù)遺漏。
例如，使用多個冗余傳感器來測量相同的參數(shù)。一方面，這增加了可靠性：如果一個傳感器發(fā)生故障，其他傳感器將繼續(xù)發(fā)送讀數(shù)。另一方面，這種方法需要更復(fù)雜的分析，因為傳感器可能會生成稍微不同的值，這些值應(yīng)該由分析算法處理。
物聯(lián)網(wǎng)大數(shù)據(jù)需要兩種類型的分析：批處理和流處理。批量分析在所有大數(shù)據(jù)類型中都是固有的，物聯(lián)網(wǎng)大數(shù)據(jù)也不例外。它廣泛用于對捕獲的數(shù)據(jù)進行復(fù)雜分析，以確定趨勢、相關(guān)性、模式和依賴關(guān)系。批處理分析涉及應(yīng)用于歷史數(shù)據(jù)的復(fù)雜算法和統(tǒng)計模型。
流媒體分析完美地涵蓋了物聯(lián)網(wǎng)大數(shù)據(jù)的所有細節(jié)。它旨在處理在小時間間隔內(nèi)生成的高速數(shù)據(jù)流，并提供近乎實時的見解。對于不同的系統(tǒng)，這個“實時”參數(shù)會有所不同。在某些情況下，它可以用毫秒來測量，而在另一些情況下，它可以用幾分鐘來測量。為了盡可能快地獲得洞察，可以在系統(tǒng)邊緣甚至數(shù)據(jù)流處理器中分析捕獲的數(shù)據(jù)。
物聯(lián)網(wǎng)大數(shù)據(jù)本質(zhì)上是機器生成的、大容量的、流媒體的、特定位置的、特定時間的。大數(shù)據(jù)咨詢實踐證明，在設(shè)計和實現(xiàn)物聯(lián)網(wǎng)解決方案之前考慮這些特性是多么重要。確信，不會希望在短短幾個月內(nèi)耗盡存儲空間，或者僅僅因為解決方案不支持流分析而錯過實時洞察，或者面臨任何其他破壞物聯(lián)網(wǎng)解決方案健壯性的問題。為了避免這種情況，有必要明確短期和長期業(yè)務(wù)需求，并從多個選項中仔細選擇最優(yōu)的大數(shù)據(jù)架構(gòu)和技術(shù)堆棧。
相關(guān)閱讀：
亞馬遜（AMZN.US）與微軟（MSFT.US）競爭美國防部云計算服務(wù) 價值100億美元
熱衷混合云，近半數(shù)金融機構(gòu)還在用傳統(tǒng)數(shù)據(jù)中心
“云”助浙江 浙江省云計算生態(tài)地圖V2.0版正式發(fā)布
