世界上 90% 的數(shù)據(jù)是自 2016 年以來生成的。企業(yè)、政府機(jī)構(gòu)和消費者生成的數(shù)據(jù)量繼續(xù)呈指數(shù)級增長。根據(jù)市場情報公司 IDC的數(shù)據(jù)，到 2020 年，全球存儲了超過 40 萬億千兆字節(jié)的數(shù)據(jù)。

企業(yè)及其客戶生成的大部分?jǐn)?shù)據(jù)都包含有價值的信息。但只有擁有分析大量數(shù)據(jù)的基礎(chǔ)設(shè)施、軟件和專業(yè)知識的公司才能提取該價值。在本文中，我們將了解什么是大數(shù)據(jù)以及企業(yè)用來從中提取有價值見解的軟件和硬件。

什么是大數(shù)據(jù)？

大數(shù)據(jù)沒有精確的技術(shù)定義。我們可能會將大數(shù)據(jù)視為超出企業(yè)在消費者計算機(jī)和小型服務(wù)器上存儲和處理內(nèi)部能力的任何數(shù)據(jù)集合。對于小型企業(yè)來說可能是幾 TB，對于大型企業(yè)組織來說可能是很多 PB（1 PB 是 1,024 TB）。

一種可能的定義是根據(jù)“五個 V”對大數(shù)據(jù)進(jìn)行分類。它們是速度、數(shù)量、價值、多樣性和準(zhǔn)確性。容量是指有多少數(shù)據(jù)。速度是指數(shù)據(jù)生成的速度；大型企業(yè)每天可能產(chǎn)生數(shù) TB 的數(shù)據(jù)。多樣性是指大數(shù)據(jù)可能包含多種類型的數(shù)據(jù)，通常是非結(jié)構(gòu)化的。

企業(yè)收集盡可能多的數(shù)據(jù)，希望對其進(jìn)行分析以獲得有用的見解。例如，他們可能希望對銷售數(shù)據(jù)執(zhí)行同期群分析，以發(fā)現(xiàn)哪些客戶群體具有最高的生命周期價值。為此，他們需要收集、轉(zhuǎn)換和分析盡可能多的銷售數(shù)據(jù)。

什么是大數(shù)據(jù)分析的最佳工具？

有許多專為加速大數(shù)據(jù)分析而設(shè)計的專業(yè)工具。他們高效地存儲數(shù)據(jù)并使用優(yōu)化算法（如 MapReduce）快速處理大量數(shù)據(jù)。它們經(jīng)過精心設(shè)計，可以充分利用可用的硬件。

最受歡迎的大數(shù)據(jù)工具包括：

• Hadoop，一個分布式存儲和處理大量數(shù)據(jù)的框架。
• Cassandra，最初由 Facebook 開發(fā)的分布式 NoSQL 數(shù)據(jù)庫。
• Apache Spark是一種分布式大數(shù)據(jù)處理框架，被金融機(jī)構(gòu)、電信公司、政府以及 Facebook 和 Google 等科技企業(yè)廣泛使用。
• ElasticSearch，一種分布式搜索和分析引擎，用于從企業(yè)搜索引擎到基礎(chǔ)設(shè)施監(jiān)控和安全分析的一切。
• Knime，一個包含機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具的數(shù)據(jù)分析平臺。

也可以使用主流的關(guān)系數(shù)據(jù)庫工具，如 MySQL 和 PostgreSQL 進(jìn)行大數(shù)據(jù)分析，這取決于所涉及的數(shù)據(jù)量和類型。

大數(shù)據(jù)集群與單服務(wù)器

您可能已經(jīng)注意到，上一節(jié)中的工具描述通常包含“分布式”一詞。那是因為大數(shù)據(jù)工具期望部署在不止一臺服務(wù)器上。他們可以管理許多服務(wù)器的資源以快速處理大量數(shù)據(jù)。例如，Hadoop 明確設(shè)計為在數(shù)十個或數(shù)百個連接在一起的集群中的單獨服務(wù)器上運行。

但是，不會強(qiáng)制用戶在多個服務(wù)器上進(jìn)行部署。對于較小的大數(shù)據(jù)分析目的，一個功能強(qiáng)大的專用服務(wù)器可能就足夠了。還可以啟動虛擬機(jī)集群以充當(dāng)高規(guī)格專用服務(wù)器上的 Hadoop 或 Cassandra 節(jié)點。許多企業(yè)將專用服務(wù)器集群匯集在一起??，作為私有云中的資源池。然后，他們可以有效地管理和分配基礎(chǔ)架構(gòu)資源，以在其私有云上啟動多個大數(shù)據(jù)分析項目。企業(yè)大數(shù)據(jù)基礎(chǔ)架構(gòu)的最佳架構(gòu)取決于所涉及的數(shù)據(jù)量、可擴(kuò)展性和冗余性要求以及您將運行的軟件。

為大數(shù)據(jù)分析優(yōu)化服務(wù)器

在為大數(shù)據(jù)分析選擇和優(yōu)化服務(wù)器時，需要牢記幾個因素。

• 您會將大量數(shù)據(jù)傳輸?shù)椒?wù)器進(jìn)行處理。
• 如果您使用集群，則背板（服務(wù)器之間的連接）必須能夠處理大量數(shù)據(jù)。
• 大數(shù)據(jù)工具針對并行執(zhí)行進(jìn)行了優(yōu)化，在每個服務(wù)器上使用多個線程并在多個服務(wù)器之間分配工作。
• 許多大數(shù)據(jù)工具（盡管不是全部）都針對內(nèi)存處理進(jìn)行了優(yōu)化，這通常比基于磁盤的處理要快得多。

沒有適用于大數(shù)據(jù)的通用服務(wù)器托管解決方案。成本和能力的理想交集取決于每個項目的具體情況。但是我們可以在這里給出一些一般性的指導(dǎo)。

網(wǎng)絡(luò)

您將向服務(wù)器寫入大量數(shù)據(jù)，通常來自第三方服務(wù)或數(shù)據(jù)中心。如果網(wǎng)絡(luò)接口沒有足夠的容量，網(wǎng)絡(luò)可能成為瓶頸。如果您希望定期向服務(wù)器發(fā)送大量數(shù)據(jù)，我們建議至少使用 1 Gbps 或更多。

為了最大限度地降低數(shù)據(jù)成本，請選擇提供接近您期望傳輸?shù)臄?shù)據(jù)量的自定義帶寬包的提供商。我們提供從每月 20 TB 到每月 1000 TB 不等的套餐，為具有大量數(shù)據(jù)傳輸需求的客戶提供不限帶寬。

貯存

您的服務(wù)器應(yīng)該有足夠的存儲空間來存儲您打算分析的數(shù)據(jù)，并有足夠的緩沖區(qū)來存儲分析過程中生成的中間數(shù)據(jù)。快速存儲是更可取的，但通常不需要為服務(wù)器配備數(shù) TB 的 SSD 存儲。旋轉(zhuǎn)硬盤驅(qū)動器速度較慢且價格較低，但可能足以滿足您的目的。

您選擇哪種取決于您的數(shù)據(jù)的特定要求，但您必須能夠存儲您希望在每個時期分析的所有數(shù)據(jù)。Spark 和 Hadoop 都適用于多個驅(qū)動器。

記憶

就 RAM 而言，越多越好。大數(shù)據(jù)分析應(yīng)用程序?qū)⑾谋M可能多的 RAM。Spark 和 Couchbase 等工具更喜歡在內(nèi)存中進(jìn)行計算，如果它們不必因為內(nèi)存不足而讀寫存儲，那么處理速度會快得多。

對于生產(chǎn)工作負(fù)載，最好使用 64 GB 或更多的服務(wù)器，盡管沒有通用公式。考慮到您的預(yù)期工作量和預(yù)算，我們的顧問可以為您提供適當(dāng)數(shù)量的 RAM 的建議。

處理器

Spark 等大數(shù)據(jù)分析工具將處理劃分到多個線程，這些線程在機(jī)器的可用內(nèi)核中并行執(zhí)行。例如，Spark 建議每臺服務(wù)器至少有 8-16 個核心，并且根據(jù)負(fù)載可能需要更多。針對更多核心進(jìn)行優(yōu)化比針對數(shù)量較少但功能更強(qiáng)大的核心進(jìn)行優(yōu)化會帶來更好的性能。

總之

大數(shù)據(jù)分析服務(wù)器的理想規(guī)格取決于您的業(yè)務(wù)需要分析的數(shù)據(jù)量和速度。我們的服務(wù)器托管平臺提供范圍廣泛的自定義選項，因此您可以選擇最適合您的需求和預(yù)算的服務(wù)器或服務(wù)器集群。要與我們的服務(wù)器托管專家討論哪種服務(wù)器托管適合您的大數(shù)據(jù)分析項目，請在此頁面的聊天窗口中開始對話，或通過電話或電子郵件聯(lián)系我們進(jìn)行免費的初步咨詢。