阿里妹導讀：互聯網的飛速發展促進了很多新媒體的發展，不論是知名的大V，明星還是圍觀群眾都可以通過手機在微博、朋友圈或者點評網站上發表動態，分享自己的所見所想，使得“人人都有了麥克風”。不論是熱點新聞還是娛樂八卦，傳播速度遠超我們的想象，一則信息可以在短短數分鐘內，有數萬計轉發，數百萬的閱讀。海量信息可以得到爆炸式的傳播，那么如何實時把握信息并作出對應的處理呢?是不是真的難以應對?今天，阿里云智能事業群的宇珩來跟我們聊聊大數據輿情系統對數據存儲和計算系統會有哪些需求，如何根據需求來進行系統設計。

大數據時代下，除了媒體信息以外，商品在各類電商平臺的訂單量、用戶的購買評論，都會對后續的消費者產生很大的影響。商家的產品設計者需要匯總統計和分析各類平臺的數據做為依據，決定后續的產品發展，公司的公關和市場部門也需要根據輿情作出相應的及時處理，而這一切也意味著傳統的輿情系統升級成為大數據輿情采集和分析系統。具體細化看下大數據輿情系統，對我們的數據存儲和計算系統提出了以下需求：

海量原始數據的實時入庫：為了實現一整套輿情系統，需要有上游原始輸出的采集，也就是爬蟲系統。爬蟲需要采集各類門戶，自媒體的網頁內容。在抓取前需要去重，抓取后還需要分析提取，例如進行子網頁的抓取。

原始網頁數據的處理：不論是主流門戶還是自媒體的網頁信息，抓取后我們需要做一定的數據提取，把原始的網頁內容轉化為結構化數據，例如文章的標題，摘要等，如果是商品點評類消息也需要提取有效的點評。

結構化數據的輿情分析：當各類原始輸出變成結構化的數據后，我們需要有一個實時的計算產品把各類輸出做合理的分類，進一步對分類后的內容進行情感打標。根據業務的需求這里可能會產生不同的輸出，例如品牌當下是否有熱點話題，輿情影響力分析，轉播路徑分析，參與用戶統計和畫像，輿論情感分析或者是否有重大預警。

輿情分析系統中間和結果數據的存儲，交互分析查詢：從網頁原始數據清洗到最終的輿情報表這中間會產生很多類型的數據。這些數據有的會提供給數據分析同學進行輿情分析系統的調優，有的數據會提供給業務部門根據輿情結果進行決策。這些查詢可能會很靈活，需要我們的存儲系統具備全文檢索，多字段組合靈活的交互分析能力。

重大輿情事件的實時預警：對于輿情的結果除了正常的搜索和展示需求以外，當有重大事件出現我們需要能做到實時的預警。

本文主要是提供架構設計，會先介紹時下主流的大數據計算架構，并分析一些優缺點，然后引入輿情大數據架構。

系統設計

需求分析

結合文章開頭對輿情系統的描述，海量大數據輿情分析系統流程圖大體如下：

圖1 輿情系統業務流程

原始網頁存儲庫，這個庫需要能支持海量數據，低成本，低延時寫入。網頁數據寫入后，要做實時結構化提取，提取出來的數據再進行降噪，分詞，圖片ocr處理等。對分詞文本，圖片進行情感識別產生輿情數據結果集。傳統的離線全量計算很難滿足輿情系統的時效性需求。

計算引擎在做數據處理時，可能還需要從存儲庫中獲取一些元數據，例如用戶信息，情感詞元數據信息等。

除了實時的計算鏈路，對存量數據定期要做一些聚類，優化我們的情感詞識別庫，或者上游根據業務需要觸發情感處理規則更新，根據新的情感打標庫對存量數據做一次輿情計算。

輿情的結果數據集有不同類的使用需求。對于重大輿情，需要做實時的預警。完整的輿情結果數據展示層需要支持全文檢索，靈活的屬性字段組合查詢。業務上可能根據屬性字段中的置信度，輿情時間，或者關鍵詞組合進行分析。

根據前面的介紹，輿情大數據分析系統需要兩類計算，一類是實時計算，包括海量網頁內容實時抽取，情感詞分析并進行網頁輿情結果存儲。另一類是離線計算，系統需要對歷史數據進行回溯，國內服務器，結合人工標注等方式優化情感詞庫，對一些實時計算的結果進行矯正等。所以在系統設計上，需要選擇一套既可以做實時計算又能做批量離線計算的系統。在開源大數據解決方案中，Lambda架構恰好可以滿足這些需求，下面我們來介紹下Lambda的架構。

Lambda架構 (wiki)