無論是基于規則匹配的策略，還是基于復雜的安全分析模型，安全設備產生的告警都存在大量誤報，這是一個相當普遍的問題。其中一個重要的原因是每個客戶的應用場景和數據都多多少少有不同的差異，基于固定判斷規則對有統計漲落的數據進行僵化的判斷，很容易出現誤判。

在沒有持續人工干預和手動優化的情況下，策略和模型的誤報率不會隨著數據的積累而有所改進。也就是說安全分析人員通過對告警打標簽的方式，可以將專業經驗傳授給智能算法，自動得反饋到策略和模型當中，使之對安全事件做出更精準的判斷。本文介紹利用專家經驗持續優化機器學習的方法，對告警數據進行二次分析和學習，從而顯著地降低安全威脅告警的誤報率。

為了降低誤報率，當前大體上有兩種技術途徑：

根據不同客戶的各種特定情況修正策略和模型，提高策略或者模型的適應能力；

定期（如每月一次）對告警進入二次人工分析，根據分析結果來調整策略和模型的參數配置。

這兩種方法對降低誤報率都有一定的作用。但是第一種沒有自適應能力，是否有效果要看實際情況。第二種效果會好一些，但是非常耗時耗力，而且由于是人工現場干預和調整策略和模型，出錯的概率也非常高。

MIT的研究人員[1] 介紹了一種將安全分析人員標記后的告警日志作為訓練數據集，令機器學習算法學習專家經驗，使分析算法持續得到優化，實現自動識別誤報告警，降低誤報率的方法（以下簡稱“標簽傳遞經驗方法”）。這種把安全分析人員的專業智能轉化成算法分析能力的過程，會讓分析算法隨著數據的積累而更加精確。繼而逐漸擺脫人工干預，提高運維效率。如下圖所示：

下面我們通過基于“頻繁訪問安全威脅告警”模擬的場景數據來介紹一下實現機制。

什么是頻繁訪問模型？邏輯比較簡單：一段時間內（比如1分鐘），一個攻擊者對系統的訪問次數顯著高于普通訪問者的次數。此告警規則可以用簡單的基于閾值，或者是利用統計分布的離異概率。基于此，我們先模擬一些已經被安全分析人員打過標簽的告警數據。根據實際應用經驗，我們盡量模擬非常接近實際場景的數據。如下圖：

關于模擬數據的介紹：

總共模擬了20天的告警數據，從2017-01-01到2017-01-20。前10天的數據用來訓練模型，后10天的數據用來衡量模型的表現；

每個告警帶有是否誤報的標簽。紅色代表誤報，德國機房主機 波蘭服務器，藍色代表準確告警。

關于模擬數據的假設：

誤報聚集在某個時間段，模擬數據假設的范圍是18:00-19:00。在安全運維實踐中，的確存在某個特定的時間段，由于業務邏輯或者系統原因導致誤報增多的現象。所以上述假設是合理的，告警時間可以作為有效的特征值。但并不是所有的誤報都聚集在這個時間段，同時并不是這個時間段的所有告警都是誤報；

誤報大多來自于一批不同的IP。所以訪問來源IP也是有用的特征值；

任何數據都不是完美的，所以在模擬數據中加入了~9%的噪音。也就是說再完美的智能模型，誤報率也不會低于9%。

這些假設在實際的應用場景中也是相對合理的。如果誤報是完全隨機產生的，那么再智能的模型也不能夠捕捉到誤報的提出信號。所以這些合理的假設幫助我們模擬真實的數據，并且驗證我們的機器學習模型。

簡要模擬數據的代碼實現：

下圖顯示利用PCA降維分析的可視化結果，可以看到明顯的分類情況：

紅色代表誤報，藍色代表正確告警。基于設定特征值的降維分析可以得到兩個聚集，即誤報和非誤報有明顯的區分的，也就是說誤報的是有一定規律，不是完全隨機的，因此是可以被機器學習捕捉到的。

簡要代碼實現：

基于模擬數據，歐洲主要代理 德國服務器，我們想要達到的目的是通過持續的強化機器學習能夠降低誤報率。所以我們采取的策略是：

訓練一天的數據2017-01-01，測試10天的數據2017-01-11到2017-01-20；

訓練兩天的數據2017-01-01到2017-01-02，測試10天的數據2017-01-11到2017-01-20；

以此類推，來看通過學習越來越多的數據，在測試數據中的誤報率是否能夠得到不斷的改進。

簡要代碼如下：