機器學習模型的訓練，通常是通過學習某一組輸入特征與輸出目標之間的映射來進行的。一般來說，對于映射的學習是通過優化某些成本函數，來使預測的誤差最小化。在訓練出最佳模型之后，將其正式發布上線，再根據未來生成的數據生成準確的預測。這些新數據示例可能是用戶交互、應用處理或其他軟件系統的請求生成的——這取決于模型需要解決的問題。在理想情況下，我們會希望自己的模型在生產環境中進行預測時，能夠像使用訓練過程中使用的數據一樣，準確地預測未來情況。

當我們將模型部署到生產中時，往往會假設未來將使用到的數據會類似于過去模型評估期間所使用的數據。具體來說，我們可能會假設，特征和目標的分布將保持相當的恒定。但是這種假設通常不成立。趨勢會隨著時間的推移而變化，人們的興趣會隨著季節的變化而變化，股票市場會起伏不定。因此，我們的模型必須適應這些變化。

世界是持續變化的，因此模型部署應視為一個連續的過程，而不是完成第一次部署之后就扭頭去開展下一個項目。如果機器學習團隊的工程師發現數據分布與原始訓練集的數據分布有明顯出入，則需要重新訓練模型。這個現象——通常被稱為模型漂移（model drift）——可以緩解，但是會帶來額外的開銷，如監視基礎設施、監督和流程等等。

在本文中，筆者想對模型漂移下定義，并討論如何去識別和跟蹤模型漂移。然后，我將描述如何重新訓練模型，來減輕漂移對預測性能的影響，并對應多久重新訓練一次模型做出建議。最后，我將介紹啟用模型重新訓練的幾種方法。

什么是模型漂移？

模型漂移是指，由于環境的變化違反了模型假設，而導致模型的預測性能隨時間而降低。模型漂移有點用詞不當，因為變化的不是模型，而是模型運行的環境。因此，概念漂移（concept drift）一詞實際上可能是一個更好的用詞，不過兩個術語都描述了相同的現象。

請注意，筆者對模型漂移的定義實際上包括幾個可以更改的變量。預測性能將下降，它將在一段時間內以某種速率下降，并且這種下降會歸因于違反建模假設的環境變化。在確定如何診斷模型漂移以及如何通過模型再訓練糾正模型漂移時，應考慮這些變量中的每一個。

如何跟蹤模型漂移？

目前業內已有多種識別和跟蹤模型漂移的技術。在介紹這些技術之前，值得一提的是，并沒有一種萬能的方法。不同的模型問題需要不同的解決方案，您可能有、也可能沒有相應的基礎架構或資源來利用某些技術策略。

模型性能降級

識別模型漂移的最直接方法是明確預測性能是否已下降，同時量化這種下降。測量實時數據上已部署模型的準確性是一個眾所周知的難題。之所以出現這種困難，部分原因是我們需要訪問生成的模型的預測和基本事實信號。出于以下這些原因，這可能無法實現：

·預測的數據在生成后沒有存儲——別讓這種事發生在你身上。

·預測已存儲，但是您無法訪問基本事實標簽。

·預測和標簽均可用，但不能結合在一起。

即使預測和標簽可以合并在一起，也可能需要一段時間才能使用標簽。例如一個可以預測下一季度收入的財務預測模型。在這種情況下，只有在該季度過去之后才能觀察到實際收入，所以直到那個時候你才能夠量化模型的效果。在此類預測問題中， 回填預測（即訓練模型，并根據過去的歷史數據生成預測）可以幫助您了解模型性能下降的速度。

正如Josh Wills 指出的那樣，在部署模型之前您可以做的最重要的事情之一就是試圖了解離線環境中的模型漂移。數據科學家應想辦法回答以下問題：“如果我使用六個月前的數據對這組特征進行訓練，并將其應用于今天生成的數據，那么這個模型比我一個月前未經訓練而創建并應用到今天的模型差多少呢?”。離線執行此分析，您可以估計模型性能下降的速度以及需要重新訓練的頻率。當然，這種方法的前提是要有一臺“時光機”來訪問過去任何時候的實時數據。

檢查訓練和實時數據的特征分布

由于隨著輸入特征的分布逐漸偏離訓練數據的分布，模型性能會下降，因此比較這些分布是推斷模型漂移的好方法。請注意，這里說的是推斷而不是檢測模型漂移，因為我們沒有觀察到預測性能的實際下降，而是“預計”會出現下降。在由于數據生成這一過程的性質，而無法觀察到實際基本事實的情況下，這會非常有用。

每個特征需要監視許多不同的東西，包括：

·可能值的范圍

·值直方圖

·該功能是否接受NULL，如果是，則預期的NULL數量