如何在 IT 監(jiān)控中建立可持續(xù)的 ML/AI 實踐

隨著越來越多的人在家工作以及 IT 基礎(chǔ)架構(gòu)的日益復(fù)雜，了解利用機(jī)器學(xué)習(xí) (ML) 和人工智能 (AI) 改進(jìn) IT 運(yùn)營的最佳方法非常重要。ML 和 AI 已承諾給 IT 運(yùn)營帶來顛覆性變化，許多組織已經(jīng)決定采用人工智能進(jìn)行 IT 運(yùn)營 (AIOps) 或很快采用。然而，實施和部署 AIOps 仍然非常具有挑戰(zhàn)性。在這里，我們想提供一些技巧來確保成功實施 AIOps。

如何保證 AIOps 的成功實施？

提示 1：數(shù)據(jù)是金

ML 和 AI 都以對數(shù)據(jù)的渴望而聞名。沒有辦法高估數(shù)據(jù)對成功實施 AIOps 的重要性。IT 監(jiān)控工具都包含豐富的設(shè)備和事件指標(biāo)，但數(shù)字資產(chǎn)庫存、組織結(jié)構(gòu)和工作流信息等其他數(shù)據(jù)可以顯著增強(qiáng) AIOps 的有效性。

提示 2：數(shù)據(jù)質(zhì)量仍然很重要

就像數(shù)據(jù)的數(shù)量一樣，數(shù)據(jù)的質(zhì)量同樣重要。盡管 ML 和 AL 模型比傳統(tǒng)的分析方法更能容忍噪聲，但“garbage in,garbage out”這句老話在大多數(shù)情況下仍然成立。虛假的警報、過時的信息和雜亂無章的數(shù)據(jù)只會帶來更多的混亂而不是清晰。數(shù)據(jù)質(zhì)量，例如準(zhǔn)確的時間戳和新鮮度，可以為總體 AIOps 旅程奠定良好的基礎(chǔ)。

技巧 3：區(qū)分實時和非實時分析

組織數(shù)據(jù)的一個技巧是將實時數(shù)據(jù)與非實時數(shù)據(jù)區(qū)分開來。與批處理相比，實時分析需要一整套不同的管道來處理，因此一般來說，在存儲、處理和預(yù)測方面將實時數(shù)據(jù)與非實時數(shù)據(jù)分開是一種很好的做法。當(dāng)實時數(shù)據(jù)過時時，可以將其合并為非實時數(shù)據(jù)，為最新的實時數(shù)據(jù)留出空間。

提示 4：特征工程與模型訓(xùn)練同樣重要

特征工程是通過附加標(biāo)簽、應(yīng)用不同維度的分類或分組、或應(yīng)用 PCA（主成分分析）等為數(shù)據(jù)帶來更多結(jié)構(gòu)的工作。雖然特征工程不直接生成預(yù)測，但它帶來的結(jié)構(gòu)數(shù)據(jù)集將極大地影響模型訓(xùn)練的效率、訓(xùn)練模型的有效性以及模型的迭代速度。

提示 5：人類經(jīng)驗仍然很重要，但需要編纂

機(jī)器學(xué)習(xí)和人工智能非常強(qiáng)大，但它們并不能取代人類智能。相反，它們的定位是增強(qiáng)人類智能。IT行業(yè)積累了大量的最佳實踐，在歷史上曾多次拯救過我們。這種人類知識的最佳實踐一旦被編纂，對于 ML 和 AI 模型來說是學(xué)習(xí)和放大的寶貴資產(chǎn)。

技巧 6：從較少的因素開始，逐漸增加復(fù)雜性

許多高級機(jī)器學(xué)習(xí)模型可以考慮大量因素并構(gòu)建非常復(fù)雜的模型。有了這種“超級大國”的便利，人們往往傾向于將盡可能多的數(shù)據(jù)轉(zhuǎn)儲到機(jī)器中，然后讓機(jī)器來處理海量的數(shù)據(jù)。然而，更多的數(shù)據(jù)并不總是等于更好的結(jié)果。沒有紀(jì)律地將數(shù)據(jù)轉(zhuǎn)儲到機(jī)器模型中只能產(chǎn)生復(fù)雜的信號。建議從 PCS 認(rèn)為最重要的簡單模型和限制因素開始。簡單的模型可以揭示監(jiān)測的主要趨勢，并且很容易被人腦所理解。通過一小部分因素獲得的洞察力，可以通過添加更多因素或與另一個模型連接以進(jìn)行更高級的分析來增強(qiáng)模型。

技巧 7：不要依賴一個模型，而是并行運(yùn)行多個模型

沒有一種模型是萬能的。一些模型擅長信息簡化，而另一些模型可能擅長信息增強(qiáng)。不同的模型可以從同一組數(shù)據(jù)中獲得不同的見解。訓(xùn)練和部署多個模型有助于提供 360 度數(shù)據(jù)視圖。不要建立一個包含所有因素的巨型模型，而是建立一個由小模型組成的森林，它們共同可以更強(qiáng)大且更易于管理。

提示 8：預(yù)測很重要，解釋也很重要

機(jī)器模型的一個固有缺點是很難解釋數(shù)據(jù)之間的因果關(guān)系。但是，了解警報和事件的根本原因?qū)τ?IT 運(yùn)營至關(guān)重要，而這正是人類智能可以發(fā)揮作用的地方?？梢詾槟Ｐ偷斎肴斯ぴu論或歷史干預(yù)，并使模型越來越可解釋。

提示 9：不要構(gòu)建黑盒，而是讓工具具有交互性

與解釋的主題相關(guān)，最好建立一個可以在需要時獲得人工干預(yù)的流程，并選擇調(diào)整后的前進(jìn)路徑。經(jīng)驗豐富的 IT 運(yùn)營商可以在它們?nèi)匀黄仍诿冀迺r挑選一些早期信號，并在可能的情況下建議最佳捷徑。對人類預(yù)感增強(qiáng)的大量數(shù)據(jù)進(jìn)行機(jī)器分析可能是驚人的，應(yīng)該構(gòu)建工具來適應(yīng)這種組合。

提示 10：數(shù)據(jù)驅(qū)動的思維方式與數(shù)據(jù)一樣重要

最后但同樣重要的是，在組織中擁有數(shù)據(jù)驅(qū)動的思維方式對于 AIOps 部署的成功至關(guān)重要。圍繞數(shù)據(jù)從數(shù)據(jù)生成、存儲、細(xì)化到回收建立一個規(guī)范的流程將最終保證 AIOps 的成功和持續(xù)改進(jìn)。