很多年來，我一直率領谷歌搜索日志的數據科學團隊。常常需要我們對一些參差不齊的功效來賦予意義，對日志記錄的操縱來挖掘新現象，驗證別人的闡明，以及用于表明用戶行為的懷抱指標。有些人好像天生就擅長做這種高質量的數據闡明。這些工程師和闡明師經常被描寫為“審慎”、“有技能”。但實際上這些形容詞是什么意思?您怎么做才氣贏得這些符號?

為了答復這些問題，我將Google公司的履歷整理進一篇文檔，并自得地將他簡樸定名為“好的數據闡明”。令我詫異的是，這篇文檔比我在谷歌已往十一年做的其他任何文檔的閱讀量都高。在上次大改版之后的四年時間里，每次查抄的時候，我甚至發明有很多Goolge員工翻看它。

為什么顛末這段時間，這個文檔使那么多人發生共識?我認為最主要的原因是全文都是關于詳細的可以實施的方案，不可是抽象的抱負。我見過很多工程師和闡明師養成了這些(文中涉及的)習慣，并舉辦高質量的事情。我將在這個博客中分享那篇文檔的內容。

發起總結起來，分為三大類:

技能：如何操縱和檢測數據的思想和技能。 進程：一些發起，關于奈何處理懲罰您的數據，應提出奈何的問題，尚有一些需要查抄的工作。 相同：如何與他人相助及交換，關于您的數據和看法。

技能

看看你的數據漫衍

固然我們一般會利用總體懷抱(均值、中值、尺度差，等等)和人交換數據漫衍，可是您應該經常存眷漫衍的更富厚的暗示形式。直方圖、累積漫衍函數(CDFs)、Q-Q圖，諸如此類給以您相識是否存在重要有趣的數據特征，如多模態行為或是一個明明的異常類，您需要抉擇如何總結它們。

考量異常值

您該當存眷您數據中的異常值。它們會成為煤堆中的金絲雀，是您的闡明所袒露的更根基的問題。從您的數據中將他們解除，或把它們放在一起形成一個“異常”種別，這樣做可以，但您應該確保您知道為什么一些數據最后被放在這一類。譬喻，點擊率(CTR)最低的查詢，大概顯示了在用戶界面中有一些點擊元素是您無法統計的。點擊率最高的查詢，大概又會反應了您不該統計的點擊。另一方面，一些異常值是您永遠無法表明的，所以這里投入幾多時間您需要出格寄望。

陳訴噪音可能置信度

首要的是，我們必需意識到存在隨機性，這很坑。假如您不小心，您發明的模式就混著噪聲。每個您生成的預計量，您該當附上預計的置信度。有時這可以相當正式和準確(采納一些丈量要領，如預計量的置信區間或可信區間，以及結論的p值或貝葉斯因子)，有時也沒那么嚴格。譬喻，如果一個同事問您，幾多查詢關于周一我們得到的青蛙數量，您大概會做一個快速闡明，看了兩個禮拜一就陳訴“凡是介于1000萬到1200萬”(而不是真實數字)。

看實例(這里的實例指數據的實際環境)

當您在編寫新的闡明代碼，您需要看下這些底層數據的實例，您寫的代碼是如何表明這些實例的。不這樣做，要用的闡明代碼巨大一些您根基上就寫不出來了。您的闡明能從底層數據挖出很多特征，并梳理成有用的總結。通過查察個別實例的全部巨大環境，您會獲得公道的總結，從而信心百倍。

您應該做分層抽樣，在整個漫衍中都獲得采樣，這樣就不會只會合在最普遍的例子上。

舉例來說，假如您要計較“點擊時間”(TimetoClick)，確保您能看到整個漫衍的實例，出格是極度環境。假如您沒有符合的東西可能可視化方法來查察您的數據，您需要先完成這個。

分別數據

這里的分別意味著將數據分別為差異的子集，別離看下在這些子會合您測到的值。在網站流量闡明中，我們一般憑據一些維度來分別，如“移動端照舊桌面端”、“欣賞器種類”、“地址地”等等。假如底層現象大概在子集之間以差異的方法事情，您必需分別數據看看是否是這樣。縱然您不期望一段數據能有什么用，看下幾個段之間的內部一致性(譯者注：原本是一列數據，可是被分別到差異子會合)，假如您丈量的是正確的對象，那也帶給您更大的信心。在某些環境下，個體子集大概存在壞數據、損毀的記錄，可能在某種水平上是完全差異的對象。

每次您分別數據來較量兩組(好比嘗試組/節制組，但縱然是時間A與時間B的較量)，您都需要留意夾雜的遷移(mixshift,譯者注：憑據下文辛普森悖論的推論，這里指原本存在某種特征的兩個組，別離接頭時存在這種特征，可是兩組混在一起時這種特征卻消失)。夾雜的遷移呈此刻當每段的數據量在各較量組之間差異的時候。這大概是辛普森悖論和其他夾雜導致的。一般來說，假如在您的兩組中，一段的數據量是大抵溝通的，您可以安心舉辦較量。

思量實際意義