中國IDC圈3月23日報道，網絡爬蟲已經成了很普及的網絡技能，會代碼的可以本身搗鼓一個高級的“人工智能”爬蟲，不會的也可以從網上下載一個開源的，然后找個呆板或一些署理處事器，就可以肆無顧忌的薅羊毛了。輕的是，爬蟲占用網絡和呆板資源，影響網站處事會見速度。重的是竊取名貴的版權數據，尤其是數據時代，數據常常會是一個公司的焦點競爭力。所以，爬和反爬永遠是一個攻防戰斗。

本日，我們就往返首現有的反爬蟲技能。最后展現了兩個反爬蟲特技。

反爬蟲技能：

統計IP會見(TCP/IP層面)

同一IP短時間內多次會見同一頁面，或是同一賬戶短時間內多次舉辦溝通操縱。這個，基于IP或是cookie的會見日志統計，或是及時的會見統計，都可以發明爬蟲，進而用captcha來測試，或是直接iptable來屏蔽。

巨大一些的環境是獲取許多的IP，然后，每次會見隨機的選取IP，對付這種環境，必需求助與基于用戶行為的反爬技能。

檢測HEADER(HTTP協議層面)

早期的爬蟲不大用心，常常會隨便寫個user-agent，或是省略了referer，這種很好檢測。變得智慧后，它們開始模仿差異的user-agent和referer了。但cookie這個對象，由于server可以快速隨機變革，并且是通報狀態信息的，給爬蟲的編程帶來了一些難度，但也不是不行以超越的。

偵測用戶行為(欣賞器層面)

賬號注冊登錄，javascript和AJAX的動態頁面和動態數據請求，圖片暗示和captcha，這些都是操浸染戶行為的反爬蟲技能，并且獲得了遍及的回收，并且取得了很好的結果。

道高一尺，魔高一丈，此刻風行的”人工智能“爬蟲，哈哈，人工智能很風行，我們也借用一下。實際上，它是呆板挪用欣賞器內核，然后操作雷同phantomJS等來執行JS來模仿人的操縱以及觸發頁面中的JS劇本。它可以填寫表單，點擊按鈕，轉動頁面，總之，完完整整的把人欣賞頁面獲取數據的進程模仿一遍。對付手機APP，也有雷同的模仿觸屏和點擊的東西，完全可以模仿用戶行為完成微信登錄，存眷公家號，點擊文章，收羅文章內容，閱讀量，點贊數，總之，就和一個真實的人一樣。對付這種環境，許多具有數據的公司，根基束手無策。

本日，我們展現兩個還擊”人工智能“的兩個殺手特技。

第一，，數據玷辱!是的，玷辱，就是真的，假的，數據稠濁在一塊，讓你拿到了我的數據，也很難清理和利用。詳細怎么做，先拋一個，好比，captcha，不管對錯，城市給出數據，對了，給出正確數據，錯了，對不起，數據大概是玷辱之后的。哈哈，you got it!想知道更多?你知道怎么做。

第二，交押金!是的，押金，不是付費。用戶，先交一部門押金，每次會見要害數據，會從押金里扣除一部門。一周或一月后，靠山系統按照日志做個統計挖掘，或是”深度進修“一下，看看哪些是真實的用戶，對付這些，退還押金從頭獲取新的會見。對付爬蟲用戶，對不起，錢被充公了!

好了，本日就說這么多，但愿反爬最終能戰勝爬，至少耗死爬蟲，或是讓爬蟲支付奮發價錢。