今年9月以來，多家知名公司相關人員被抓或被調查，這些機構均涉及大數據風控業務和爬蟲技術的應用。據悉，這波針對爬蟲業務的強監管由打擊“套路貸”牽扯出，爬蟲被發現是導流獲客和暴力催收兩個幫兇的主要工具，為這些“套路貸”平臺爬取通訊錄、地址定位等個人敏感信息，從而引發了惡性事件及行業整頓。

今年以來，大數據風控行業頗不平靜，9月份以來，杭州的魔蝎科技和公信寶運營公司、杭州存信數據科技有限公司以及貸款超市“信用管家”、上市互金公司51信用卡先后被警方調查。此外，香港服務器，還有多家大數據風控公司人士“協助調查”，涉及同盾科技等多家機構。一時風聲鶴唳，大數據行業的從業者人人自危，多家大數據公司表態暫停爬蟲業務。

網絡爬蟲，是一種按照一定規則，自動抓取互聯網信息的程序與技術。如果通過爬蟲抓取網絡公開信息，并不違法；但如果抓取的是未公開、未授權的個人敏感信息，就屬于違法行為。在爬蟲技術抓取的信息中，比較受歡迎的都是覆蓋度高、標準化較強的通用類數據，比如身份驗證、逾期黑名單信息等，一般是通過爬取淘寶、社交網絡、網上銀行等獲取數據，而上述信息通常是不公開的。

對于互聯網行業而言，判斷爬蟲行為合法性， robot協議不可或缺。robot協議是互聯網搜索引擎與網頁持有者之間達成的“行業規范”，該協議會告知網站的“訪問權限”，如果設置了robot協議，國內服務器，大數據公司還要突破訪問權限，那么就具有明顯的主觀惡性。互聯網行業里谷歌、百度、搜狗、ebay等，均設有該協議。

聚信立成立于2013年7月，是國內“最早”專注大數據智能解決方案的服務商，其官網數據顯示，合作機構3300+，覆蓋人群14億+，用戶總量1.5億+，日均查詢220萬+，總查詢10億+，黑名單庫1200萬+。據悉，只需在聚信立輸入用戶的手機號碼和服務碼，就可自動爬取用戶的通話記錄數據，形成“個人用戶報告”，包括通話號碼、次數、時長等。而對于放貸機構來說，借款人的通訊信息是日后向借款人及其家人朋友催收的“殺手锏”。

有業內人士認為，此次整頓風暴既因違法使用爬蟲的行為，也有給現金貸“斷糧”的意味。目前，現金貸公司往往充斥著各種馬甲，發展較大的容易被監管，但一些小而散的現金貸，因為總量過大，產生的社會危害同樣不小，監管卻無從下手。小現金貸公司已演變為群體行為，通過這些大數據公司獲得系統，獲客、催收都依賴于爬蟲機構，現金貸馬甲公司只提供資金。因此，打擊大數據公司，也就變相整頓了現金貸行業。

不過需要注意的是，大數據行業風波也會影響助貸行業，助貸行業有很大一塊也是消費金融和現金貸，與現金貸企業的客戶群，以及為其提供服務的大數據公司有重疊。歸根結底，只有建立統一的標準和嚴格的監管體系，依法、合法使用爬蟲手段，尊重且保障公民的個人隱私，大數據行業才能撕下灰色產業的標簽，成為驅動社會財富快速增長的新技術。