欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

歡迎來到云服務器

大數據資訊

人工智能與大數據開發的12個注意點

人工智能是近年來科技發展的重要方向,在大數據時代,對數據采集、挖掘、應用的技術越來越受到矚目。在人工智能和大數據開發過程中,有哪些特別需要注意的要點?

人工智能領域的算法大師、華盛頓大學教授Pedro Domingos對此進行了深入思考。

人工智能與大數據開發的12個注意點

在我們新近翻譯的《智能Web算法》(第2版)中,對Pedro Domingos教授的觀點進行了高度的概括,提煉出12個注意點,為行業開發實踐提供了重要參考:

注意點1:你的數據未必可靠

在實際應用中,有很多各種各樣的原因會導致你的數據是不可靠的。因此,當你將數據用于解決問題前,必須經常留心來檢查數據是否值得信賴。如果基于糟糕的數據來挖掘,無論多么聰明的人也永遠只會獲得糟糕的結果。下面列舉了一些常見的可導致數據可靠性問題的因素:

用于開發數據,往往和實際情況下的數據分布不同。例如也許你想把用戶按照身高劃分為“高”、“中等”、“矮”三檔,但如果系統開發時使用的數據集里最低用戶的身高是6英尺(184cm),那么很有可能你開發出來的系統里會把一個“僅有6英尺”的用戶稱為“矮”用戶

你的數據集中存在很多缺失數據。事實上,除非是人為構造的數據集合,國外域名 免費域名,否則很難避免缺失數據問題的發生,如何處理數據缺失的問題是很有技巧的事情。實踐中我們要么是干脆丟棄一部分殘缺的數據,要么就是想辦法計算一些數值去填補這些缺失值。無論哪種方法都可能導致應用結果的不穩定

你的數據可能隨時在變化。數據庫的表結構可能會變,數據定義也可能會變

你的數據可能沒有被歸一化。假設你可能在觀察一組用戶的體重,為了能夠獲得有效的結論,首先需要對每個體重的衡量單位進行歸一化,是英鎊還是公斤,不能混淆著用

你的數據可能并不適用于相應的算法。數據存在著各種各樣的形式和規范,或者叫數據類型(data types),有些是數值化的數據,有些則不是。有些數據集合能被有序排列,有些則做不到。有些是離散化的數據(例如房間里的人數),另一些則是連續化的(例如氣溫或者氣壓等數據)

注意點2:計算難以瞬間完成

完成任何一個人工智能解決方案的計算,都需要一定的時間,方案的響應速度,對商業應用的成功與否起到十分關鍵的作用。不能總是盲目假設任何算法在所有數據集上都一定能在規定時間內完成,你需要測試下算法的性能是否在可接受的應用范圍內。

以搜索引擎為例,用戶對結果返回的時長是有忍耐的限度的。如果用戶等待的時間超過10秒,50%的用戶會流失,如果等待時間超過1分鐘,90%以上的用戶會流失。在開發智能應用系統時,不能為了達到更好的算法精度而忽略系統運算和等待的時間,否則會導致整個產品的失敗。

注意點3: 數據的規模非常重要

當我們考慮智能應用時,數據規模是很重要的因素。數據規模的影響可以分為兩點來考察:第一點是規模會影響應用系統的響應速度,上一節我們剛提過;第二點是在很大的數據集上的挖掘出有價值結果的能力會受到考驗。例如為100個用戶開發的電影或音樂推薦系統可能效果很好,但是同樣的算法移植到有著100000個用戶的環境里,效果可能就不盡如人意了。

其次,使用更多的數據來訓練的簡單算法,比受制于維度詛咒(Dimension Curse)的復雜算法往往有好得多的效果。類似Google這樣擁有海量數據的大型企業,優秀的應用效果不僅來自于精妙復雜的算法,也來自于其對海量訓練數據的大規模分析挖掘。(達觀數據 陳運文)

注意點4: 不同的算法具有不同的擴展能力

我們不能假設智能應用系統都可以通過簡單增加服務器的方法來擴展性能。有些算法是有擴展性的,而另一些則不行。

例如如果我們要從數億的文章標題里,找出標題相似的各個組的文章,注意并不是所有的聚類算法此時都能并行化運行的,你應該在設計系統的同時就考慮可擴展性。有些情況下你需要將數據切分成較小的集合,并能夠讓智能算法在各個集合上并行運行。設計系統時所選擇的算法,往往需要有并行化的版本,而在一開始就需要將其納入考慮,因為通常圍繞著算法還會有很多相關聯的商業邏輯和體系結構需要一并考慮。

注意點5:并不存在萬能的方法

你可能聽說過一句諺語“當你有了把榔頭的時候,看什么東西都像釘子”,這里想表達的意思是:并不存在能夠解決所有智能應用問題的萬能算法。

騰訊云代理

Copyright © 2003-2021 MFISP.COM. 國外vps服務器租用 夢飛云服務器租用 版權所有 ? 粵ICP備11019662號

主站蜘蛛池模板: 扎鲁特旗| 巴中市| 兴隆县| 清涧县| 乐陵市| 林州市| 黄梅县| 利津县| 凌源市| 永昌县| 轮台县| 聊城市| 高陵县| 格尔木市| 汕尾市| 新源县| 通化市| 庆城县| 梨树县| 会宁县| 车致| 昔阳县| 曲阳县| 沧州市| 南投市| 太谷县| 石家庄市| 临西县| 吉林市| 广灵县| 南华县| 阿坝| 德令哈市| 新丰县| 鄄城县| 罗平县| 广丰县| 韩城市| 信丰县| 承德市| 栖霞市|