免費分類信息發布,從九九分類網開始!
免費發信息
九九分類網 > >

AI 之父 Jürgen Schmidhuber 眼中的深度學習十年,以及下一個十年展望

2020-3-7 16:23:42發布3次查看發布人:

2020 年是充滿科幻的一年,曾經我們暢想飛行汽車、智能洗碗機器人以及能自動寫代碼的程序,然而這一切都沒有發生。
2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲。回想過去的十年,我們或許覺得沒有什么科技的發展可以稱得上是飛躍,然而事實卻是,一切都變了,深度學習算法的進步和影響就是起哄最明顯的標志。
ai 之父 jürgen schmidhuber 在自己的 medium 專欄發布了一篇文章,回顧了深度學習的十年發展歷程,回頭看看,才發現我們確實見證了歷史。
自然語言處理
盡管不像深度學習中的其他領域那么高大上,但可以說 nlp 算法是迄今為止最復雜、最成功的算法。這種成功可以歸因于,與圖像和視頻相比,在文本語料庫上進行訓練相對比較容易。在過去的十年中,nlp 不僅取得了巨大進步,而且還成功地成為了各種商業應用中的重要組成部分。正如你將在下文中注意到的那樣,google 的研究人員在改善 nlp 算法方面發揮了最重要的作用,不過實話說,幾乎所有全球研究實驗室都為這一領域的發展做出了貢獻。
圖片:ontotext
01
詞嵌入
在技術上也稱為分布語義模型,如今,幾乎所有 nlp 算法中都有使用詞嵌入。bengio 等人早在 2003 年就提出將詞嵌入為向量這一方法。它仍然非常耗費計算資源,并且需要更有效的算法來實現。2013 年,google 提出了“連續詞袋模型”(continuous bag-of-words model, cbow)和“連續 skpi-gram”模型,并使用 word2vec 以計算并實現開源,使得詞嵌入技術得到廣泛應用。在 2015 年,斯坦福大學的研究人員介紹了 glove 模型,該模型對詞嵌入算法進行了進一步改進。
圖片:sebastian ruder
02
lstm 算法
圖片:christopher olah
雖然 lstm 最初是由 hochreiter 和 schmidhuber 早在 1997 年提出的,但在這過去的十年中,它們才真正地受到關注。盡管許多較新的算法在性能上比 lstm 表現更好,但它們在一些商業上成功的翻譯軟件(例如google translate)和 apple 的 siri 中仍然發揮著重要作用。cho kyunghyun cho 等研究人員通過提出門控循環單元(gru),為 lstm 體系結構提供了進一步的改進。gru 自然會引導我們進行下一個創新……
03
seq2seq 模型
     
來自 google 的 sutskever 等人在 2014 年推出了現在流行的  seq2seq 模型。在先前 rnn、lstm 和 gru 相關工作的基礎上,這種嵌入解碼技術為 google translate 和許多其他 nlp 任務賦能。在易于實現的同時,這一技術甚至可以用來創建聊天機器人。
04
transformers
google brain 那篇“ 你只需要注意力就夠了”(attention is all you need)論文可是引起了一場轟動。通過將焦點僅集中在數據的重要組成部分上,這樣的注意力可以提供比 lstm 更優秀的表現,并且所需的計算量也更小。
05
bert
圖片:yng media
在十年結束之前,谷歌再次在 nlp 方面取得了突破:bert 模型。它是一種可同時從左向右以及從右向左考慮文本的語言表示模型。雖然可以說谷歌研究人員的確有助力于公司平臺無與倫比的處理能力而在多項 nlp 任務中達到了最先進的水平,模型本身也真的是非常靈活多變。經過預訓練的 bert 模型可以通過簡單添加額外的輸出層來適應幾乎任何任務。
06
語音助手
圖片:business insider / yu han
2011 年 10 月發布的 iphone 4s 是第一款集成 siri 的蘋果產品。這在智能手機領域是革命性的,因為這是首次向大眾商業市場提供與未來人工智能密切相關的技術。目前市場上充滿了語音助手,它們在諸如語音識別、語音轉文本、文本翻譯等一系列任務上的表現都非常出色。想要知道這一技術有多么普遍的話,你可以隨便走入任何一家稍微與科技接軌的家庭,喊出“ alexa!”——您很可能會聽到熟悉的聲音回復呢。
計算機視覺
圖片:ilija mihajlovic
人工智能是人工智能領域中最令人興奮和研究最多的領域之一。從進化型自動駕駛汽車到已成為智能手機常見功能的人臉識別,計算機視覺無處不在。盡管這十年來主要是研究實驗室希望挑戰計算機視覺任務的最新結果,我們仍然嚴重依賴于數據數量和機器處理能力。
01
cnn
圖片:google
福島在 1980 年提出了第一個深度神經網絡,隨后是 yann lecun 發明的我們今天所知的卷積神經網絡(lenet)。但是,盡管 cnn 已出現了很多年,它們似乎僅僅在最近十年中才進入主流視野。
現在是計算機視覺任務的標準化基準的 imagenet 于 2010 年才開始年度競賽。2012 年,來自多倫多大學的 krizhevsky 等人在此項競賽中提出了 alexnet,它大大擊敗了 imagenet 中的現有算法。這為接下來的十年中激烈競爭設計最佳 cnn 的各大實驗室奠定了技術基礎。
在接下來的幾年中,我們看到了幾種著名的 cnn 變體,例如 vgg 神經網絡、提出更深的網絡性能更好的 inception,以及甚至更深層的殘差學習框架 resnet。盡管 cnn 架構的發展一直在快速發展,但最近的重點已經轉移到了魯棒性和效率而非僅僅是準確性上。大眾對未來的希望是將這些高性能的 cnn 引入商業應用。
02
全能的 gans
圖片:sarvasv kulpati/sigmoid
自 2014 年 goodfellow 提出了 gans(generative adversarial networks,生成對抗網絡),它現在已成為深度神經網絡領域最新和最成功的突破之一。它開辟了 ai 的全新應用領域,而且我認為它代表了深度學習中最直觀的架構之一。
時至今日,gans 在研究界非常流行,以至于你能發現各種名稱的 gans。他們使用 x-gan 規則命名,其中 x 代表你給自己的 gan 所取的有趣的名字。這對他們的實用性絲毫無損,gans 已被發現在多種任務中都表現出色。只有時間能夠證明,是否它的發現標志著 ai 演進中的一個重要里程碑。
03
ai 的藝術
圖片:christie’s
由 gans 和類似深度學習模型的成功所推動,ai 進入了一個新方向,它模糊了真實的與 ai 生成的輸出之間的界限。我們現在擁有的 ai,可以為你描繪一幅美麗的藝術品,能創作和演奏歌曲,能生成文字故事,還能人工模擬很多事情。對于這些 deepfakes,大家顯然有擔憂;但也有一些人開始慢慢接受這種新的藝術潮流進入我們的文化。2018 年 12 月 12 日,佳士得拍賣了一副 ai 創作的肖像畫,拍賣價格高達 432500 美元!
04
自動駕駛汽車
     
圖片:downtoearth
不論你是否支持,它將最終發生,任何事情都無法阻止我們日常生活中的這個巨大改變。在 21 世紀的前 10 年,自動駕駛汽車已變成商業現實,所有主要的技術和汽車公司都為此投入巨資。雖然自動駕駛汽車沒成為這 10 年的重大革命,但他們已經奠定了堅實的基礎,并在下個 10 年大發展。如果你想了解這對我們意味著什么,可以查閱我們關于 ai 倫理的文章:自動駕駛汽車。
強化學習
圖片:intel ai
強化學習是全功能機器人的核心,其目標就是設計出能像人一樣,學會實現基于獎勵的任務的 ai。不像本文討論的其他領域,強化學習是完全無監督學習,模型缺乏事先可供學習的正確數據。模型要學會在獎勵最大化的前提下,對可能的解決方案排序。對于這種新技術,研究界也花費了時間去采納。但從這個世紀之初,強化學習就已經成為所有主要實驗室深度學習研究的一個普遍組成部分。
01
玩 atari 的 dqn
圖片:deepmind
deepmind 將深度強化學習應用在 atari 游戲環境中玩復雜游戲。深度學習模型成功擊敗人類游戲專家奠定了深度強化學習在 ai 研究領域的領先地位。來年,google 收購了 deepmind 實驗室……
02
alphago 點亮新開端
是的,甚至有一部名為“alphago movie”的電影。
沒有比 google 的 deepmind alphago 打敗職業圍棋世界冠軍更合適的例證,來說明這十年強化學習的普及。他們更進了一步,沒有任何人類監督學習,alphago master 設法以 3-0 打敗了世界排名第一的圍棋選手。這個事件包攬了全球頭條,并使 ai 算法普及成為主流。ai 目前能在復雜賽事最高級別競賽中擊敗人類,這是非常了不起的成就。
03
機器人
索菲亞并非我們所期望的機器人。圖片:elle
強化學習模型最關鍵的應用是設計機器人。我們目前仍在等待能安全部署在家中實用的商用機器人。盡管機器人在持續改進,但他們作為實用工具(而非娛樂工具)尚不盡人意。機器人應用包括了機器人手術臂、太空探索機器人和工業機器人。設計各種各樣實際工作的機器人,并確保它在任意環境中的性能,是項挑戰。在監督環境中訓練機器人的能力有明顯瓶頸,因此,研究者們期待基于獎勵的深度強化學習能成為一個解決方案。
下一個十年會怎樣?
在見證了深度學習革命性的十年,我們確信接下來的十年應該令我們所有人興奮。在這十年中,ai 將接手大部分的工作嗎(通常的小報標題)?我們能夠優化深度學習模型,從而在日常工作中持續使用嗎?接下來的內容將會回答這些擔心。
01
量子計算
     
圖片:cisco
在過去十年里,物理學本身在探究量子力學方面取得了長足的進步,但我們即將見證一場技術上的巨大革命。量子計算的目標是利用量子迭加和糾纏原理,提供領先于我們現有系統數光年的計算能力。如果我們能夠控制量子位,我們在 21 世紀 20 年代能完美見證這些量子計算機的威力。盡管對于它可能解密我們現在所有的安全算法存在擔心,但每項革新,其優點都將遠遠超過它的缺點。
02
無監督學習
圖片:analytics india magazine
今天大多數深度學習模型都嚴重依賴于海量訓練數據的可獲取性。這個問題可能的解決方案是元學習和小樣本學習。元學習算法的目的是通過有限任務的學習,學會如何執行大量的新任務。按照相似的思路,小樣本學習算法是通過有限數量數據的學習來執行任務。兩者都聚焦于有效表征的泛化。
03
淺層學習網絡
圖片:andrew ng
更深入會是前進的方向嗎?不一定,因為越來越多的研究者正在尋找深度學習模型的替代方案。深度模型需要更多的計算和更多的數據。雖然深度學習毋庸置疑是這十年的明星,但這十年也是一個好時機,可以使深度學習能很快被濃縮為提供相似或更好性能的更緊湊、可擴展的模型。
04
算力 vs 深度學習進展
摩爾定律觀察發現,集成電路上元器件數量大約每隔 2 年翻一番。自 1975 年摩爾定律提出以來一直顛撲不破,但近 10 年來我們的發展慢了下來。因此,很多人相信技術進步即將到來,很可能就是我們前文討論的量子計算。這將有助于推動深度學習的重大進步。
來源 | medium作者 | jürgen schmidhuber編譯 | 張秋玥、馬莉


該用戶其它信息

VIP推薦

免費發布信息_免費發布供求信息 - 九九分類網
天津快乐十分快三技巧 精选好彩26天天好彩 11选5唯一赢钱方法 52麻将下载手机版 一波中特最准网址 血流麻将怎么打初学规则 福彩开奖结果查询果 博彩开户 多乐彩11选开奖结果 血流成河换三张 美女捕鱼湿透 看看今天打麻将的手 捕鱼来了怎么刷金币 欢乐真人麻将安卓版下载 街机千炮捕鱼全部 兴动哈尔滨麻将最新版本 免费公开一码资料