<td id="wycic"><source id="wycic"></source></td>
<xmp id="wycic">
  • 博愛人才招聘-博愛兼職-博愛職場資訊-博愛人才網

    博愛人才招聘-博愛兼職-博愛職場資訊-博愛人才網

    http://www.click-call-video.com

    菜單導航

    數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

    作者:?博愛 發布時間:?2019年10月22日 05:19:29

    近日,聯邦學習概念的提出者之一 Blaise Agu?ray Arcas 在韓國針對全球做了一個關于聯邦學習的在線workshop。

    數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

    Blaise Agu?ray Arcas是2014年加入的谷歌,在此之前在微軟任杰出工程師。加入谷歌后,Blaise領導了谷歌設備端on-device機器智能(Machine Intelligence)項目,同時負責基礎研究與新產品研發工作。

    聯邦學習的概念最初是由Blaise等人于2017年在Google AI Blog上發表的一篇博文中首次提出的。這個概念提出至今不過兩年時間,但對它的研究已然甚囂塵上,幾乎每天都至少會發布一篇相關論文,甚至在18年底在港科大楊強教授等人的推動下聯邦學習進入了IEEE國際標準。

    聯邦學習之所以能夠在如此短的時間里迅速由一個構想變為一門學科,主要原因在于聯邦學習技術作為一種學習范式,能夠在確保用戶數據隱私的同時解決“數據孤島”問題。

    不過不同于國內主要關注企業之間針對“數據孤島”的聯邦學習,Blaise 等人(或許也在某種程度上代表谷歌)關注更多的則是設備上的聯邦學習,這也是聯邦學習概念被提出之初的應用場景。

    數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

    1. 提出聯邦學習的初始動力

    Blaise五年前加入谷歌后不久,便開始了聯邦學習的研究。直到2017年,當他們取得了一定的成果,才在博文中進行公布。

    一開始,聯邦學習只是一個概念,但很快它便被開發成人工智能領域中的一個學科?,F在已經有數千篇的文章在討論聯邦學習。在今年12月份在溫哥華舉行的機器學習頂會 NeurIPS上也將會有一個專題專門討論聯邦學習。另一方面,現在也有很多公司也在以此為基礎構建他們的模型。這說明整個人工智能社區已經開始重視這種技術了。

    那么為什么聯邦學習能夠如此快速地被整個社區重視呢?

    大家應該知道,目前人工智能已經發展到了這樣一個節點:我們希望能夠用少量的數據做更多的工作。這也是當前人工智能的核心話題之一。

    神經網絡可以做很多的認知,語言處理、語音合成、圖像識別,甚至還可以下圍棋,這些都能達到人類甚至超越人類的水平,這是過去幾年我們取得的成就。但是目前的神經網絡相比人類還欠缺一點,就是學習的效率,它需要大量的數據進行訓練。所以一些大公司,如谷歌、微軟、亞馬遜等開始提供人工智能服務時需要收集大量的數據,才能去訓練大型神經網絡。這也是一直以來,整個社區所做的事情。

    對于設備端(例如手機)的智能應用,通常情況下的模式是,用戶在設備上產生的數據會被上傳到服務器中,然后由部署在服務器上的神經網絡模型根據收集到的大量數據進行訓練得到一個模型,服務商根據這個模型來為用戶提供服務。隨著用戶設備端數據的不斷更新并上傳到服務器,服務器將根據這些更新數據來更新模型。很明顯這是一種集中式的模型訓練方法。

    然而這種方式存在幾個問題:1)無法保證用戶的數據隱私,用戶使用設備過程中產生的所有數據都將被服務商所收集;2)難以克服網絡延遲所造成的卡頓,這在需要實時性的服務(例如輸入法)中尤其明顯。

    Blaise等人便想,是否可以通過做一個大型的分布式的神經網絡模型訓練框架,讓用戶數據不出本地(在自己的設備中進行訓練)的同時也能獲得相同的服務體驗。

    數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

    2. 設備上的聯邦學習

    解決之道便是:上傳權重,而非數據。

    我們知道神經網絡模型是由不同層的神經元之間連接構成的,層與層之間的連接則是通過權重實現的,這些權重決定了神經網絡能夠做什么:一些權重是用來區分貓和狗的;另一組則可以區分桌子和椅子。從視覺識別到音頻處理都是由權重來決定的。神經網絡模型的訓練本質上就是在訓練這些權重。

    那么Blaise提出的設備端聯邦學習,不再是讓用戶把數據發送到服務器,然后在服務器上進行模型訓練,而是用戶本地訓練,加密上傳訓練模型(權重),服務器端會綜合成千上萬的用戶模型后再反饋給用戶模型改進方案。

    數據不出本地,還能享受大數據訓練模型,聯邦學習提供一種學習新范式

    本文地址:/qcgl/8950.html

    請遵守互聯網相關規定,不要發布廣告和違法內容

    偷玩朋友熟睡人妻
    <td id="wycic"><source id="wycic"></source></td>
    <xmp id="wycic">