English
聯系我們
網站地圖
郵箱
舊版回顧



自動化所提出針對小樣本問題的學習生成匹配網絡方法

文章來源:自動化研究所   發布時間:2019-05-27  【字號:     】  

  當前人工智能領域的成功,往往依賴于機器算力的提升以利用大量的數據,但人類智能卻可以利用以往的經驗針對新的問題從少量的樣本中進行有效的學習。在現實中,隨著更多應用場景的涌現,人們也將必然面臨更多數據不足的問題,因此如何能夠讓機器像人類一樣能夠利用學習經驗從小樣本中進行有效學習,成為一個重要的研究方向。

  目前,成功的深度神經網絡往往依賴于大量訓練數據和訓練時間,當訓練數據較少時,神經網絡通常容易過擬合,這是由于傳統的基于梯度的更新算法沒有針對當前任務的先驗知識,無法在神經網絡的參數空間中找到具有較好泛化能力的參數點。當一個神經網絡計算結構固定的時候,網絡的參數權重決定了網絡的功能,而具有較好泛化能力的參數點可以看作是一個基于訓練數據的條件概率分布。根據這樣的觀察,中國科學院自動化研究所研究人員針對小樣本問題提出了一種基于訓練數據直接生成具有較好泛化性網絡參數的元學習方法,讓神經網絡在大量的任務中積累經驗,自己學會如何解決小樣本問題。

  如圖所示,該方法框架主要由兩部分組成,即元網絡(MetaNet)和目標網絡(TargetNet)。目標網絡是針對某個問題設計的網絡結構,如分類或回歸網絡,并且目標網絡中沒有可學習參數,它的參數由元網絡產生,在該研究中使用matching networks的網絡結構作為TargetNet來解決小樣本分類問題。

  元網絡,由任務環境編碼網絡(task context encoder)和參數生成器(weight generator)組成,它的目的是編碼任務數據(如果是高維數據則編碼數據特征)然后采樣生成目標網絡的功能參數。

  在訓練過程中,不斷地從環境中獲取不同的小樣本任務,使用任務環境網絡將任務數據表示為一個任務特征,基于這個任務特征,通過參數生成器采樣出一個針對當前這個任務的目標網絡對應層的參數,使網絡具有解決當前任務的分類能力,通過累積不同任務的loss來調整元網絡的參數,從而在元網絡中學習到如何讓目標網絡解決小樣本任務的能力。

  研究人員OmniglotminiImageNet數據集上驗證了方法的有效性,在不同的N-way K-shot都獲得了很好的效果,特別在5-way 1-shot任務上對比SOTA結果提升了8%。

  該研究提出了通過參數生成的方式來學習嵌入先驗知識解決小樣本問題的方法,這種方式不需要進行微調,當遇到新的相似任務的時候,可以快速適應。相關工作已被國際會議ICML2019接收。

  文章鏈接

 

算法整體框架




(責任編輯:葉瑞優)

附件:

專題推薦

相關新聞


© 1996 - 中國科學院 版權所有 京ICP備05002857號  京公網安備110402500047號  聯系我們

地址:北京市三里河路52號 郵編:100864