歷史
早期的零樣本學習研究可以追溯到2008 年,Larochelle 等人針對字元分類問題提出了零樣本學習(zero shot learning)方法,並且識別準確率達到了60%。2009年Lampert 等人提出了Animals with Attributes數據集和經典的基於屬性學習的算法,才真正打開零樣本學習的關注度。
意義
在傳統圖像識別任務中,訓練階段和測試階段的類別是相同的,但每次為了識別新類別的樣本需要在訓練集中加入這種類別的數據。一些類別的樣本收集代價大,即使收集到足夠的訓練樣本,也需要對整個模型進行重新訓練。這都會加大識別系統的成本,零樣本學習方法便能很好的解決這個問題。
區別
傳統的“零樣本學習”方法首先是讓智慧型體(Agent)對類別進行語義理解。將類別標籤利用輔助知識(如屬性)嵌入到語義空間中,再利用訓練集中的數據學習這種從圖像到語義的映射關係。此後,即使遇到新的類別,只要提供了該類別的語義知識,模型即可識別該類別,這就是零樣本學習。
潛在套用場景
1、未知物體識別——例如,模型在“馬”、“牛”等類別上訓練過,因此模型能夠準確地識別“馬”、“牛”的圖片。當模型遇到“象”這個新類別,由於從未見過,模型無法作出判斷。傳統解決方案是收集大量“象”的圖片,與原數據集一起重新訓練。這種解決方案的代價高、速度慢。然而,人類能夠從描述性知識中快速學習一個新概念。例如,一個兒童即使沒有見過“象”,當提供他文本描述“象是一種的大型食草類動物,有長鼻和長牙”。兒童能夠根據描述快速學會“象”這一新類別,並能在第一次見到“象”時識別出來。零樣本學習與之類似,在沒有任何訓練樣本的情況下,藉助輔助知識(如屬性、詞向量、文本描述等)學習一些從未見過的新概念(類別)。
2、未知語言翻譯——比如說要進行三種語言之間的翻譯,按照傳統的方法需要分別訓練六個網路,在日語和韓語之間沒有那么多樣本的情況下,訓練英語→特徵空間→日語,韓語→特徵空間→英語這兩個網路,那么就可以自動學會韓語→特徵空間→日語這個翻譯過程。
3、未知類別圖像合成——近年來,對抗網路GAN被用於圖像合成,取得了以假亂真的效果。但傳統圖像合成僅能合成見過的類別的圖像。零樣本圖像合成希望模型能夠合成從未見過的類別的圖像。目前已有一些算法通過條件GAN網路實現了零樣本圖像合成。
4、圖像哈希——傳統圖像哈希算法利用一些訓練樣本來學習針對某些類別的哈希算法。但這些學習到的哈希算法無法用於新類別。零樣本圖像哈希,希望在已知類別上學到哈希算法能夠運用到新的未知類別上。一些基於屬性的零樣本哈希算法已經被提出。