遷移學習

遷移學習

對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能產生積極影響——這種效應即為遷移學習。它不僅存在於人類智慧型,對機器智慧型同樣如此。如今,遷移學習已成為機器學習的基礎研究領域之一,且具有廣泛的實際套用潛力。

概述

“遷移學習”被認為是2017年最值得關注的科學概念之一,它探討的是一種學習對另一種學習的影響——那些已知的知識經驗、技能、態度都對新的學習的影響、映照和輻射,用英國作家傑弗里·威廉斯的話說,“你永遠不能理解一種語言——除非你至少理解兩種語言……一個不會外語的人對其母語也一無所知”

這種說法極為有趣,但令人驚訝的是恐怕更在於其實質——對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能產生積極影響——這種效應即為遷移學習。它不僅存在於人類智慧型,對機器智慧型同樣如此。如今,遷移學習已成為機器學習的基礎研究領域之一,且具有廣泛的實際套用潛力。

研究實驗

遷移學習遷移學習
今天的機器學習領域主要圍繞著能力可隨數據及經驗的積累而提高的算法,且已取得驚人進步,並由此催生出可比肩甚至超越人類智慧型的計算系統,例如具有理解、處理及翻譯語言能力的系統。近年來,機器學習研究多聚焦在深層神經網路(DNN)——一種通過從大量數據中推斷異常複雜模式而進行學習的算法概念。例如,向一台基於DNN的機器輸入數千個英文錄音片段及其對應文本,機器便可從錄音與文字的關聯中推斷出相關模式。伴隨著關聯模式的逐漸精確,系統最終將能“理解”英語語音。事實上,今天的DNN已經相當成熟,一台功能強大的計算機在學習充分訓練示例後,完全可以對真人對話進行文字速記,並達到比專業速記員更高的準確率。

一些人也許會很驚訝,計算機化的學習系統展現出遷移學習的能力。我們可以通過一項涉及兩套機器學習系統的實驗來思考這個問題,為了簡單起見,我們將它們稱為機器A和機器B。機器A使用全新的DNN,機器B則使用已經接受訓練並能理解英語的DNN。現在,假設我們用一組完全相同的國語錄音及對應文本來對機器A和B進行訓練,大家覺得結果會怎樣?令人稱奇的是,機器B(曾接受英語訓練的機器)展現出比機器A更好的國語技能,因為它之前接受的英語訓練將相關能力遷移到了國語理解任務中。

不僅如此,這項實驗還有另一個令人更為驚嘆的結果:機器B不僅國語能力更高,它的英語理解能力也會提高!看來威廉斯和歌德確實說對了一點——學習第二語言確實能夠加深對兩種語言的理解,即使機器也不例外。

所遇問題

遷移學習的理念至今仍是基礎研究的課題之一,因此,許多根本性的問題仍然懸而未決。例如,並非所有的“遷移”都是有用的。要讓“遷移”發揮作用,學習任務之間至少需要相互關聯,而這種關聯方式仍然缺乏精確定義或科學分析,且與其他領域相關概念之間的聯繫仍有待闡明,如認知科學和學習理論。誠然,對於任何一個計算機科學家而言,從事計算機系統的“擬人化”在理智層面都是危險的,但我們卻不得不承認,遷移學習讓人類學習和機器學習之間產生了強烈而誘人的相似性;當然,如果通用人工智慧真能有朝一日成為現實,遷移學習恐怕將是這一過程中的決定性因素之一。對於善於哲學思考的人來說,遷移學習的正規模型可能會為知識和知識遷移帶來新發現和分類方法。

套用潛力

遷移學習同樣具有極高的套用潛力。過去,機器學習在搜尋和信息檢索等領域中的實用價值較為單一,大多聚焦於通過全球資訊網上大量數據集和人物信息進行學習的系統。但我們是否想過,經過網路訓練的系統可以了解關於較小社區、組織甚至個人的信息么?未來智慧型機器可以學習與特定個人或小型組織相關的、高度專業化的任務么?遷移學習讓我們可以想像這樣一種可能性,讓所有網路信息都成為機器學習系統的基礎,而系統則可通過遷移學習獲得更個性化的信息。實現這個願景,我們將向人工智慧普及化邁出又一大步。

相關詞條

相關搜尋

熱門詞條

聯絡我們