Hopfield神經網路

Hopfield神經網路

Hopfield神經網路是一種遞歸神經網路,由約翰·霍普菲爾德在1982年發明。

簡介

Hopfield神經網路是一種遞歸神經網路,由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂,但收斂到錯誤的局部極小值(local minimum),而非全局極小(global minimum)的情況也可能發生。Hopfield網路也提供了模擬人類記憶的模型。

離散Hopfield網路是一個單層網路,有n個神經元節點,每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處於一種可能的狀態(1或-1),即當該神經元所受的刺激超過其閥值時,神經元就處於一種狀態(比如1),否則神經元就始終處於另一狀態(比如 -1)。 整個網路有兩種工作方式:即異步方式和同步方式。

構造

Hopfield網路的單元是二元的(binary),即這些單元只能接受兩個不同的值,並且值取決於輸入的大小是否達到閾值。Hopfield網路通常接受值為-1或1,也可以是0或者1。輸入是由sigmoid函式處理得到的。 sigmoid函式定義為:

Hopfield神經網路 Hopfield神經網路

用於將輸入化簡為兩個極值。

每一對Hopfiled網路的單元 i和 j間都有一對以一定權重(weight)的連線{\displaystyle w_{ij}}。因此,Hopfiled網路可被描述為一個完整的無向圖G=<V,f>,其中V是人工神經元集合。

Hopfiled網路的連線有以下特徵:

Hopfield神經網路 Hopfield神經網路

(沒有神經元和自身相連)

Hopfield神經網路 Hopfield神經網路

(連線權重是對稱的)

權重對稱的要求是一個重要特徵,因為它保證了能量方程(稱向函式某一點收斂的過程為勢能轉化為能量)在神經元激活時單調遞減,而不對稱的權重可能導致周期性的遞增或者噪聲。然而,Hopfiled網路也證明噪聲過程會被局限在很小的範圍,並且並不影響網路的最終性能。

套用

聯想記憶功能是離散Hopfield網路的一個重要套用範圍。要想實現聯想記憶,反饋網路必須具有兩個基本條件:

① 網路能收斂到穩定的平衡狀態,並以其作為樣本的記憶信息;

② 具有回憶能力,能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 離散Hopfield網路實現聯想記憶的過程分為兩個階段:學習記憶階段和聯想回憶階段。在學習記憶階段中,設計者通過某一設計方法確定一組合適的權值,使網路記憶期望的穩定平衡點。聯想回憶階段則是網路的工作過程。

離散Hopfield網路用於聯想記憶有兩個突出的特點:即記憶是分散式的,而聯想是動態的。 離散Hopfield網路局限性,主要表現在以下幾點:

① 記憶容量的有限性;

② 偽穩定點的聯想與記憶;

③ 當記憶樣本較接近時,網路不能始終回憶出正確的記憶等。另外網路的平衡穩定點並不可以任意設定的,也沒有一個通用的方式來事先知道平衡穩定點。

參見

•玻爾茲曼機– 像一個Hopfield網路,可採用退火吉布斯抽樣代替梯度下降

•易辛模型

•赫布理論

相關詞條

相關搜尋

熱門詞條

聯絡我們