介紹
線性神經網路結構神經網路（Neural Networks,NN）是由大量的、簡單的處理單元（稱為神經元）廣泛地互相連線而形成的複雜網路系統，它反映了人腦功能的許多基本特徵，是一個高度複雜的非線性動力學習系統。神經網路具有大規模並行、分散式存儲和處理、自組織、自適應和自學能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經網路的發展與神經科學、數理科學、認知科學、計算機科學、人工智慧、信息科學、控制論、機器人學、微電子學、心理學、光計算、分子生物學等有關，是一門新興的邊緣交叉學科。
神經網路的基礎在於神經元。
神經元是以生物神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智慧的機制時，把神經元數學化，從而產生了神經元數學模型。
大量的形式相同的神經元連結在—起就組成了神經網路。神經網路是一個高度非線性動力學系統。雖然，每個神經元的結構和功能都不複雜，但是神經網路的動態行為則是十分複雜的；因此，用神經網路可以表達實際物理世界的各種現象。
神經網路模型是以神經元的數學模型為基礎來描述的。人工神經網路(ArtificialNuearlNewtokr)s,是對人類大腦系統的一階特性的一種描。簡單地講,它是一個數學模型。神經網路模型由網路拓撲．節點特點和學習規則來表示。神經網路對人們的巨大吸引力主要在下列幾點：
1．並行分布處理。
2．高度魯棒性和容錯能力。
3．分布存儲及學習能力。
4．能充分逼近複雜的非線性關係。
在控制領域的研究課題中，不確定性系統的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經網路的學習能力，使它在對不確定性系統的控制過程中自動學習系統的特性，從而自動適應系統隨時間的特性變異，以求達到對系統的最優控制；顯然這是一種十分振奮人心的意向和方法。
人工神經網路的模型現在有數十種之多，套用較多的典型的神經網路模型包括BP神經網路、Hopfield網路、ART網路和Kohonen網路。
神經網路的學習機理和機構
學習是神經網路一種最重要也最令人注目的特點。在神經網路的發展進程中,學習算法的研究有著十分重要的地位。目前,人們所提出的神經網路模型都是和學習算法相應的。所以,有時人們並不去祈求對模型和算法進行嚴格的定義或區分。有的模型可以有多種算法。而有的算法可能可用於多種模型。在神經網路中,對外部環境提供的模式樣本進行學習訓練,並能存儲這種模式,則稱為感知器;對外部環境有適應能力,能自動提取外部環境變化特徵,則稱為認知器。神經網路在學習中,一般分為有教師和無教師學習兩種。感知器採用有教師信號進行學習,而認知器則採用無教師信號學習的。在主要神經網路如Bp網路,Hopfield網路,ART絡和Kohonen網路中;Bp網路和Hopfield網路是需要教師信號才能進行學習的;而ART網路和Khonone網路則無需教師信號就可以學習49[]。所謂教師信號,就是在神經網路學習中由外部提供的模式樣本信號。
機理結構
神經網路的基本組成單元是神經元，在數學上的神經元模型是和在生物學上的神經細胞對應的。或者說，人工神經網路理論是用神經元這種抽象的數學模型來描述客觀世界的生物細胞的。
很明顯，生物的神經細胞是神經網路理論誕生和形成的物質基礎和源泉。這樣，神經元的數學描述就必須以生物神經細胞的客觀行為特性為依據。因此，了解生物神經細胞的行為特性就是一件十分重要而必須的事了。
神經網路的拓樸結構也是以生物學解剖中神經細胞互連的方式為依據的。對神經細胞相互作用情況的揭露也是十分重要的。
神經元是神經網路基本元素。只有了解神經元才能認識神經網路的本質。在這一節介紹神經元的生物學解剖，信息的處理與傳遞方式，工作功能以及其數學模型。
解剖
在人體內，神經元的結構形式並非是完全相同的；但是，無論結構形式如何，神經元都是由一些基本的成份組成的。神經元的生物學解剖可以用圖1—1所示的結構表示。從圖中可以看出：神經元是由細胞體，樹突和軸突三部分組成。
細胞體
細胞體是由很多分子形成的綜合體，內部含有一個細胞核、核糖體、原生質網狀結構等，它是神經元活動的能量供應地，在這裡進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細胞的最外層稱為細胞膜。
樹突
細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳入的信息的入口。
軸突
細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經元興奮的信息傳出到其它神經元的出口。
突觸是一個神經元與另一個神經元之間相聯繫並進行信息傳送的結構。如圖1—2所示。它由突觸前成分，突觸間隙和突觸後成分組成。突觸前成分是一·個神經元的軸突末梢。突觸間隙是突觸前成分與後成分之間的距離空間，間隙一般為200—300Å。突觸後成分可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經元的細胞質並不直接連通，兩者彼此聯繫是通過突觸這種結構接口的。有時．也把突觸看作是神經元之間的連線。
目前，根據神經生理學研究，已經發現神經元及其間的突觸起碼有4種不同行為。神經元4種生物行為有：
(1)能處於抑制或興奮狀態；
(2)能產生爆發和平台兩種情況；
(3)能產生抑制後的反衝；
(4)具有適應性。
突觸的4種生物行為有：
(1)能進行信息綜合；
(2)能產生漸次變化的傳送；
(3)有電接觸和化學接觸等多種連線方式；
(4)會產生延時激發。
目前，人工神經網路的研究僅僅是對神經元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。所以，神經網路的研究只是處於起步的初級階段，後邊還有大量的工作等人們去探討和研究。目前，神經網路的研究已向人們展示了其美好的前景；只要按階段不斷取得進展，神經元和突觸的其它行為是完全可以實現人工模擬的。
信息處理
興奮與抑制
人工神經網路對神經元的興奮與抑制進行模擬，故而首先應了解神經元的興奮與抑制狀態。
一個神經元的興奮和抑制兩種狀態是由細胞膜內外之間不同的電位差來表征的。在抑制狀態，細胞膜內外之間有內負外正的電位差，這個電位差大約在-50— -100mv之間。在興奮狀態，則產生內正外負的相反電位差，這時表現為約60—100mv的電脈衝。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的興奮電脈衝寬度一般大約為1ms。神經元的興奮過程電位變化如圖1—3所示。
圖1-3.神經元的興奮過程電位變化
信息傳遞特性
對神經細胞的研究結果表明：神經元的電脈衝幾乎可以不衰減地沿著軸突傳送到其它神經元去。
由神經元傳出的電脈衝信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產生變化從而釋放神經遞質，這種神經遞質通過突觸的間隙而進入到另一個神經元的樹突中。樹突上的受體能夠接受神經遞質從而去改變膜向離子的通透性．使膜外內離子濃度差產生變化；進而使電位產生變化。顯然，信息就從一個神經元傳送到另一個神經元中。
當神經元接受來自其它神經元的信息時，膜電位在開始時是按時間連續漸漸變化的。當膜電位變化經超出一個定值時，才產生突變上升的脈衝，這個脈衝接著沿軸突進行傳遞。神經元這種膜電位高達一定閥值才產生脈衝傳送的特性稱閥值特性。
這種閥值特性從圖1—3中也可以看出。
神經元的信息傳遞除了有閥值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經元的軸突末梢傳向後一級神經元的樹突或細胞體，不能反之。另一個是延時性傳遞．信息通過突觸傳遞，通常會產生0.5-1ms的延時。
信息綜合特性
神經元對來自其它神經元的信息有時空綜合特性。
在神經網路結構上，大量不同的神經元的軸突末梢可以到達同一個神經元的樹突並形成大量突觸。來源不同的突觸所釋放的神經遞質都可以對同一個神經元的膜電位變化產生作用。因此，在樹突上，神經元可以對不同來源的輸入信息進行綜合。這就是神經元對信息的空間綜合特性。
對於來自同一個突觸的信息，神經元可以對於不同時間傳入的信息進行綜合。故神經元對信息有時間綜合特性。
D/A、A/D特性
從神經元軸突上傳遞的信息是等幅、恆寬、編碼的離散電脈衝信號，故而是一個數字量。但在突觸中神經遞質的釋放和樹突中膜電位的變化是連續的。故而，這時說明突觸有D/A功能。在神經元的樹突膜電位高過一定閥值時，則又變成電脈衝方式由軸突傳送出去。故而，這個過程說明神經元有A/D功能。
很明顯，信息通過一個神經元傳遞時，神經元對信息執行了D/A、A/D轉換過程。
從上面可知，神經元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。
數學模型
從神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據神經元的特性和功能，可以把神經元抽象為一個簡單的數學模型。工程上用的人工神經元模型如圖1-4所示。
圖1-4 人工神經元模型圖1-4 神經元的數學模型
在圖1-4中，X1，X2，……，Xn是神經元的輸入，即是來自前級n個神經元的軸突的信息A，Σ是i神經元的閾值；Wi1，Wi2……，Win分別是i神經元對X1，X2，……，Xn的權係數，也即突觸的傳遞效率；Yi是i神經元的輸出；f[·]是激發函式，它決定i神經元受到輸人X1，X2，……，Xn的共同刺激達到閥值時以何種方式輸出。
從圖1-4的神經元模型，可以得到神經元的數學模型表達式：
數學模型表達式(1-1)
圖1-5.典型激發函式
對於激發函式f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式，這三種形式如圖1—5所示。
為了表達方便；令：
(1-2)
則式(1-1)可寫成下式：
Yi=F[Ui] ； (1-3)
顯然，對於階躍型激發涵數有：
(1-4)
對於線性型激發函式，有：
f(Ui)=Ku； (1-5)
對於S型激發函式，有：
(1-6)
對於階躍型激發函式，它的輸出是電位脈衝，故而這種激發函式的神經元稱離散輸出模型。
對於線性激發函式，它的輸出是隨輸入的激發總量成正比的；故這種神經元稱線性連續型模型。
對於用s型激發函式，它的輸出是非線性的；故這種神經元稱非線性連續型模型。
上面所敘述的是最廣泛套用而且人們最熟悉的神經元數學模型；也是歷史最長的神經元模型。近若干年來，隨著神經網路理論的發展，出現了不少新穎的神經元數學模型，這些模型包括邏輯神經元模型，模糊神經元模型等，並且漸漸也受到人們的關注和重視。
BP神經網路模型
BP網路是一種對非線性可微分函式進行權值訓練的多層網路。它的最大特點是僅僅藉助樣本數據,無需建立系統的數學模型,就可對系統實現由m個輸入神經元的模式向量p組成的pm空間到yn空間n(為輸出節點數)的高度非線性映射。BP算法是為了解決多層前向神經網路的權係數最佳化而提出來的;所以BP算法也重慶大學碩士學位論文3基於BP神經網路的軟體可靠性模型選擇研究通常暗示著神經網路的拓撲結構是一種無反饋的多層前向網路。故而.有時也稱無反饋多層前向網路為BP模型。在人工神經網路的實際套用中,80%一90%的神經網路模型是採用BP網路或它的變化形式。BP算法是用於前饋多層網路的學習算法。
基本特徵
神經網路具有四個基本特徵：
非線性
非線性關係是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關係。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。
非局限性
一個神經網路通常由多個神經元廣泛連線而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連線所決定。通過單元之間的大量連線模擬大腦的非局限性。聯想記憶是非局限性的典型例子。
非常定性
人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用疊代過程描寫動力系統的演化過程。
非凸性
一個系統的演化方向，在一定條件下將取決於某個特定的狀態函式。例如能量函式，它的極值相應於系統比較穩定的狀態。非凸性是指這種函式有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。
發展歷史
1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網路研究的時代。1949年，心理學家提出了突觸聯繫強度可變的構想。60年代，人工神經網路的到了進一步發展，更完善的神經網路模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後，於1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究，加之當時串列計算機和人工智慧所取得的成就，掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性，使人工神經網路的研究處於低潮。在此期間，一些人工神經網路的研究者仍然致力於這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網路，同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經格線模型，引入了“計算能量”概念，給出了網路穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網路模型，為神經計算機的研究做了開拓性的工作，開創了神經網路用於聯想記憶和最佳化計算的新途徑，有力地推動了神經網路的研究，1985年，又有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究，提出了並行分布處理的理論。90年代初，又有脈衝耦合神經網路模型被提出。人工神經網路的研究受到了各個已開發國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變為全球行為。在日本的“真實世界計算（RWC）”項目中，人工智慧的研究成了一個重要的組成部分。
套用
神經網路的套用已經涉及到各個領域，且取得了很大的進展。
自動控制領域
主要有系統建模和辨識，參數整定，極點配置，內模控制，最佳化設計，預測控制，最優控制，濾波與預測容錯控制等。
處理組合最佳化問題
成功解決了旅行商問題，另外還有最大匹配問題，裝箱問題和作業調度問題。
模式識別
手寫字元，汽車牌照，指紋和聲音識別，還可用於目標的自動識別，目標跟蹤，機器人感測器圖像識別及地震信號的鑑別。
圖像處理
對圖像進行邊緣監測，圖像分割，圖像壓縮和圖像恢復。
信號處理
能分別對通訊、語音、心電和腦電信號進行處理分類；可用於海底聲納信號的檢測與分類，在反潛、掃雷等方面得到套用。
機器人控制
對機器人軌道控制，操作機器人眼手系統，用於機械手的故障診斷及排除，智慧型自適應移動機器人的導航，視覺系統。
衛生保健醫療
在乳房癌細胞分析，移植次數最佳化，醫院費用節流，醫院質量改進，疾病診斷模型等方面均有套用。比如通過訓練自主組合的多層感知器可以區分正常心跳和非正常心跳、基於BP網路的波形分類和特徵提取在計算機臨床診斷中的套用。
焊接領域
國內外在參數選擇、質量檢驗、質量預測和實時控制方面都有研究，部分成果已得到套用。
經濟
能對商品價格、股票價格和企業的可信度等進行短期預測
另外，在數據挖掘、電力系統、交通、軍事、礦業、農業和氣象等方面亦有套用。
