並行分布和串列分布是語言信息處理的中心話題。串列處理（serial processing)指的是幾個處理過程，按次序一個個的進行；並行處理（parallel processing)指的是這些過程同時進行。過去25年來，串列處理模型在語言和認知研究中很有影響，部分的原因是很多語言處理模型以電子計算機為基礎，而目前的計算機大多數均以串列方式運作。
運行機制
電子計算機假定要建立一個語言產生的模型，首先需要把說話人要傳遞的意念作為出發點，而終點便是把意念說出來。那么在兩點之間發生了一些什麼東西呢？一個串列處理模型可以把這個過程分為不同的階段：一個階段是建立句子的短語結構；另一個階段則是提取準備安插到結構里的詞項：還有一個階段則是決定這些詞項的正確發音。並且認為一組加工一次只發生一個，也就是系列加工。串列處理模型假定這些階段一個接著一個進行，一次只發生一個，不會有重疊。假定首先認為這些階段是同時發生的，該模型就是並行處理模型。這也就是說，我們可以一邊發出一個詞的聲音，一邊檢索一個詞。也可以說，在句子結構一湧現時，這兩個過程同時發生。在過去的二十五年中，系列模型在語言和認知研究中有了很大的影響，部分原因是很多模型都基於電子計算機，而電子計算機傾向於以系列方式快速地執行加工。
以下圖為參考：
 | 該圖顯示了一些兩可的例子。注意第二行顯示了3個兩可的字母，他們之間相互約束。第3、4、5行中各存一個字母是兩可的，在其他上下文裡就會被辨認為其他的字母。該圖的目的是用來考察傳性思維模式同塗髒了英語詞的辨認之間的關係。 |
| 並行分布模型解釋圖 | |
語言實例
單詞辨認與思維密切相關產生
大腦神經系統分布示意圖並行分布加工模型被認為是受神經學激發而產生的，因為它們使用了腦而不是計算機作為主要的隱喻。腦中會同時出現很多神經活動。人的思維有邏輯性和直觀性兩種不同的基本方式。 邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分散式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分散式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
我們知道一些神經網路的特性，我們知道神經元能以一種興奮的方式影響相鄰神經元（導致相鄰神經元的活動，或“激活”）或者以一種抑制方式（減少相鄰神經元活動的可能性）影響相鄰神經元。Rumelhart和McClelland按照相同的路線建立了認知模型理論——一個巨大的信息節點互動網路，各節點與其他每個節點之間通過大量的毗鄰節點相互影響。現在PDP是對系列模型的一種重要的替換模型。
神經網路工作原理
神經網路如果輸出為"0”(即結果錯誤)，則把網路連線權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到"A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母"A”、"B”後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連線權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常複雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程式一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程控制。
人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到複雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯繫，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。
樹突是細胞體的延伸部分，它由細胞體發出後逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯繫，形成所謂“突觸”。在突觸處兩神經元並未連通，它只是發生信息傳遞功能的結合部，聯繫界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應於神經元之間耦合的極性。每個神經元的突觸數目正常，最高可達10個。各神經元之間的連線強度和極性有所不同，並且都可調整、基於這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。下面通過人工神經網路與通用的計算機工作特點來對比一下：
若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於計算機，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦，具有並行處理特徵，可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連線強度的分布上，存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡（平均每小時約一千個），但不影響大腦的正常思維活動。
套用
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。目前，主要的研究工作集中在以下幾個方面：
（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。（3）網路模型與算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機饃擬或準備製作硬體，包括網路學習算法的研究。這方面的工作也稱為技術模型研究。（4）人工神經網路套用系統。在網路模型與算法研究的基礎上，利用人工神經網路組成實際的套用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
大腦運行模式與記憶關係密切相關詞條
參考文獻
《心理學》 南開大學出版社
《語言心理學》 華東師範大學出版社
《新編心理語言學》 上海外語教育出版社
