簡介
所謂強化學習就是智慧型系統從環境到行為映射的學習，以使獎勵信號(強化信號)函式值最大，強化學習不同於連線主義學習中的監督學習，主要表現在教師信號上，強化學習中由環境提供的強化信號是對產生動作的好壞作一種評價(通常為標量信號)，而不是告訴強化學習系統RLS(reinforcement learning system)如何去產生正確的動作。由於外部環境提供的信息很少，RLS必須靠自身的經歷進行學習。通過這種方式，RLS在行動-評價的環境中獲得知識，改進行動方案以適應環境。
原理
強化學習強化學習是從動物學習、參數擾動自適應控制等理論發展而來，其基本原理是：
如果Agent的某個行為策略導致環境正的獎賞(強化信號)，那么Agent以後產生這個行為策略的趨勢便會加強。Agent的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大。
強化學習把學習看作試探評價過程，Agent選擇一個動作用於環境，環境接受該動作後狀態發生變化，同時產生一個強化信號(獎或懲)反饋給Agent，Agent根據強化信號和環境當前狀態再選擇下一個動作，選擇的原則是使受到正強化(獎)的機率增大。選擇的動作不僅影響立即強化值，而且影響環境下一時刻的狀態及最終的強化值。
強化學習不同於連線主義學習中的監督學習，主要表現在教師信號上，強化學習中由環境提供的強化信號是Agent對所產生動作的好壞作一種評價(通常為標量信號)，而不是告訴Agent如何去產生正確的動作。由於外部環境提供了很少的信息，Agent必須靠自身的經歷進行學習。通過這種方式，Agent在行動一一評價的環境中獲得知識，改進行動方案以適應環境。
強化學習系統學習的目標是動態地調整參數，以達到強化信號最大。若已知r／A梯度信息，則可直接可以使用監督學習算法。因為強化信號r與Agent產生的動作A沒有明確的函式形式描述，所以梯度信息r／A無法得到。因此，在強化學習系統中，需要某種隨機單元，使用這種隨機單元，Agent在可能動作空間中進行搜尋並發現正確的動作。
模型設計
強化學習每一個自主體是由兩個神經網路模組組成，即行動網路和評估網路。行動網路是根據當前的狀態而決定下一個時刻施加到環境上去的最好動作。
對於行動網路，強化學習算法允許它的輸出結點進行隨機搜尋，有了來自評估網路的內部強化信號後，行動網路的輸出結點即可有效地完成隨機搜尋並且選擇好的動作的可能性大大地提高，同時可以線上訓練整個行動網路。用一個輔助網路來為環境建模，評估網路根據當前的狀態和模擬環境用於預測標量值的外部強化信號，這樣它可單步和多步預報當前由行動網路施加到環境上的動作強化信號，可以提前向動作網路提供有關將候選動作的強化信號，以及更多的獎懲信息(內部強化信號)，以減少不確定性並提高學習速度。
進化強化學習對評估網路使用時序差分預測方法TD和反向傳播BP算法進行學習，而對行動網路進行遺傳操作，使用內部強化信號作為行動網路的適應度函式。
網路運算分成兩個部分，即前向信號計算和遺傳強化計算。在前向信號計算時，對評估網路採用時序差分預測方法，由評估網路對環境建模，可以進行外部強化信號的多步預測，評估網路提供更有效的內部強化信號給行動網路，使它產生更恰當的行動，內部強化信號使行動網路、評估網路在每一步都可以進行學習，而不必等待外部強化信號的到來，從而大大地加速了兩個網路的學習。
設計考慮
一，如何表示狀態空間和動作空間。二，如何選擇建立信號以及如何通過學習來修正不同狀態－動作對的值。三如何根據這些值來選擇適合的動作。用強化學習方法研究未知環境下的機器人導航，由於環境的複雜性和不確定性，這些問題變得更複雜。
標準的強化學習，智慧型體作為學習系統，獲取外部環境的當前狀態信息s，對環境採取試探行為u，並獲取環境反饋的對此動作的評價r和新的環境狀態 。如果智慧型體的某動作u導致環境正的獎賞(立即報酬)，那么智慧型體以後產生這個動作的趨勢便會加強；反之，智慧型體產生這個動作的趨勢將減弱。在學習系統的控制行為與環境反饋的狀態及評價的反覆的互動作用中，以學習的方式不斷修改從狀態到動作的映射策略，以達到最佳化系統性能目的。
目標
學習從環境狀態到行為的映射，使得智慧型體選擇的行為能夠獲得環境最大的獎賞，使得外部環境對學習系統在某種意義下的評價(或整個系統的運行性能)最佳。
