研究背景
20世紀60年代初，由於空間技術的迅猛發展和計算機的廣泛套用，使得動態系統的最佳化理論得到了迅速發展，形成了最優控制這一重要的學科分支。最優控制是現代控制理論的一個重要組成部分。最優控制問題大都是從具體工程實踐中歸納和提煉出來的，隨著最優控制理論的不斷完善，其在航空、航天、工業過程控制、經濟管理與決策以及人口控制等領域得到了成功的套用，並取得了顯著的成就。
最優控制是使被控系統的性能指標實現最最佳化的一種綜合策略，可概括為，對一個受控的動力學系統或運動過程，從一類允許的控制方案中找出一個最優的控制策略，使系統的運動在由某個初始狀態轉移到指定的目標狀態的同時，其性能指標值為最優。最優控制問題廣泛存在實際的生產中，可以說最優控制問題無處不在。例如，對於吊車系統的吊運控制問題，希望在吊運過程中，擺角越小越好，同時吊運時間越短越好;對於機械臂系統的控制問題，期望機械臂系統的跟蹤誤差越小越好;對於行星著陸器的動力下降段的控制問題，期望對參考軌跡的跟蹤效果好以及燃料消耗最少。
簡介
為了解決最優控制問題，必須建立描述受控運動過程的運動方程，給出控制變數的允許取值範圍，指定運動過程的初始狀態和目標狀態，並且規定一個評價運動過程品質優劣的性能指標。通常，性能指標的好壞取決於所選擇的控制函式和相應的運動狀態。系統的運動狀態受到運動方程的約束，而控制函式只能在允許的範圍內選取。因此，從數學上看，確定最優控制問題可以表述為：在運動方程和允許控制範圍的約束下，對以控制函式和運動狀態為變數的性能指標函式（稱為泛函）求取極值（極大值或極小值）。解決最優控制問題的主要方法有古典變分法、極大值原理和動態規劃。
對於非線性系統，其最優控制的解一般是不存在的再加上非線性系統的複雜性和多樣性，這方面的研究成果還很少，尚待解決的問題還很多，本文對非線性最優控制理論現有研究成果對比進行了詳細的闡述，並對其優缺點進行了客觀的對比，為非線性最優控制理論的進一步研究提供參考。
近年來，最優控制理論的研究，無論在深度和廣度上，都有了很大的發展，已成為系統與控制領域最熱門的研究課題之一，取得了許多研究成果同時，也在與其他控制理論相互滲透，出現了許多新的最優控制方式，形成了更為實用的學科分支例如魯棒最優控制、隨機最優控制、分布參數系統的最優控制、大系統的次優控制網、離散系統的最優控制及最優滑模變結構控制nxi等而對於非線性系統，其最優控制求解相當困難，需要求解非線性HJB方程或非線性兩點邊值問題，除簡單情祝外，這兩個問題都無法得到解析。因此，許多學者都致力於尋求近似的求解方法，通過近似解得到近似的最優控，即次優控制。
最優控制算法
簡介
解決最優控制問題最大的難點在於HJB方程的求解，只有當系統模型是低階線性模型時，才有可能給出具有顯式表達式的最優控制解。在實際系統里，乃至自然界中，幾乎絕大多數系統都是非線性的系統，想得到具有顯式表達式的控制量幾乎不可能，這就需要藉助計算機，以及選擇合適的最優的數值解法，以得到最優解。一般的，最優控制問題的求解方法為數值算法。極大值原理和動態規劃從理論方面研究了最優控制所應遵循的方程和條件，而最優控制的數值算法則是從計算方面來確定最優控制量的具體方法和步驟。
評價最優控制數值算法優劣的三個主要方面是算法的收斂性、計算複雜性以及數值穩定性。算法的收斂性是保證計算過程能達到正確結果的前提。算法的計算複雜性也尤其重要，這對實時控制具有特別重要的意義。一個好的算法應使計算量和存儲量儘可能小，以便能由儘可能簡單的計算機來實現計算。好的算法還應具有較好的數值穩定性，即計算的結果對初始數據和運算過程的誤差不能過於敏感，同時具有處理病態問題的能力。典型的最優控制數值算法包括:求解由極大值原理導出的微分或差分方程的兩點邊值問題的各種算法，對動態規劃中的貝爾曼方程進行數值求解_的算法，求解線性二次型最優控制問題的黎卡提方程的各種算法，處理控制或狀態受約束問題的懲罰函式法，在控制策略的函式空間中利用搜尋尋優或梯度尋優技術和牛頓一拉夫森方法等直接求解非線性系統最優控制問題的算法等。其中，針對非線性系統的開環最優控制問題和線性二次型最優控制問題展開的數值算法研究尤多。
最優問題間接求解法
在間接法中，我們依靠最小值原理和其它一些必要條件得到一個兩點邊值問題，然後通過數值求解該問題得到相應的最優軌跡。在幾種基於打靶法求解兩點邊值問題的方法中，多重打靶法是最引人矚目的。而其它的一些間接數值求解法，比如伴隨方程的向前一向後積分法、函式空間梯度法等，在過去的幾年中套用並不十分廣泛。間接法的主要優點是解的精度高，同時方法保證了求解滿足最優條件。然而間接法常常會遇到比較嚴重的解的收斂性問題。如果在求解中，沒有關於系統初始值的一個好的選取，或是沒有關於約束和非約束下系統運動軌跡的先驗知識，收斂過程可能需要花費很長的計算時間，甚至可能根本無法找到最優解。
最優問題直接求解法
在直接法中，連續性的最優控制問題通過參數化的過程被轉化為了一個有限維的最佳化問題。轉化後的問題可以通過一些已有的比較成熟的約束最佳化算法進行數值求解。相對於間接法而言，直接法無需考慮最最佳化條件，而是直接求解問題本身。直接法不易受到收斂問題的影響，但估計的精度不如間接法。最優的必要條件不是直接滿足的，而且伴隨量的估計精度有時也會很差。現在比較常用的幾種直接求解方法包括最優參數控制法，有限差分方法，配點法，微分包含方法和偽譜方法。在最優參數控制法中，控制量被單獨參數化，同時數值積分方法被用來求解微分方程;在有限差分方法中，原微分方程和邊界條件被近似為有限差分方程組:在配點法中，狀態量和控制量同時被參數化，在各個節點處，局部分段多項式被用來近似微分方程;微分包含方法只是將狀態量參數化，並使用由速端曲線定義的狀態變化率;在偽譜方法中，通過全局多項式將狀態量和控制量同時參數化，積分方程和微分方程通過求積法被近似。配點法和偽譜方法的一個重要的特點就是伴隨量的相合估計。
非線性最優控制理論研究成果分類
目前，較為流行的近似最優控制求解方法主要有以下幾類：
冪級數展開法
冪級數展開方法通過一個冪級數來構造控制律，得到序列形式的近似最優解，或者將系統中的非線性項以冪級數形式分解，或者通過引進一個臨時變數並圍繞它展開。
非線性最優控制 將上式代入HJB方程求得級數近似解，也可利用Adomian分解將非線性項進行分解。由此尋求非線性HJB方程級數的近似解。
Galcrkin逐次逼近方法
由動態規劃得到的一般性偏微分HJB方引入一個疊代過程來求解一般非線性HJB方程的一個近似解序列
非線性最優控制 廣義正交多項式級數展開法
其主要思想是將最優控制問題中的狀態變數，控制輸入，性能指標和各個參數分別用廣義正交多項式展開，利用廣義正交多項式的積分、乘積運算陣
非線性最優控制 將描述系統的微分方程轉化為一系列的代數方程X=MU+N。然後，得到TU=V，當T非奇異時，由U=TV得到的控制律是一個多項式級數解u(t)=θ(t)U。該方法將最優控制問題轉化為代數極值問題，從而避免了求解時變非線性Riccati方程
有限差分和有限元方法
經典的有限差分和有限元方法可以用來近似求解非線性HJB方程近年來，這類方法用來近似求取非線性HJB方程的粘性解。
狀態相關Riccati方程方法
這種方法適用的模型是仿射非線性系統。通過極大值原理假設最優控制律具有如下形式。
非線性最優控制 其中P(x)為下式所述里卡提方程的解
非線性最優控制 這樣，問題的關鍵歸結於近似求解P(x)。狀態相關里卡提方程方法通過在P(x)中引入靈敏度參數變數ε，在ε=o鄰域內將P(x)展為冪級數
非線性最優控制 通過比較冪級數同次項係數將狀態相關里卡提方程分解為一組矩陣微分方程式列，由此求得其近似解狀態相關里卡提方程方法所設計的近似最優控制律是一種級數形式的狀態反饋控制律
Riccati方程近似序列法
該方法對非線性系統構造線性時變序列以及相應的線性二次型時變性能指標，得到線性時變序列的最優反饋控制序列
非線性最優控制 此方法計算量較大，但是當系統的維數不是很大時，較里卡提方程近似序列方法具有很快的收斂速度，並表現出很好的魯棒性。
逐次逼近法
該方法是針對非線性的一次項和高次項可分離的一類非線性系統進行近似最優控制問題的求解，給出了一種逐次逼近的近似求解方法該方法針對由極大值原理導致的兩點邊值問題，構造近似的等價序列將其轉化為一組線性非齊次兩點邊值問題序列，通過疊代求解一系列的向量微分方程，包括狀態向量方程式列和共態向量方程式列，得到原非線性系統近似最優控制問題的解該方法被廣泛套用到各類非線性系統，其最大優點是在疊代過程中每次計算的不是矩陣微分或代數方程，而是向量微分或代數方程，計算量大大減少，而且實時性很高。
線性與非線性最優控制
線性最優控制
線性最優控制（linear optimal control）最優控制問題的實質是要找出允許的控制作用（規律），使得動態系統（受控對象）從初始狀態轉移到某種要求的終端狀態，並且保證某種要求的性能指標達到最小（大）。線性最優控制是特指那類受控對象為線性時不變系統的最優控制。
線性最優控制是最優控制的一個特殊類。線上性最優控制中，受控制的裝置假設為線性的，而控制器，即產生最優控制作用的裝置也限於是線性的。這就是說，控制器輸出即最優控制是與輸人線性相關，而輸人則是對裝置進行測量而產生的量。當然，人們一定會問，為什麼要特別地研究線性最優控制，而不直接研究最優控制呢？這裡可以提出一些理由。例如，工程上許多實際裝置在其附加控制器之前是線性的，而 且線性控制器在技術上是最易實現的，且它往往能滿足需要。
區別
線性和非線性最優控制理論之間既有相似之處更有重大區別。當系統為線性的時候，它的解可以由轉移函式表出，特別是在定常情況下，轉移函式有具體表達式，這就為我們的分析提供了十分便和之處。另一方面，在最大值原理基礎上獲得的Hamilton函式關於控制的偏導呈現相對簡單的形式，往往可以求出最優反饋率，從而完全解決最優控制問題。非線性的情況則複雜得多，對它的研究也不夠徹底，許多方面還有待進一步深入。這個領域的研究有一個十分明顯的特點，那就是多種數學理論和方法的綜合運用，包括非線性泛函分析、代數、和微分幾何方法等等。
線性最優控制所要求的電腦程式往往可以用於非線性最優控制問題。
非線性最優控制理論研究成果對比
冪級數展開方法要求系統關於狀態向量X解析，才能夠進行展開，這在實際工程套用中是不現實的Galcrkin逐次逼近法的收斂性過於依賴系統的初值，收斂性在很多情祝下是無法保證的廣義正交多項式級數展開法和有限差分、有限元方法都是採用不同的數學工具來解決近似求解非線性系統的最優控制問題，但這兩種方法的計算收斂性不好，所需的巨大計算量也使得它們離工程實際套用有很大一段距離狀態相關里卡提方程適用於一類仿射非線性系統里卡提方程近似序列方法同樣適用於一類仿射非線性系統，當處理高維系統時，其計算量將很大而逐次逼近法，從計算複雜度看，是對向量疊代，得到的最優控制律是由精確的線性反饋項和非線性補償項組成，將最優控制的求解轉化為非線性補償向量序列的求極限過程，大大減少了計算量，容易被實際工程所套用簡言之，逐次逼近法通過較為簡單的計算設計得到系統的近似最優控制律，具有計算量少，易於工程實現的優點，有很好的工程套用前景然而，逐次逼近法的缺點在於其對外部擾動和系統內部參數攝動以及未建模動態敏感，因此提高最優控制的魯棒性是非常必要的。
