簡介
數學規劃的基本概念之一。指在數學規劃問題中，使目標函式取最小值（對極大化問題取最大值）的可行解。使目標函式取最小值的可行解稱為極小解，使其取最大值的可行解稱為極大解。極小解或極大解均稱為最優解。相應地，目標函式的最小值或最大值稱為最優值。有時，也將最優解和最優值一起稱為相應數學規劃問題的最優解。
線性規劃的最優解不一定只有一個，若其有多個最優解，則所有最優解所構成的集合稱為該線性規劃的最優解域。
例如:已知變數x，y滿足約束條件：
1、y≤3;
2、x+y≥1;
3、x-y≤1，
則z=2x-y的最優解為（4，3）或（-2，3）；
定理
最優解
最優解
最優解 最優解 最優解
最優解設D =非空， 則它的極點集非空且包含有限多個點 而且D 的極方向集非空若且唯若D 無界。若D 無界， 則它的極方向集包含有限個向量 此外， x ∈D 若且唯若x 可以表示為 的凸組合與的非負線性組合之和， 即
最優解
最優解
最優解
最優解
最優解其中，，；，
最優解
最優解
最優解設（SL P）有最優解， 則必存在基最優解（最優極點） ， 記（SL P）的最優極點集為另外， 由(1) 式不難看出，（SL P）有最優解若且唯若對於所有的極方向有。
最優解 最優解
最優解 最優解
最優解 最優解
最優解設 為（SL P） 的最優解， 若D 的某極方向 滿足 （即與c正交） ， 則易見， 對於任意的， 都是最優解。 我們稱滿足的極方向為最優極方向。 記（SL P）的最優極方向集為。
判定方法
最小二乘法估計
最小二乘法估計是建立在模型服從高斯分布的假設之上。當從模型總體隨機抽取M組樣本觀測值後，最合理的參數估計值應該使得模型能最好地擬合樣本數據，也就是估計值和觀測值之差的平方和最小。而對於最大似然估計，當從模型總體隨機抽取M組樣本觀測值後，最合理的參數估計值應該使得從模型中抽取該M組樣本觀測值的機率最大。
最大似然估計
最大似然估計代表了頻率派的觀點：參數雖然未知但是客觀存在的，當參數求出來後，x，y也就知道了。
最優解
最優解假設我們觀察的變數是x，觀察的變數取值（樣本）為，要估計的模型參數是θ，x的分布函式是。那么最大似然函式就是θ的一個估計值，它使得事件發生的可能性最大：
通常認為x是獨立同分布的：
所以最大似然估計的一般求解流程就是：
最大似然估計中，參數θ是一個固定的值，只要能夠擬合樣本數據就可以了。但是當樣本過少的時候就容易出現過擬合現象，會得到諸如只要沒見過飛機相撞，飛機就一定不會相撞的扭曲事實。
貝葉斯估計
貝葉斯派將參數θ作為隨機變數，服從某一分布。正因為參數是不固定的，對於給定的x無法用確定的y來表示，而是用機率的方式來表達。
最優解我們希望求出觀察到樣本x的情況下，θ的分布情況。根據貝葉斯定理可得：
最優解上面的後驗機率通常是很難計算的，因為要對所有的參數進行積分，而且，這個積分其實就是所有θ的後驗機率的匯總，其實它是與最優θ是無關的，而我們只關心最優θ（相同）。在這種情況下，我們採用了一種近似的方法求後驗機率，這就是最大後驗估計：
最大後驗估計相比最大似然估計，只是多了一項先驗機率，它正好體現了貝葉斯認為參數也是隨機變數的觀點，在實際運算中通常通過超參數給出先驗分布。最大似然估計其實是經驗風險最小化的一個例子，而最大後驗估計是結構風險最小化的一個例子。如果樣本數據足夠大，最大後驗機率和最大似然估計趨向於一致，如果樣本數據為0，最大後驗就僅由先驗機率決定。儘管最大後驗估計看著要比最大似然估計完善，但是由於最大似然估計簡單，很多方法還是使用最大似然估計。
