極大熵譜估計
正文
估計平穩隨機過程功率譜密度的方法，這種方法在外推時能使自相關函式在未知點的取值具有最大統計自由度。J.P.伯格於1967年首先提出這種方法並把它稱為極大熵譜估計。極大熵譜估計最初套用於地球物理學領域地震記錄數據的分析，後來在雷達、聲納、圖像處理、語言分析以及生物醫學等領域都有廣泛的套用。在統計學中，熵是對各種隨機試驗不確定程度的一種度量。機率分布的熵越大、試驗的可能結果越不確定。伯格的思想是要在外推相關函式的每一步，都既能保證相關函式的已知部分不變，又能在新增加外推值之後使機率分布具有最大的熵；也就是在每步外推時不對未知點處自相關函式取值施加任何限制（即其取值具有最大統計自由度，不對它強加任何條件）。極大熵譜估計的這種特點能克服傳統的功率譜估計方法解析度不高的弱點。在理論上，過程的功率譜是自相關函式的傅立葉變換。傳統的功率譜估計方法是將樣本自相關函式乘以某種窗函式(即對自相關函式加權)，然後再作傅立葉變換。窗函式可以增加譜估計的穩定性並減少譜的泄漏，但窗函式會限制譜的分辨力。傳統方法存在的問題實際上是由於它把沒有觀測到的數據（或其自相關函式）都看作為零，同時對已知部分的信息加以人為修改（加權）而引起的。而極大熵譜估計對已知的最大遲延以外的自相關函式進行合理的外推，因而能提高所求功率譜的分辨力，特別是在已知數據量較少時，其效果比傳統方法更優。
假設一個平穩正態過程自相關函式的前N+1個遲延點的值r(0)，r(1)，…，r(N)已確知,需要求r(N+1)的值。以r(0)，r(1)，…,r(N+1)作為相關函式，則對應的N+2維常態分配的熵為
與這種方法得到的自相關函式所對應的功率譜為
實際計算時，由於只掌握x(t)的有限記錄而無法得知自相關函式的精確值，因此只能用它的估計值替代。伯格在求取r和A（參數向量）的估值方面還提出一種遞推算法，它可以避免矩陣求逆，充分利用數據所提供的信息，而且遞推過程每步所對應的行列式detR都是非負定的。後來又有其他學者提出新的算法，克服伯格算法中的缺點（如所謂譜線分裂和譜峰漂移），但算法的變化並不改變極大熵的原則。
