簡介
偏差是相對於中位數來衡量,而非相對於均值(期望值),在這種情況下為了與通常的 均值無偏性區別,稱作 中值無偏。偏差與一致性相關聯,一致估計量都是收斂並且 漸進無偏的(因此會收斂到正確的值),雖然一致序列中的個別估計量可能是有偏的(只要偏差收斂於零) 。
當其他量相等時,無偏估計量比有偏估計量更好一些,但在實踐中,並不是所有其他統計量的都相等,於是也經常使用有偏估計量,一般偏差較小。當使用一個有偏估計量時,也會估計它的偏差。有偏估計量可能用於以下原因:由於如果不對總體進一步假設,無偏估計量不存在或很難計算(如標準差的無偏估計);由於估計量是中值無偏的,卻不是均值無偏的(或反之);由於一個有偏估計量較之無偏估計量(特別是收縮估計量)可以減小一些損失函式(尤其是均方差);或者由於在某些情況下,無偏的條件太強,而這些無偏估計量沒有太大用處。此外,在非線性變換下均值無偏性不會保留,不過中值無偏性會保留;例如樣本方差是總體方差的無偏估計量,但它的平方根標準差則是總體標準差的有偏估計量。
定義
![有偏估計](/img/4/055/wZwpmL3gzNzYTO1cjN1IDN0UTMyITNykTO0EDMwAjMwUzL3YzL2YzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/e/34d/wZwpmL0UzN4ATN3ITN0YzM1UTM1QDN5MjM5ADMwAjMwUzLyUzLyYzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/d/f35/wZwpmLzITO5gDM2gzNwMzM1UTM1QDN5MjM5ADMwAjMwUzL4czL4czLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/1/036/wZwpmL3QzM5YjNzMjM0EDN0UTMyITNykTO0EDMwAjMwUzLzIzL3EzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/4/055/wZwpmL3gzNzYTO1cjN1IDN0UTMyITNykTO0EDMwAjMwUzL3YzL2YzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/e/34d/wZwpmL0UzN4ATN3ITN0YzM1UTM1QDN5MjM5ADMwAjMwUzLyUzLyYzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/4/055/wZwpmL3gzNzYTO1cjN1IDN0UTMyITNykTO0EDMwAjMwUzL3YzL2YzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/d/f35/wZwpmLzITO5gDM2gzNwMzM1UTM1QDN5MjM5ADMwAjMwUzL4czL4czLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/4/055/wZwpmL3gzNzYTO1cjN1IDN0UTMyITNykTO0EDMwAjMwUzL3YzL2YzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/4/055/wZwpmL3gzNzYTO1cjN1IDN0UTMyITNykTO0EDMwAjMwUzL3YzL2YzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
設我們有一個參數為實數 的機率模型,產生觀測數據的機率分布 ,而統計量 是基於任何觀測數據 下 的估計量。也就是說,我們假定我們的數據符合某種未知分布 (其中 是一個固定常數,而且是該分布的一部分,但具體值未知),於是我們構造估計量 ,該估計量將觀測數據與我們希望的接近 的值對應起來。因此這個估量的(相對於參數 的) 偏差定義為
![有偏估計](/img/e/cd3/wZwpmLxIzNygTM5czN0YzM1UTM1QDN5MjM5ADMwAjMwUzL3czL3AzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/5/6b2/wZwpmL0QTNwQzN3AzN0YzM1UTM1QDN5MjM5ADMwAjMwUzLwczL0AzLt92YucmbvRWdo5Cd0FmLzE2LvoDc0RHa.jpg)
![有偏估計](/img/e/34d/wZwpmL0UzN4ATN3ITN0YzM1UTM1QDN5MjM5ADMwAjMwUzLyUzLyYzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/1/036/wZwpmL3QzM5YjNzMjM0EDN0UTMyITNykTO0EDMwAjMwUzLzIzL3EzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/9/6cd/wZwpmL0ADN5UjN3ITN0YzM1UTM1QDN5MjM5ADMwAjMwUzLyUzL1gzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
其中 表示分布 的期望值,即對所有可能的觀測值 取平均。由於 θ對於條件分布 是可測的,就有了第二個等號。
對於參數 θ的所有值的偏差都等於零的估計量稱為 無偏估計。
在一次關於估計量性質的模擬實驗中, 有偏估計可以用平均有符號離差來評估。
樣本方差
隨機變數的樣本方差從兩方面說明了估計量偏差:首先,自然估計量(naive estimator)是有偏的,可以通過比例因子校正;其次,無偏估計量的均方差(MSE)不是最優的,可以用一個不同的比例因子來最小化,得到一個比無偏估計量的MSE更小的有偏估計量。
![有偏估計](/img/a/e3f/wZwpmL1AzN1kDO3ATMwEDN0UTMyITNykTO0EDMwAjMwUzLwEzL4UzLt92YucmbvRWdo5Cd0FmLzE2LvoDc0RHa.jpg)
![有偏估計](/img/1/3f1/wZwpmL3EDN2IDNzgTO5kzM0UTMyITNykTO0EDMwAjMwUzL4kzLwYzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/1/3f1/wZwpmL3EDN2IDNzgTO5kzM0UTMyITNykTO0EDMwAjMwUzL4kzLwYzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/3/a12/wZwpmL4gjN2MDOxUjMzEzM1UTM1QDN5MjM5ADMwAjMwUzL1IzL3IzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
具體地說,自然估計量就是將離差平方和加起來然後除以 ,是有偏的。不過除以 會得到一個無偏估計量。相反,MSE可以通過除以另一個數來最小化(取決於分布),但這會得到一個有偏估計量。這個數總會比 大,所以這就叫做收縮估計量,因為它把無偏估計量向零“收縮”;對於常態分配,最佳值為 。
![有偏估計](/img/9/9e6/wZwpmL1IzMwgTNwgjNxMzM1UTM1QDN5MjM5ADMwAjMwUzL4YzL4QzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/0/588/wZwpmL3gDM3MDM4MDMwEDN0UTMyITNykTO0EDMwAjMwUzLzAzLzMzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![有偏估計](/img/7/9d5/wZwpmL1EDO4kTNwMTMzEDN0UTMyITNykTO0EDMwAjMwUzLzEzLwMzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
設 期望為 、方差為 的獨立同分布隨機變數。如果樣本均值與未修正樣本方差定義為
![有偏估計](/img/e/7e8/wZwpmLzMjM2ADM2EDO0YzM1UTM1QDN5MjM5ADMwAjMwUzLxgzL2gzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/a/d4b/wZwpmLwATM4MDMxQzMxADN0UTMyITNykTO0EDMwAjMwUzL0MzL3MzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![有偏估計](/img/7/9d5/wZwpmL1EDO4kTNwMTMzEDN0UTMyITNykTO0EDMwAjMwUzLzEzLwMzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
則 是 的一個有偏估計量,因為
![有偏估計](/img/2/dd0/wZwpmLwADO4QTM5QTN0YzM1UTM1QDN5MjM5ADMwAjMwUzL0UzL3QzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![有偏估計](/img/5/e91/wZwpmLygDN4ADM2IjN0YzM1UTM1QDN5MjM5ADMwAjMwUzLyYzLyUzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/7/9d5/wZwpmL1EDO4kTNwMTMzEDN0UTMyITNykTO0EDMwAjMwUzLzEzLwMzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![有偏估計](/img/0/588/wZwpmL3gDM3MDM4MDMwEDN0UTMyITNykTO0EDMwAjMwUzLzAzLzMzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
換句話說,未修正的樣本方差的期望值不等於總體方差 ,除非乘以歸一化因子。而樣本均值是總體均值 的無偏估計量。
![有偏估計](/img/a/d4b/wZwpmLwATM4MDMxQzMxADN0UTMyITNykTO0EDMwAjMwUzL0MzL3MzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![有偏估計](/img/0/588/wZwpmL3gDM3MDM4MDMwEDN0UTMyITNykTO0EDMwAjMwUzLzAzLzMzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![有偏估計](/img/5/682/wZwpmLyYzM1IjM3AzNwMzM1UTM1QDN5MjM5ADMwAjMwUzLwczL1czLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![有偏估計](/img/c/c7e/wZwpmL0UDN4UTM2kzN0YzM1UTM1QDN5MjM5ADMwAjMwUzL5czL3UzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![有偏估計](/img/0/a4d/wZwpmLxITM4gDM5QzN0YzM1UTM1QDN5MjM5ADMwAjMwUzL0czL1czLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
是有偏的原因源於樣本均值是的普通最小二乘(OLS)估計量這個事實: 是令 儘可能小的數。也就是說,當任何其他數代入這個求和中時,這個和只會增加。尤其是,在選取 就會得出,
![有偏估計](/img/1/7c3/wZwpmL2cDO2MTM0IDO0YzM1UTM1QDN5MjM5ADMwAjMwUzLygzLwYzLt92YucmbvRWdo5Cd0FmLzE2LvoDc0RHa.jpg)
於是,
![有偏估計](/img/d/752/wZwpmL4YTN4MzMwUjN0YzM1UTM1QDN5MjM5ADMwAjMwUzL1YzLzUzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
注意到,通常的樣本方差定義為
![有偏估計](/img/8/f27/wZwpmLwUTNykjM4MTN0YzM1UTM1QDN5MjM5ADMwAjMwUzLzUzL0AzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
而這時總體方差的無偏估計量。可以由下式看出:
![有偏估計](/img/f/1da/wZwpmL4EjM5ETNwkTN0YzM1UTM1QDN5MjM5ADMwAjMwUzL5UzL4UzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
有偏(未修正)與無偏估計之比稱為貝塞爾修正 。