簡介
表達式
![指數線性單元](/img/8/256/wZwpmL3UDN0kDM5MjMzATN1UTM1QDN5MjM5ADMwAjMwUzLzIzL0AzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![指數線性單元](/img/2/16d/wZwpmL3ITOykTN2MzMzATN1UTM1QDN5MjM5ADMwAjMwUzLzMzLyczLt92YucmbvRWdo5Cd0FmLzE2LvoDc0RHa.jpg)
與其他激勵函式對比圖像
![ELU與其他類似激活函式對比](/img/2/a4e/wZwpmLzgDN0IjNzEjMzATN1UTM1QDN5MjM5ADMwAjMwUzLxIzLxMzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
上圖為ELU、LReLU、ReLU和SReLU的對比圖。
類似激活函式
神經網路中使用激活函式來加入非線性因素,提高模型的表達能力。Leaky ReLU、ELU及SELU均為ReLU的變種函式。
ReLU
Rectified Linear Unit,修正線性單元,形式如下:
![指數線性單元](/img/c/6c6/wZwpmL2YDNycDNzIzMzATN1UTM1QDN5MjM5ADMwAjMwUzLyMzL0gzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
RELU公式近似推導:
![指數線性單元](/img/7/23f/wZwpmLwMDM1kzNykTMzATN1UTM1QDN5MjM5ADMwAjMwUzL5EzLxgzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![指數線性單元](/img/2/aa9/wZwpmL0UzN1QDOyQjMzATN1UTM1QDN5MjM5ADMwAjMwUzL0IzLzUzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
其中。
![指數線性單元](/img/8/9f0/wZwpmLxQDM1gTN4kTMzATN1UTM1QDN5MjM5ADMwAjMwUzL5EzL3MzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
softplus函式與ReLU函式接近,但比較平滑,同ReLU一樣是單邊抑制,有寬廣的接受域(0,+inf), 但是由於指數運算,對數運算計算量大的原因,而不太被人使用。
ReLU的缺點:
1.壞死: ReLU 強制的稀疏處理會減少模型的有效容量(即特徵禁止太多,導致模型無法學習到有效特徵)。由於ReLU在x < 0時梯度為0,這樣就導致負的梯度在這個ReLU被置零,而且這個神經元有可能再也不會被任何數據激活,稱為神經元“壞死”。
2.無負值: ReLU和sigmoid的一個相同點是結果是正值,沒有負值。
Leaky ReLU
![指數線性單元](/img/9/aa0/wZwpmLxUzMxMTM0cDO2UzM1UTM1QDN5MjM5ADMwAjMwUzL3gzL1IzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![指數線性單元](/img/4/65e/wZwpmL2ADOwUzNwYzMzATN1UTM1QDN5MjM5ADMwAjMwUzL2MzLyIzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
![指數線性單元](/img/0/92c/wZwpmL3AzM1UzMyEDMyADN0UTMyITNykTO0EDMwAjMwUzLxAzL3UzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
![指數線性單元](/img/9/aa0/wZwpmLxUzMxMTM0cDO2UzM1UTM1QDN5MjM5ADMwAjMwUzL3gzL1IzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
當時,,其中非常小,這樣可以避免在時,不能夠學習的情況:
![指數線性單元](/img/2/a5f/wZwpmL0ATO5kzN0kjMzATN1UTM1QDN5MjM5ADMwAjMwUzL5IzLwczLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
![指數線性單元](/img/0/92c/wZwpmL3AzM1UzMyEDMyADN0UTMyITNykTO0EDMwAjMwUzLxAzL3UzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
稱為Parametric Rectifier(PReLU),將作為可學習的參數 。
![指數線性單元](/img/0/92c/wZwpmL3AzM1UzMyEDMyADN0UTMyITNykTO0EDMwAjMwUzLxAzL3UzLt92YucmbvRWdo5Cd0FmLyE2LvoDc0RHa.jpg)
當從高斯分布中隨機產生時稱為Random Rectifier(RReLU);
![指數線性單元](/img/e/ac3/wZwpmL2UjM5ETOzczN2UzM1UTM1QDN5MjM5ADMwAjMwUzL3czLyIzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
當時,稱為Leaky ReLU。
優點:1.不會過擬合;2.計算簡單有效;3.收斂更快。
SELU
![指數線性單元](/img/5/0b3/wZwpmL2gDO3YTN3ADO3EDN0UTMyITNykTO0EDMwAjMwUzLwgzLyQzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
SELU是給ELU乘上係數,即:
![指數線性單元](/img/3/df3/wZwpmLwQDO2UDOykTMzATN1UTM1QDN5MjM5ADMwAjMwUzL5EzL2YzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)