簡介
表達式
指數線性單元
指數線性單元與其他激勵函式對比圖像
ELU與其他類似激活函式對比上圖為ELU、LReLU、ReLU和SReLU的對比圖。
類似激活函式
神經網路中使用激活函式來加入非線性因素，提高模型的表達能力。Leaky ReLU、ELU及SELU均為ReLU的變種函式。
ReLU
Rectified Linear Unit,修正線性單元，形式如下：
指數線性單元RELU公式近似推導：
指數線性單元
指數線性單元其中。
指數線性單元softplus函式與ReLU函式接近，但比較平滑，同ReLU一樣是單邊抑制，有寬廣的接受域(0,+inf)， 但是由於指數運算，對數運算計算量大的原因，而不太被人使用。
ReLU的缺點：
1.壞死: ReLU 強制的稀疏處理會減少模型的有效容量（即特徵禁止太多，導致模型無法學習到有效特徵）。由於ReLU在x < 0時梯度為0，這樣就導致負的梯度在這個ReLU被置零，而且這個神經元有可能再也不會被任何數據激活，稱為神經元“壞死”。
2.無負值: ReLU和sigmoid的一個相同點是結果是正值，沒有負值。
Leaky ReLU
指數線性單元
指數線性單元
指數線性單元 指數線性單元當時，，其中非常小，這樣可以避免在時，不能夠學習的情況：
指數線性單元 指數線性單元稱為Parametric Rectifier(PReLU)，將作為可學習的參數 。
指數線性單元當從高斯分布中隨機產生時稱為Random Rectifier(RReLU)；
指數線性單元當時，稱為Leaky ReLU。
優點：1.不會過擬合；2.計算簡單有效；3.收斂更快。
SELU
指數線性單元SELU是給ELU乘上係數，即：
指數線性單元