什麼是激活函式
![圖1](/img/8/e80/wZwpmL0EjM2MzM0UzMxMzM1UTM1QDN5MjM5ADMwAjMwUzL1MzLxYzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
激活函式(Activation functions)對於人工神經網路 模型去學習、理解非常複雜和非線性的函式來說具有十分重要的作用。它們將非線性特性引入到我們的網路中。如圖1,在神經元中,輸入的 inputs 通過加權,求和後,還被作用了一個函式,這個函式就是激活函式。引入激活函式是為了增加神經網路模型的非線性。沒有激活函式的每層都相當於矩陣相乘。就算你疊加了若干層之後,無非還是個矩陣相乘罷了。
為什麼要用激活函式
如果不用激活函式,每一層輸出都是上層輸入的線性函式,無論神經網路有多少層,輸出都是輸入的線性組合,這種情況就是最原始的感知機(Perceptron)。
如果使用的話,激活函式給神經元引入了非線性因素,使得神經網路可以任意逼近任何非線性函式,這樣神經網路就可以套用到眾多的非線性模型中。
常用的激活函式
Sigmoid函式
Sigmoid函式是一個在生物學中常見的S型函式,也稱為S型生長曲線。在信息科學中,由於其單增以及反函式單增等性質,Sigmoid函式常被用作神經網路的閾值函式,將變數映射到0,1之間 。公式如下
![激活函式](/img/0/488/wZwpmL2MTOxIDO4EDMyMzM1UTM1QDN5MjM5ADMwAjMwUzLxAzLyIzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
函式圖像如下
![Sigmoid 圖像](/img/e/33c/wZwpmL2YTM3YDM0cDOwMzM1UTM1QDN5MjM5ADMwAjMwUzL3gzLygzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
Tanh函式
Tanh是雙曲函式中的一個,Tanh()為雙曲正切。在數學中,雙曲正切“Tanh”是由基本雙曲函式雙曲正弦和雙曲餘弦推導而來。公式如下
![激活函式](/img/8/6cf/wZwpmL0QDM1UzN1QTOwMzM1UTM1QDN5MjM5ADMwAjMwUzL0kzL2IzLt92YucmbvRWdo5Cd0FmLxE2LvoDc0RHa.jpg)
函式圖像如下
![Tanh函式圖像](/img/6/0ff/wZwpmLwAzM3QTMzIzMxMzM1UTM1QDN5MjM5ADMwAjMwUzLyMzLzYzLt92YucmbvRWdo5Cd0FmLzE2LvoDc0RHa.jpg)
ReLU函式
Relu激活函式(The Rectified Linear Unit),用於隱層神經元輸出。公式如下
![激活函式](/img/3/393/wZwpmLycjN1gzMwMTOwMzM1UTM1QDN5MjM5ADMwAjMwUzLzkzL0MzLt92YucmbvRWdo5Cd0FmL0E2LvoDc0RHa.jpg)
![ReLU函式圖像](/img/a/0da/wZwpmLwAzN5kzMwQTOxMzM1UTM1QDN5MjM5ADMwAjMwUzL0kzL2QzLt92YucmbvRWdo5Cd0FmLwE2LvoDc0RHa.jpg)
函式圖像如下