神经网络-激活函数

作者:一个独行的程序员

在训练神经网络的参数时,我们通常会使用一些激活函数(Activation Function)来引入非线性因素,解决一些线性不可分的问题。这篇文章主要介绍几种常用的激活函数。

1.Sigmoid

sigmoid

最早使用的激活函数,形式简单,且微分形式便于计算:

$$
f(x)=\frac{1}{1+e^{-x}}
$$

$$
f^{‘}(x)=f(x)(1-f(x))
$$

2.tanh

sigmoid的一种变体,将1的值域从[0,1]扩展到了[-1,1],又称为双极性sigmoid函数

$$
t(x)=\frac{1-e^{-x}}{1+e^{-x}}\ =\ 2f(x)-1
$$
$$
t^{‘}(x)=1-t(x)^2
$$