10种常见的激活函数
本文介绍10种常见的激活函数。所有的激活函数都有一个特征，非线性，这是作为激活函数的必要条件。
1. relu函数。Relu激活函数的解析式out = max(0, x)，Relu函数及其导数的图像如下图所示：
2. sigmoid函数。sigmoid激活函数图像如下，它的输出取值是(0, 1)。其缺点是在输入值较大和较小时，梯度都会接近于0导致梯度消失问题；另一方面，sigmoid的运算过程也更加耗时。
3. tanh函数。tanh函数的图像与sigmoid十分相似，它的输出取值是(-1, 1),也具有同样的缺点，梯度消失，计算复杂。
标签： #科技数码
郑重声明：图文由自媒体作者发布，我们尊重原作版权，但因数量庞大无法逐一核实，图片与文字所有方如有疑问可与我们联系，核实后我们将予以删除。
