深度学习Keras框架笔记之激活函数详解
激活函数也是神经网络中一个很重的部分。每一层的网络输出都要经过激活函数。比较常用的有linear，sigmoid，tanh，softmax等。Keras内置提供了很全的激活函数，包括像LeakyReLU和PReLU这种比较新的激活函数。
一、激活函数的使用
常用的方法在Activation层中可以找到。看代码。
from keras.layers.core import Activation, Dense
model.add(Dense(64))
model.add(Activation('tanh'))
等价于：
model.add(Dense(64, activation='tanh')) #此处’tanh’是一个字符串
我们也可以将一个Theano function作为激活函数传递给activation，如下：
deftanh(x):
return theano.tensor.tanh(x)
model.add(Dense(64, activation=tanh)) #此处tanh是函数
model.add(Activation(tanh))
二、常用的激活函数
- softmax: 在多分类中常用的激活函数，是基于逻辑回归的。
- Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。
- Relu：近似生物神经激活函数，最近出现的。
- tanh：双曲正切激活函数，也是很常用的。
- sigmoid：S型曲线激活函数，最常用的。
- hard_sigmoid：基于S型激活函数。
- linear：线性激活函数，最简单的。
三、复杂的激活函数
更复杂的激活函数，可以在keras.layers.advanced_activations中找到。就是开始提到的PReLU和LeakyReLU。这两个函数都是在ReLU的基础之上进行改进的。从相关实验来看，这些函数具有更好的准确度，但是训练时间需要更长，因为计算更复杂。
Keras框架官方文档：https://keras.io/activations/
顺便再分享下自己的网站：圆柱模板，欢迎广大爱好者一起访问探讨！