keras模块之-优化器，optimizers--笔记

本笔记由博客园-圆柱模板 博主整理笔记发布，转载需注明，谢谢合作!

优化器是调整每个节点权重的方法，如：

model = Sequential() 
model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh')) 
model.add(Activation('softmax')) 
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)

　　可以看到优化器在模型编译前定义，作为编译时的两个参数之一

代码中的sgd是随机梯度下降算法

lr表示学习速率

momentum表示动量项

decay是学习速率的衰减系数(每个epoch衰减一次)

Nesterov的值是False或者True，表示使不使用Nesterov momentum

以上4个参数以后具体学习了再解析

除了sgd，还可以选择的优化器有RMSprop（适合递归神经网络）、Adagrad、Adadelta、Adam、Adamax、Nadam