tensorflow 调参过程

1. optimizer = tf.train.GradientDescentOptimizer(0.1)

参数小，loss减少的慢；参数大，出现Nan问题

2. optimizer = tf.train.AdadeltaOptimizer(learning_rate=1)

改为自适应参数形式

3. tf.nn.relu() 改为 tf.nn.leaky_relu()