tensorflow学习之路---解决过拟合

'''

思路：

1、调用数据集 2、定义用来实现神经元功能的函数（包括解决过拟合） 3、定义输入和输出的数据

4、定义隐藏层（函数）和输出层（函数） 5、分析误差和优化数据（改变权重）

6、执行神经网络

'''

import tensorflow as tf

from sklearn.datasets import load_digits

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import LabelBinarizer

#调用数据

digits = load_digits()#下载数据

X = digits.data #样本特征

Y = digits.target #样本准确值

y = LabelBinarizer().fit_transform(Y) #将数据转化为二值数组

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3)#分配数据

'''

扩展知识点

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data，形式为：

X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

参数代表含义:

train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子。

'''

print(len(X_train))

#定义用来实现神经元功能的函数

def add_layer(inputs,in_size,out_size,keep_prob,layer_name,activation_function=None):

　　Weights = tf.Variable(tf.random_normal([in_size,out_size]))

　　biases = tf.Variable(tf.zeros([1,out_size])+0.1)

　　Wx_plus_Bx = tf.matmul(inputs,Weights)+biases

#在这里处理过拟合

　　Wx_plus_b = tf.nn.dropout(Wx_plus_Bx,keep_prob)

　　if activation_function==None:

　　　　outputs = Wx_plus_b

　　else:

　　　　outputs = activation_function(Wx_plus_b)

　　tf.summary.histogram(layer_name+'/outputs',outputs)

　　return outputs

#定义输入和输出的数据

x_data = tf.placeholder(tf.float32,[None,64])#这是因为sklearn中的手写图片的像素和、为8*8

y_data = tf.placeholder(tf.float32,[None,10])#数字只有10个

keep_prob = tf.placeholder(tf.float32)#定义过拟合数

#定义隐藏层和输出层

layer = add_layer(x_data,64,50,keep_prob,'l1',tf.nn.tanh)#隐藏层

prediction = add_layer(layer,50,10,keep_prob,'l2',tf.nn.softmax)#输出层

#分析误差和优化数据

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_data*tf.log(prediction),reduction_indices=[1]))

scalar_loss = tf.summary.scalar('loss',cross_entropy)

train_step = tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)

#初始化所有的变量

init = tf.global_variables_initializer()

merged = tf.summary.merge_all()#定义一个图框

'''

因为sess是在sess的时候才出现的，所以应该写在sess的面

train_writer = tf.summary.FileWriter('logs/train',sess.graph)

test_writer = tf.summary.FileWriter('logs/test',sess.graph)

'''

#执行

with tf.Session()as sess:

　　sess.run(init)

　　#写入网页，这当中只有histogram和scaler同时出现才能写入网页

　　train_writer = tf.summary.FileWriter('Logs/train',sess.graph)

　　test_writer = tf.summary.FileWriter('Logs/test',sess.graph)

　　for i in range(1000):

　　　　sess.run(train_step,feed_dict = {x_data:X_train,y_data:y_train,keep_prob:0.6})

　　　　if i%50==0:

　　　　　　train_result = sess.run(merged,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})

'''

这个merged会自动的将预测值的精确度求出来

'''

　　　　　　test_result = sess.run(merged,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})

　　　　　　train_writer.add_summary(train_result,i)#将数据划入图中

　　　　　　test_writer.add_summary(test_result,i)#将数据划入图中

'''

这里出现一个错误：就是test_result = sess.run(scalar_loss,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})

train_result = sess.run(scalar_loss,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})中的scalar_loss

改为merged的时候，再次执行就会报错

解决办法

1、我们可以关机，然后把logs文件里面的东西删除，然后在执行一次。因为他是系统日志文件

2、由于我，这里只是想损失函数loss通过tensorboard显示出来而已，并且字典表也正常赋值了：

result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})

一切都很正常，想来想去感觉这个函数应该可以采用其他方式替换：

merged = tf.summary.merge_all()

这是tensorflow提供的合并所有summary信息的api，但是我只是想合并损失函数loss的summary

'''