卷积神经网络，多核卷积

卷积神经网络是从利用开始，一步一步走到懂过程，再到理解。

对卷积神经网络的理解，先从其结构开始。卷积神经网络包括了输入层，卷积层，池化层（下采样） ,全连接层和输出层。

卷积层，这是卷积神经网络中较为核心的网络层，主要进行卷积操作，基于图像的控件句不相关性分别抽取图像局部特称，通过这些局部特征进行连接，可以形成整体特征。一个卷积核就相当于一个滤波器，找出我们所感兴趣的信息。

池化层（下采样）是对卷积层结果进行下采样操作，主要用来降低维度并保留有效信息，一定程度上避免过拟合。

对于卷积操作，对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。

dropout对于过拟合问题是很有意义的。

2.多通道多个卷积核卷积计算

图片：假设图片的宽度为width:W，高度为height:H，图片的通道数为D，一般目前都用RGB三通道D=3，为了通用性，通道数用D表示；

卷积核：卷积核大小为K*K，由于处理的图片是D通道的，因此卷积核其实也就是K*K*D大小的，因此，对于RGB三通道图像，在指定kernel_size的前提下，真正的卷积核大小是kernel_size*kernel_size*3。

对于D通道图像的各通道而言，是在每个通道上分别执行二维卷积，然后将D个通道加起来，得到该位置的二维卷积输出，对于RGB三通道图像而言，就是在R，G，B三个通道上分别使用对应的每个通道上的kernel_size*kernel_size大小的核去卷积每个通道上的W*H的图像，然后将三个通道卷积得到的输出相加，得到二维卷积输出结果。

standard NN， Convolutional NN ， Recurrent NN

结构化数据和非结构化数据，计算机更喜欢处理结构化数据，但神经网络给我们带来了不同，其更适合处理人类能够容易理解的数据，非结构化数据。

为什么最近神经网络才开始起飞呢？其背后的理论知识已经出现很久了（十几年，几十年），但知道现在才让深度学习流行起来。普通的机器学习算法（传统统计学习算法无法处理海量数据），但随着社会进步，近20年所产生的数据急速增加。 人们想要让计算机达到足够高的性能，就需要训练大规模的神经网络，而大规模的神经网络也需要更大规模的数据来做支撑。