[DeeplearningAI笔记]序列模型1.3-1.4循环神经网络原理与反向传播公式

5.1循环序列模型

觉得有用的话,欢迎一起讨论相互学习~Follow Me

1.3循环神经网络模型

为什么不使用标准的神经网络

• 假如将九个单词组成的序列作为输入，通过普通的神经网网络输出输出序列，
  1. 在不同的例子中输入数据和输出数据具有不同的长度，即每个数据不会有一样的长度
     • 也许每个语句都有最大长度，能够通过Padding 的方式填充数据，但总体来说不是一个好的表达方式。
  2. 不共享从文本的不同位置上学到的特征
     • 例如普通神经网络可以学习到Harry这个单词出现在x<1>$x^{<1>}$的位置，但是如果Harry这个单词出现在x<4>$x^{<4>}$的位置，普通的神经网络不能识别的出来。
  3. 输入量巨大，如果词典中最大的单词量是1W的话，则单词的one-hot表示向量将是一个1W维的数据。而一个训练语句中的单词数为Tx$T_x$,则输入数据的维度为Tx∗1W$T_x\ast 1W$此数据维度是十分巨大的。

     

循环神经网络模型

a<0>=0⃗$$a^{<0>}=\overrightarrow{0}$$

a<1>=g(Waaa<0>+WaxX<1>+ba)$$a^{<1>}=g(W_{aa}{a}^{<0>}+W_{ax}{X}^{<1>}+b_a)$$

//g表示非线性激活函数(Tanh/ReLU)$$//g表示非线性激活函数(Tanh/ReLU)$$

y^<1>=g(Wyaa<1>+by)$${\hat{y}}^{<1>}=g(W_{ya}{a}^{<1>}+b_y)$$

//g表示非线性激活函数,但是不一定要与上面的g相同(Sigmoid)$$//g表示非线性激活函数,但是不一定要与上面的g相同(Sigmoid)$$

a<Tx>=g(Waaa<Tx−1>+WaxX<Tx>+ba)$$a^{<T_x>}=g(W_{aa}{a}^{<T_x-1>}+W_{ax}{X}^{<T_x>}+b_a)$$

y^<Tx>=g(Wyaa<Tx>+by)$${\hat{y}}^{<T_x>}=g(W_{ya}{a}^{<T_x>}+b_y)$$

简化循环神经网络数学公式

• 将Waa和Wax合并成一个大的矩阵Wa，将a<t−1>和X<t>合并成[a<t−1>,X<t>]$W_{aa}和W_{ax}合并成一个大的矩阵W_a，将a^{<t-1>}和X^{<t>}合并成[a^{<t-1>},X^{<t>}]$

  具体如下图所示:

  

1.4通过时间的反向传播Backpropagation through time