长短时记忆网络的训练
熟悉咱们这个系列文章的同窗都清楚，训练部分每每比前向计算部分复杂多了。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法必定是很是很是复杂的。如今只有作几回深呼吸，再一头扎进公式海洋吧。算法
LSTM训练算法框架
LSTM的训练算法仍然是反向传播算法，对于这个算法，咱们已经很是熟悉了。主要有下面三个步骤：网络
- 前向计算每一个神经元的输出值，对于LSTM来讲，即
ft
、
it
、
ct
、
ot
、
ht
五个向量的值。计算方法已经在上一节中描述过了。
- 反向计算每一个神经元的偏差项
δ
值。与循环神经网络同样，LSTM偏差项的反向传播也是包括两个方向：一个是沿时间的反向传播，即从当前t时刻开始，计算每一个时刻的偏差项；一个是将偏差项向上一层传播。
- 根据相应的偏差项，计算每一个权重的梯度。
关于公式和符号的说明
首先，咱们对推导中用到的一些公式、符号作一下必要的说明。框架
接下来的推导中，咱们设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数。他们的导数分别为：ide
σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(8)(9)(10)(11)
从上面能够看出，sigmoid和tanh函数的导数都是原函数的函数。这样，咱们一旦计算原函数的值，就能够用它来计算出导数的值。函数
LSTM须要学习的参数共有8组，分别是：遗忘门的权重矩阵
Wf
和偏置项
bf
、输入门的权重矩阵
Wi
和偏置项
bi
、输出门的权重矩阵
Wo
和偏置项
bo
，以及计算单元状态的权重矩阵
Wc
和偏置项
bc
。由于权重矩阵的两部分在反向传播中使用不一样的公式，所以在后续的推导中，权重矩阵
Wf
、
Wi
、
Wc
、
Wo
都将被写为分开的两个矩阵：
Wfh
、
Wfx
、
Wih
、
Wix
、
Woh
、
Wox
、
Wch
、
Wcx
。学习
咱们解释一下按元素乘
∘
符号。当
∘
做用于两个向量时，运算以下：atom
a∘b=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥
当
∘
做用于一个向量和一个矩阵时，运算以下：spa
a∘X=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥(12)(13)
当
∘
做用于两个矩阵时，两个矩阵对应位置的元素相乘。按元素乘能够在某些状况下简化矩阵和向量运算。例如，当一个对角矩阵右乘一个矩阵时，至关于用对角矩阵的对角线组成的向量按元素乘那个矩阵：code
diag[a]X=a∘X
当一个行向量右乘一个对角矩阵时，至关于这个行向量按元素乘那个矩阵对角线组成的向量：orm
aTdiag[b]=a∘b
上面这两点，在咱们后续推导中会屡次用到。
在t时刻，LSTM的输出值为
ht
。咱们定义t时刻的偏差项
δt
为：
δt=def∂E∂ht
注意，和前面几篇文章不一样，咱们这里假设偏差项是损失函数对输出值的导数，而不是对加权输入
netlt
的导数。由于LSTM有四个加权输入，分别对应
ft
、
it
、
ct
、
ot
，咱们但愿往上一层传递一个偏差项而不是四个。但咱们仍然须要定义出这四个加权输入，以及他们对应的偏差项。
netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc~,t=def∂E∂neto,t(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)(24)(25)
偏差项沿时间的反向传递
沿时间反向传递偏差项，就是要计算出t-1时刻的偏差项
δt−1
。
δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(26)(27)(28)
咱们知道，
∂ht∂ht−1
是一个Jacobian矩阵。若是隐藏层h的维度是N的话，那么它就是一个
N×N
矩阵。为了求出它，咱们列出
ht
的计算公式，即前面的式6和式4：
htct=ot∘tanh(ct)=ft∘ct−1+it∘c~t(29)(30)
显然，
ot
、
ft
、
it
、
c~t
都是
ht−1
的函数，那么，利用全导数公式可得：
δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c~t∂c~t∂netc~,t∂netc~,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1(式7)(31)(32)
下面，咱们要把式7中的每一个偏导数都求出来。根据式6，咱们能够求出：
∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](33)(34)
根据式4，咱们能够求出：
∂ct∂ft∂ct∂it∂ct∂c~t=diag[ct−1]=diag[c~t]=diag[it](35)(36)(37)
由于：
otneto,tftnetf,titneti,tc~tnetc~,t=σ(neto,t)=Wohht−1+Woxxt+bo=σ(netf,t)=Wfhht−1+Wfx