长短时记忆网络(LSTM)的训练

2020年01月22日 阅读数:117
这篇文章主要向大家介绍长短时记忆网络(LSTM)的训练,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

长短时记忆网络的训练

熟悉咱们这个系列文章的同窗都清楚,训练部分每每比前向计算部分复杂多了。LSTM的前向计算都这么复杂,那么,可想而知,它的训练算法必定是很是很是复杂的。如今只有作几回深呼吸,再一头扎进公式海洋吧。算法

LSTM训练算法框架

LSTM的训练算法仍然是反向传播算法,对于这个算法,咱们已经很是熟悉了。主要有下面三个步骤:网络

  1. 前向计算每一个神经元的输出值,对于LSTM来讲,即 ft it ct ot ht 五个向量的值。计算方法已经在上一节中描述过了。
  2. 反向计算每一个神经元的偏差项 δ 值。与循环神经网络同样,LSTM偏差项的反向传播也是包括两个方向:一个是沿时间的反向传播,即从当前t时刻开始,计算每一个时刻的偏差项;一个是将偏差项向上一层传播。
  3. 根据相应的偏差项,计算每一个权重的梯度。

关于公式和符号的说明

首先,咱们对推导中用到的一些公式、符号作一下必要的说明。框架

接下来的推导中,咱们设定gate的激活函数为sigmoid函数,输出的激活函数为tanh函数。他们的导数分别为:ide

σ(z)σ(z)tanh(z)tanh(z)=y=11+ez=y(1y)=y=ezezez+ez=1y2(8)(9)(10)(11)

从上面能够看出,sigmoid和tanh函数的导数都是原函数的函数。这样,咱们一旦计算原函数的值,就能够用它来计算出导数的值。函数

LSTM须要学习的参数共有8组,分别是:遗忘门的权重矩阵 Wf 和偏置项 bf 、输入门的权重矩阵 Wi 和偏置项 bi 、输出门的权重矩阵 Wo 和偏置项 bo ,以及计算单元状态的权重矩阵 Wc 和偏置项 bc 。由于权重矩阵的两部分在反向传播中使用不一样的公式,所以在后续的推导中,权重矩阵 Wf Wi Wc Wo 都将被写为分开的两个矩阵: Wfh Wfx Wih Wix Woh Wox Wch Wcx 学习

咱们解释一下按元素乘 符号。当 做用于两个向量时,运算以下:atom

ab=a1a2a3...anb1b2b3...bn=a1b1a2b2a3b3...anbn

做用于一个向量和一个矩阵时,运算以下:spa

aX=a1a2a3...anx11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn=a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn(12)(13)

做用于两个矩阵时,两个矩阵对应位置的元素相乘。按元素乘能够在某些状况下简化矩阵和向量运算。例如,当一个对角矩阵右乘一个矩阵时,至关于用对角矩阵的对角线组成的向量按元素乘那个矩阵:code

diag[a]X=aX

当一个行向量右乘一个对角矩阵时,至关于这个行向量按元素乘那个矩阵对角线组成的向量:orm

aTdiag[b]=ab

上面这两点,在咱们后续推导中会屡次用到。

在t时刻,LSTM的输出值为 ht 。咱们定义t时刻的偏差项 δt 为:

δt=defEht

注意,和前面几篇文章不一样,咱们这里假设偏差项是损失函数对输出值的导数,而不是对加权输入 netlt 的导数。由于LSTM有四个加权输入,分别对应 ft it ct ot ,咱们但愿往上一层传递一个偏差项而不是四个。但咱们仍然须要定义出这四个加权输入,以及他们对应的偏差项。

netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht1,xt]+bf=Wfhht1+Wfxxt+bf=Wi[ht1,xt]+bi=Wihht1+Wixxt+bi=Wc[ht1,xt]+bc=Wchht1+Wcxxt+bc=Wo[ht1,xt]+bo=Wohht1+Woxxt+bo=defEnetf,t=defEneti,t=defEnetc~,t=defEneto,t(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)(24)(25)

偏差项沿时间的反向传递

沿时间反向传递偏差项,就是要计算出t-1时刻的偏差项 δt1

δTt1=Eht1=Ehththt1=δTththt1(26)(27)(28)

咱们知道, htht1 是一个Jacobian矩阵。若是隐藏层h的维度是N的话,那么它就是一个 N×N 矩阵。为了求出它,咱们列出 ht 的计算公式,即前面的式6式4

htct=ottanh(ct)=ftct1+itc~t(29)(30)

显然, ot ft it c~t 都是 ht1 的函数,那么,利用全导数公式可得:

δTththt1=δTthtototneto,tneto,tht1+δTthtctctftftnetf,tnetf,tht1+δTthtctctititneti,tneti,tht1+δTthtctctc~tc~tnetc~,tnetc~,tht1=δTo,tneto,tht1+δTf,tnetf,tht1+δTi,tneti,tht1+δTc~,tnetc~,tht1(7)(31)(32)

下面,咱们要把式7中的每一个偏导数都求出来。根据式6,咱们能够求出:

htothtct=diag[tanh(ct)]=diag[ot(1tanh(ct)2)](33)(34)

根据式4,咱们能够求出:

ctftctitctc~t=diag[ct1]=diag[c~t]=diag[it](35)(36)(37)

由于:

otneto,tftnetf,titneti,tc~tnetc~,t=σ(neto,t)=Wohht1+Woxxt+bo=σ(netf,t)=Wfhht1+Wf