200813_tensorflow2---6、LSTM的用途，杂

200813_tensorflow2---6、LSTM的用途（杂）

一、总结

一句话总结：

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

1、循环神经网络真的很简单，直接按照这个公式计算就好？

$$h _ { t } = \tanh ( x _ { t } w _ { x h } + h _ { t - 1 } w _ { h h } + \text { bh } )$$

2、rnn展开步数？

需要经过几步得到输出，rnn的展开步数就是几步，比如adcd推断e，那么因为四个输入abcd，就是展开步数就是4

3、l1正则化和l2正则化及区别？

l1正则化：$$\operatorname { cost } = ( Wx - \text { real } y ) ^ { 2 } + \text { abs } ( W )$$

l2正则化：$$\operatorname { cost } = ( W x - \text { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$

l1正则化和l2正则化区别：也就是后面加的是参数的一次项还是平方项

4、RNN 面临的较大问题？

I)、RNN 面临的较大问题是无法解决长跨度依赖问题，即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱。

II)、长跨度依赖的根本问题在于，多阶段的反向传播后会导致梯度消失、梯度爆炸。可以使用梯度截断去解决梯度爆炸问题，但无法轻易解决梯度消失问题。

5、长短记忆网络（Long Short Term Memory,LSTM）？

(I)、为了解决长期依赖问题，长短记忆网络（Long Short Term Memory,LSTM）应运而生。

(II)、之所以 LSTM 能解决 RNN 的长期依赖问题，是因为 LSTM 使用门（gate）机制对信息的流通和损失进行控制。

(III)、LSTM就是有输入门、遗忘门、输出门、记忆体、候选态、细胞态等，就是模拟生物的一些规则，比如遗忘、比如后面记忆是基于前面知识收获

6、门控循环单元(Gated Recurrent Unit，GRU)？

门控循环单元(Gated Recurrent Unit，GRU)是 LSTM 的一种变体，将 LSTM 中遗忘门与输入门合二为一为更新门，模型比 LSTM 模型更简单。

二、内容在总结中

博客对应课程的视频位置：