【转】如何在TensorFlow中高效使用数据集？

本文主要记录tensorflow一个比较好用的API：Dataset，feed-dict 是向 TensorFlow 传递信息最慢的方式，应该尽量避免使用。向模型提供数据的正确方式是使用输入管道，这样才能保证 GPU 在工作时永远无需等待新的数据。

文章链接：https://www.jiqizhixin.com/articles/03137

这也是最近在研究Kyubyong的新版Transformer代码，得到的一些启发。文章写了一些比较经典的Dataset用法，当然也可以参考Kyubyong的代码，只是我认为他在获取batch部分代码稍微有点问题，先repeat再batch，会造成最后一个batch中有一部分数据是之前出现过的，那么在计算损失的时候是有问题的。