transformer

简介

谷歌发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer,用以来实现机器翻译。它抛弃了传统用CNN或者RNN的定式,取得了很好的效果,激起了工业界和学术界的广泛讨论。

code

  • TensorFlow
    • https://github.com/Kyubyong/transformer
    • https://github.com/tensorflow/tensor2tensor#translation 这个最官方,有中英文翻译
  • Pytorch