参考：Attention Is All You Need (Transformer) 论文精读 - 周弈帆的文章 - 知乎 https://zhuanlan.zhihu.com/p/569527564

大概 n 年前就阅读学习了这篇文章，当时还阅读了李沐老师的解读视频（https://www.bilibili.com/video/BV1pu411o7BE），多年过去已经有所遗忘了，所以特意再次学习复习。

  • Transformer 最开始是提出在翻译任务上面。

早先简单的RNN架构分为两个部分一个是Encoder、另一个是Decoder，而两个部分是通过$a^{}$来传递信息的