Attention is all you need
Transformer 那篇。彻底去掉循环结构，由此把序列建模从一个串行问题变成了并行问题。
架构上的主张写在标题里，但真正产生影响的那个结论，关于的是硬件，不是注意力。
它替换掉了什么
在此之前，序列模型是循环的：要算第 t 步，就得先有第 t−1 步。这个数据依赖是一道硬性的串行约束，无论模型多大，它都限制住了你能用上多少 GPU。这篇论文把循环和卷积一并去掉，编码器和解码器改由堆叠的自注意力与逐位置前馈层构成。
机制
自注意力让每个位置在一次运算里关注到所有其他位置，于是任意两个 token 之间的路径长度是常数，而不是随距离线性增长。多头注意力在若干个并行子空间里各做一遍，让不同的头得以分化。因为这个运算对顺序不敏感，位置信息必须显式注入——位置编码由此而来。
为什么它读起来像一篇系统论文
值得留下的那点是：真正的胜利来自让计算可并行，这把模型质量变成了算力的函数，而算力是能买到的。这和”这个归纳偏置更好”是两类完全不同的论证，而且是能推广开的那一类。
还没想清楚的
- 注意力对序列长度是二次的。此后的一切工作，某种意义上都是在和这个事实谈判。
- 几何那个问题对我还没合上——见 Loss landscapes and terrain。