研究突破 · 人工校订条目
Transformer 架构提出，自注意力取代循环结构
Attention Is All You Need
- 日期
- 2017 年 6 月 12 日
- 类别
- 研究突破
- 机构 / 模型
- Google Brain / Google Research
- 证据
- 1 条 · 1 类
Vaswani 等人提出 Transformer，完全以自注意力替代循环结构，实现高度并行训练。它是 GPT、BERT 及此后几乎所有大语言模型的基础架构。
校订注记：arXiv 论文核对
人工校订来源 · 1
引用本页
Transformer 架构提出，自注意力取代循环结构[EB/OL]. AI 纪年, 2017-06-12. https://aihist.net/e/transformer-2017.html（访问日期：2026-10-25）.
静态页随内容修订重新构建；实时合并证据与自动采集条目见时间轴。