2017年6月12日(論文首版公開) / 美洲
Transformer用注意力機制組織序列模型
《Attention Is All You Need》提出Transformer架構,以注意力機制組織序列間的關係,並在機器翻譯任務中檢驗效能。

圖片暫時無法顯示,仍可閱讀圖說與來源。
科學史故事
Vaswani等八位作者公開的論文,用注意力、位置編碼和前饋層構成編碼器與解碼器,避免把循環或卷積作為序列建模的基本結構。實驗主要考察機器翻譯,不等於已經造出今日的聊天應用或證明通用智能。注意力機制此前已有研究,後來的預訓練、大規模資料與模型改造也是新的階段,不能把人工智能的發展歸結為一篇論文。
聯繫與背景
這一架構承接類神經網路訓練與注意力研究。理解它還需要看到資料、算力、最佳化和評估的共同作用,而不只是一張網路結構圖。
年代與日期精度
2017年6月12日(論文首版公開) 明確節點
按資料明確記載的年、月或日定位;未詳的月日不作推定。
地圖代表點
山景城及Google研究協作網路
以山景城代表Google研究環境,不是論文給出的精確實驗地址;作者來自Google Brain、Google Research及相關合作背景。
代表點座標 · 37.422°, -122.084°
代表點可指一份手稿的收藏地、實驗室或觀測地點,不表示研究只在此發生,也不把共同發現單獨歸於某一國家。
資料依據
- 上海交通大學Hello AI課程:每個詞都能看見其他詞(原始Transformer)
- 中國科學院自動化研究所:發展AI,融合人腦智慧(2017年架構背景)
資料以書目標題展示,不提供外部跳轉。參考資料可能支持個別事實或相關背景,列出來源並不等於每一句解釋已經逐句核實。