2017年6月12日(論文首版公開) / 美洲

Transformer用注意力機制組織序列模型

《Attention Is All You Need》提出Transformer架構,以注意力機制組織序列間的關係,並在機器翻譯任務中檢驗效能。

Q與K指向權重矩陣,V從旁路進入後續加權組合並輸出AV
現代科學示意圖原創教學示意:Q與K先計算示意注意力權重,再與旁路的V作加權組合,輸出AV。它不是Transformer原論文插圖、完整模型架構或實測注意力資料。文明圖志 · 文明圖志(原創科學解釋圖) · CC0 1.0 Universal 圖片來源與授權

科學史故事

Vaswani等八位作者公開的論文,用注意力、位置編碼和前饋層構成編碼器與解碼器,避免把循環或卷積作為序列建模的基本結構。實驗主要考察機器翻譯,不等於已經造出今日的聊天應用或證明通用智能。注意力機制此前已有研究,後來的預訓練、大規模資料與模型改造也是新的階段,不能把人工智能的發展歸結為一篇論文。

聯繫與背景

這一架構承接類神經網路訓練與注意力研究。理解它還需要看到資料、算力、最佳化和評估的共同作用,而不只是一張網路結構圖。

年代與日期精度

2017年6月12日(論文首版公開) 明確節點

按資料明確記載的年、月或日定位;未詳的月日不作推定。

地圖代表點

山景城及Google研究協作網路

以山景城代表Google研究環境,不是論文給出的精確實驗地址;作者來自Google Brain、Google Research及相關合作背景。

代表點座標 · 37.422°, -122.084°

代表點可指一份手稿的收藏地、實驗室或觀測地點,不表示研究只在此發生,也不把共同發現單獨歸於某一國家。

資料依據

  • 上海交通大學Hello AI課程:每個詞都能看見其他詞(原始Transformer)
  • 中國科學院自動化研究所:發展AI,融合人腦智慧(2017年架構背景)

資料以書目標題展示,不提供外部跳轉。參考資料可能支持個別事實或相關背景,列出來源並不等於每一句解釋已經逐句核實。

有想法,告訴我們