1986年10月9日(《自然》論文發表) / 美洲

反向傳播論文展示多層網路怎樣學習內部表徵

魯梅爾哈特、辛頓和威廉斯展示利用輸出誤差計算權重調整的方法,讓隱藏層在訓練中學習對任務有用的特徵。

三層節點網路、前向箭頭與標有損失梯度的返回箭頭
現代科學示意圖現代教學示意:小型類神經網路進行前向計算,再沿相反方向傳播梯度。它不是1986年論文的原圖、精確網路結構或訓練結果,也不表示反向傳播始於1986年。文明圖志 · 文明圖志(原創科學解釋圖) · CC0 1.0 Universal 圖片來源與授權

科學史故事

1986年的《自然》論文說明怎樣把誤差的影響逐層向後計算,再調整類神經網路的連接權重,使輸出更接近訓練目標。它推動了多層網路與內部表徵研究,但反向計算導數和相關訓練思想已有前史,不能說三位作者在這一年憑空發明全部方法。論文中的人工網路也是數學模型,不等於已經證明人腦以相同方式學習。

聯繫與背景

反向傳播用到微積分的連鎖律,連接了數學最佳化與機器學習。後來更大的網路、資料和運算硬體擴大了應用,也帶來了新的驗證問題。

年代與日期精度

1986年10月9日(《自然》論文發表) 明確節點

按資料明確記載的年、月或日定位;未詳的月日不作推定。

地圖代表點

聖地牙哥及跨校合作網路

標記魯梅爾哈特與威廉斯的加州大學聖地牙哥分校研究環境;辛頓當時的論文單位是卡內基梅隆大學。

代表點座標 · 32.8801°, -117.234°

代表點可指一份手稿的收藏地、實驗室或觀測地點,不表示研究只在此發生,也不把共同發現單獨歸於某一國家。

資料依據

  • 南京大學:高級機器學習講義——類神經網路發展史
  • IBM簡體中文:什麼是反向傳播?(方法與前史)

資料以書目標題展示,不提供外部跳轉。參考資料可能支持個別事實或相關背景,列出來源並不等於每一句解釋已經逐句核實。

有想法,告訴我們