1986年10月9日(《自然》论文发表) / 美洲

反向传播论文展示多层网络怎样学习内部表征

鲁梅尔哈特、辛顿和威廉斯展示利用输出误差计算权重调整的方法,让隐藏层在训练中学习对任务有用的特征。

三层节点网络、前向箭头与标有损失梯度的返回箭头
现代科学示意图现代教学示意:小型神经网络进行前向计算,再沿相反方向传播梯度。它不是1986年论文的原图、精确网络结构或训练结果,也不表示反向传播始于1986年。文明图志 · 文明图志(原创科学解释图) · CC0 1.0 Universal 图片来源与授权

科学史故事

1986年的《自然》论文说明怎样把误差的影响逐层向后计算,再调整神经网络的连接权重,使输出更接近训练目标。它推动了多层网络与内部表征研究,但反向计算导数和相关训练思想已有前史,不能说三位作者在这一年凭空发明全部方法。论文中的人工网络也是数学模型,不等于已经证明人脑以相同方式学习。

联系与背景

反向传播用到微积分的链式法则,连接了数学优化与机器学习。后来更大的网络、数据和计算硬件扩大了应用,也带来了新的验证问题。

年代与日期精度

1986年10月9日(《自然》论文发表) 明确节点

按资料明确记载的年、月或日定位;未详的月日不作推定。

地图代表点

圣迭戈及跨校合作网络

标记鲁梅尔哈特与威廉斯的加州大学圣迭戈分校研究环境;辛顿当时的论文单位是卡内基梅隆大学。

代表点坐标 · 32.8801°, -117.234°

代表点可指一份手稿的收藏地、实验室或观测地点,不表示研究只在此发生,也不把共同发现单独归于某一国家。

资料依据

  • 南京大学:高级机器学习讲义——神经网络发展史
  • IBM简体中文:什么是反向传播?(方法与前史)

资料以书目标题展示,不提供外部跳转。参考资料可能支持个别事实或相关背景,列出来源并不等于每一句解释已经逐句核实。

有想法,告诉我们