2 注解
早在1943年心理学家W. McCulloch和数学家W. Pitts合作提出神经元的二值逻辑模型。1949年D. Hebb提出了改变神经元连接强度的学习规则，这一规则至今在各种网络模型中起着重要作用。1962年F. Rosenblatt提出感知机模型。1982年美国物理学家J.Hopfield提出一种全新的神经网络模型 ，它体现了D. Marr的计算神经理论、耗散结构和混沌理论的基本精神，用S型曲线替代二值逻辑，引入“能量”函数，使网络的稳定性有了严格的判断依据，模型具有理想记忆、分类与误差自动校正等智能。Hopfield模型的动力学特征的分析提供了有力的研究方法。
神经网络系统模拟大脑的工作方式，由大量简单的神经元广泛相互连接而成，形成一种拓扑结构。大脑具有相当高级的处理信息的能力，与传统计算机模型相比，大脑具有如下特征：首先是大规模并行处理能力，其次是大脑具有很强的“容错性”和联想功能，第三是大脑具有很强的自适应能性和自组织性。在这些方面，目前的传统计算机模型是难于实现的。
具体的神经元模型主要是如何更好地反应神经元在刺激下发放电位的本质。大多数模型把神经元之间的连接考虑成线性连接，输入层与输出层直接相连，没有中间所谓隐单元层。每个神经元只能是兴奋态或抑制态，任一神经元的输入是其他神经元的输出通过突触作用的总和。如果考虑兴奋态和抑制态之间的过渡情况，可以采用S型曲线来表征神经元的非线性输入和输出特性，如J. Hopfield模型；也可以按照统计物理学的概念和方法，神经元的输入由神经元状态更新的概率来决定，如波尔兹曼机模型；还可以在神经元的输入与输出层之增加中间变换层，如感知机模型；增加反向误差校正通道的反传播模型等等。通过对神经元的形态与功能的不同表达，可以产生不同的模型。