2 註解
早在1943年心理學家W. McCulloch和數學家W. Pitts合作提出神經元的二值邏輯模型。1949年D. Hebb提出了改變神經元連接強度的學習規則，這一規則至今在各種網絡模型中起着重要作用。1962年F. Rosenblatt提出感知機模型。1982年美國物理學家J.Hopfield提出一種全新的神經網絡模型 ，它體現了D. Marr的計算神經理論、耗散結構和混沌理論的基本精神，用S型曲線替代二值邏輯，引入“能量”函數，使網絡的穩定性有了嚴格的判斷依據，模型具有理想記憶、分類與誤差自動校正等智能。Hopfield模型的動力學特徵的分析提供了有力的研究方法。
神經網絡系統模擬大腦的工作方式，由大量簡單的神經元廣泛相互連接而成，形成一種拓撲結構。大腦具有相當高級的處理信息的能力，與傳統計算機模型相比，大腦具有如下特徵：首先是大規模並行處理能力，其次是大腦具有很強的“容錯性”和聯想功能，第三是大腦具有很強的自適應能性和自組織性。在這些方面，目前的傳統計算機模型是難於實現的。
具體的神經元模型主要是如何更好地反應神經元在刺激下發放電位的本質。大多數模型把神經元之間的連接考慮成線性連接，輸入層與輸出層直接相連，沒有中間所謂隱單元層。每個神經元只能是興奮態或抑制態，任一神經元的輸入是其他神經元的輸出通過突觸作用的總和。如果考慮興奮態和抑制態之間的過渡情況，可以採用S型曲線來表徵神經元的非線性輸入和輸出特性，如J. Hopfield模型；也可以按照統計物理學的概念和方法，神經元的輸入由神經元狀態更新的概率來決定，如波爾茲曼機模型；還可以在神經元的輸入與輸出層之增加中間變換層，如感知機模型；增加反向誤差校正通道的反傳播模型等等。通過對神經元的形態與功能的不同表達，可以產生不同的模型。