如前所述，人工神经网络完全受到生物神经系统(即人脑)工作方式的启发。人脑最令人印象深刻的特征是学习，因此ANN也具有相同的特征。

在ANN中学习什么?

基本上，学习是指在环境变化时进行和适应变化本身。人工神经网络是一个复杂的系统，或更确切地说，我们可以说它是一个复杂的自适应系统，它可以根据通过它的信息来更改其内部结构。

它为什么如此重要?

作为复杂的自适应系统，ANN中的学习意味着处理单元由于环境的变化而能够更改其输入/输出行为。当构建特定网络时，由于固定的激活函数以及输入/输出矢量，在ANN中学习的重要性增加。现在要更改输入/输出行为，我们需要调整权重。

分类

可以将其定义为通过在相同类别的样本之间找到共同特征来将样本数据区分为不同类别的学习过程。例如，要进行ANN的训练，我们需要一些具有独特功能的训练样本，而要进行其测试，我们需要一些具有其他独特特征的测试样本。分类是监督学习的一个例子。

神经网络学习规则

我们知道，在人工神经网络学习期间，要更改输入/输出行为，我们需要调整权重。因此，需要一种可以修改权重的方法。这些方法称为学习规则，它们只是算法或方程式。以下是神经网络的一些学习规则-

赫比学习规则

此规则是最古老，最简单的规则之一，由Donald Hebb在1949年的著作《行为组织》中提出。这是一种前馈，无监督的学习。

基本概念-此规则基于赫布(Hebb)提出的建议-

“当细胞A的轴突足够激发细胞B并反复或持续参与激发它时，其中一个或两个细胞都会发生某些生长过程或代谢变化，从而使A的效率提高，就像其中一个细胞激发B一样，增加了。”

从上面的假设，我们可以得出结论，如果两个神经元同时触发，则它们之间的连接可能会增强，如果两个神经元在不同时间触发，则可能会减弱。

数学公式-根据Hebbian学习规则，以下是在每个时间步增加连接权重的公式。

$$ \ Delta w_ {ji}(t)\：= \：\ alpha x_ {i}(t).y_ {j}(t)$$

在此，$ \ Delta w_ {ji}(t)$⁡=在时间步长t处连接权重增加的增量

$ \ alpha $ =正学习率和恒定学习率

$ x_ {i}(t)$ =在时间步长t突触前神经元的输入值

$ y_ {i}(t)$ =相同时间步长t突触前神经元的输出

感知器学习规则

该规则是对Rosenblatt提出的具有线性激活函数的单层前馈网络的监督学习算法的错误纠正。

基本概念-由于受到监督，因此要计算误差，将在期望/目标输出与实际输出之间进行比较。如果发现任何差异，则必须更改连接权重。

数学公式-为解释其数学公式，假设我们有n个有限输入向量x(n)以及其期望/目标输出向量t(n)，其中n = 1至N。

现在可以计算出输出“ y”，如前所述，基于净输入，并且对该净输入施加的激活函数可以表示为：

$$ y \：= \：f(y_ {in})\：= \：\ begin {cases} 1＆y_ {in} \：> \：\ theta \\ 0，＆y_ {in} \： \ leqslant \：\ theta \ end {cases} $$

θ是阈值。

权重的更新可以在以下两种情况下完成-

情况I-当t≠y时

$$ w(新)\：= \：w(旧)\：+ \; tx $$

情况II-当t = y时

体重不变

Delta学习规则(Widrow-Hoff规则)

它是由Bernard Widrow和Marcian Hoff引入的，也称为最小均方(LMS)方法，以最小化所有训练模式的误差。它是一种具有连续激活函数的有监督学习算法。

基本概念-此规则的基础是梯度下降法，它将永远持续下去。 Delta规则会更新突触权重，以最大程度减少输出单元的净输入量和目标值。

数学公式-要更新突触权重，可通过以下公式给出增量规则

$$ \ Delta w_ {i} \：= \：\ alpha \ :. x_ {i} .e_ {j} $$

这里$ \ Delta w_ {i} $ =^第i^个样式的权重变化；

$ \ alpha $ =持续的积极学习率；

$ x_ {i} $ =突触前神经元的输入值；

$ e_ {j} $ = $(t \：-\：y_ {in})$，期望/目标输出与实际输出⁡$ y_ {in} $之间的差

上面的增量规则仅适用于单个输出单元。

权重的更新可以在以下两种情况下完成-

情况一-当t≠y时

$$ w(新)\：= \：w(旧)\：+ \：\ Delta w $$

情况II-当t = y时

体重不变

竞争性学习规则(赢家通吃)

它与无监督训练有关，在无监督训练中，输出节点试图相互竞争以表示输入模式。要了解此学习规则，我们必须了解以下竞争网络-

竞争网络的基本概念-该网络就像单层前馈网络，在输出之间具有反馈连接。输出之间的连接是抑制性的，如虚线所示，这意味着竞争对手从不支持自己。

竞争性学习规则的基本概念-如前所述，输出节点之间将存在竞争。因此，主要概念是在训练过程中，对给定输入模式具有最高激活度的输出单元将被宣布为获胜者。此规则也称为获胜者通吃，因为只有获胜的神经元被更新，其余的神经元保持不变。

数学公式-以下是此学习规则的数学公式的三个重要因素-

• 成为获胜者的条件-假设如果神经元$ y_ {k} $⁡想要成为获胜者，则将存在以下条件-

  $$ y_ {k} \：= \：\开始{cases} 1＆if \：v_ {k} \：> \：v_ {j} \：for \：all \：j，\：j \：\ neq \：k \\ 0，否则\ end {cases} $$

这意味着，如果要赢得任何神经元(例如$ y_ {k} $⁡)，则其诱导的局部场(求和单元的输出)(例如$ v_ {k} $)必须是所有其他神经元中最大的在网络中。

• 权重总和的条件-竞争学习规则的另一个约束是，特定输出神经元的权重总和将为1。例如，如果我们考虑神经元k，则-

  $$ \ displaystyle \ sum \ limits_ {j} w_ {kj} \：= \：1 \：\：\：\：\：\：\：\：\：\：for \：all \：k $$

• 获胜者的体重变化-如果神经元不响应输入模式，则该神经元中不会进行任何学习。但是，如果特定的神经元获胜，则相应的权重将如下调整

  $$ \ Delta w_ {kj} \：= \：\ begin {cases}-\ alpha(x_ {j} \：-\：w_ {kj})和if \：neuron \：k \：wins \\ 0，并且if \：neuron \：k \：losses \ end {cases} $$

这里$ \ alpha $是学习率。

这清楚地表明，我们通过调整权重来支持获胜的神经元，如果神经元丢失，则无需费心重新调整其权重。

外星学习法则

格罗斯伯格(Grossberg)提出的该规则与监督学习有关，因为所需的输出是已知的。这也称为Grossberg学习。

基本概念-该规则适用于排列在一层中的神经元。它经过专门设计，可产生p个神经元层的所需输出d 。

数学公式-此规则中的权重调整计算如下

$$ \ Delta w_ {j} \：= \：\ alpha \ 🙁 d \：-\：w_ {j})$$

这里d是所需的神经元输出，$ \ alpha $是学习率。