人工神经网络-Hopfield网络

Hopfield网络是一种基本的神经网络模型，它能够通过训练记忆一些模式，并且通过一定的输入，能够从内部进行检索并且输出对应的模式。

网络结构

这里我们考虑一个含有 $N$ 个神经元的 Hopfield 网络。网络中各神经元可以取值为 0 或 1，其神经元状态可以用一个向量 $s=(s_1, s_2, ..., s_N)$ 来表示，其中 $s_i$ 表示第 $i$ 个神经元的状态。

Hopfield 网络中各神经元之间呈平等关系，各神经元之间都是全连接的。网络中，每个神经元都会接受来自其他所有神经元的信号，其输出状态 $s_i$ 与其输入信号的加权和相对应，所有神经元输出状态 $s$ 可以表示为：

$$ s_i = f(\sum_{j=1}^Nw_{ij}s_j + \theta_i) $$

其中 $w_{ij}$ 表示神经元 $i$ 和神经元 $j$ 之间的连接权值，$\theta_i$ 表示神经元 $i$ 的阈值，函数 $f(x)$ 是一个阈值函数，当 $x \geq 0$ 时，$f(x)=1$，反之，$f(x)=0$。

训练过程

Hopfield 网络可以通过训练来记忆和恢复样本模式。假设我们要训练 Hopfield 网络，使其能够恢复 $p$ 个 $N$ 维模式 $(\xi^{(1)}, \xi^{(2)}, ..., \xi^{(p)})$，其中 $\xi^{(i)}=(\xi^{(i)}_1, \xi^{(i)}_2, ..., \xi^{(i)}_N)$ 表示第 $i$ 个模式的状态向量。Hopfield 网络通过 Gram 矩阵来存储样本模式的信息，Gram 矩阵 $G$ 可以通过下式计算得到：

$$ G = \sum_{\mu=1}^p \xi^{(\mu)}(\xi^{(\mu)})^T - pI $$

其中 $I$ 表示 $N$ 阶单位矩阵。通过这种方式，Gram 矩阵的对角线元素全部为 $0$。

当网络学习完样本模式后，样本模式会被吸引到网络稳态的各个状态中，进而实现了记忆的功能。这里的稳态是指网络的输出状态 $s$ 不再变化。

恢复过程

假设要将 Hopfield 网络中的某个由 $N$ 个元素组成的向量 $\xi$ 恢复出来。将这个向量作为输入送入 Hopfield 网络中，根据 Hopfield 网络的动力学规律，最终状态 $s$ 将收敛到一个较稳定的状态。Hopfield 网络可以通过简单地进行动力学更新来更新状态，更新规则如下：

$$ s_i(n+1) = f(\sum_{j=1}^N w_{ij}s_j(n)) $$

当网络的更新状态不再发生变化时，Hopfield 网络返回的输出即为对应的模式。

代码实现

以下是使用 Python 实现的 Hopfield 网络代码：

import numpy as np

class HopfieldNetwork():
    def __init__(self, n):
        self.n = n
        self.W = np.zeros((n, n))
        
    def train(self, patterns):
        p, n = patterns.shape
        self.W = np.dot(patterns.T, patterns) / n - np.eye(self.n)
        
    def predict(self, x, max_iter=100):
        y = np.array(x)
        for i in range(max_iter):
            yi = np.dot(self.W, y)
            y = np.where(yi>0, 1, 0)
            if np.allclose(y, yi):
                break
        return y

其中，n 表示 Hopfield 网络中神经元的数量，patterns 是一个大小为 $(p, n)$ 的数组，其中每一行表示一个样本模式。在 train 方法中，我们根据样本模式计算出 Gram 矩阵 $G$ 并得到 Hopfield 网络的权重矩阵 $W$。在 predict 方法中，我们使用动力学规律对输入进行更新，直到输出状态不再变化。