📜  无监督学习

📅  最后修改于: 2020-11-26 08:32:19             🧑  作者: Mango


顾名思义,这种学习无需老师的监督即可完成。这个学习过程是独立的。在无监督学习下训练ANN的过程中,将相似类型的输入向量组合起来形成聚类。当应用新的输入模式时,神经网络会给出输出响应,指示输入模式所属的类。在这种情况下,对于期望的输出应该是什么以及输出是正确还是不正确,环境将没有反馈。因此,在这种类型的学习中,网络本身必须从输入数据中发现模式,特征以及输出上输入数据的关系。

赢家通吃所有网络

这些类型的网络基于竞争性学习规则,并将使用其选择总输入量最大的神经元作为赢家的策略。输出神经元之间的连接显示了它们之间的竞争,其中一个竞争为“开”,这意味着它将是赢家,而其他竞争将为“关”。

以下是一些使用无监督学习的基于此简单概念的网络。

海明网络

在大多数使用无监督学习的神经网络中,计算距离并进行比较至关重要。这种网络是汉明网络,其中对于每个给定的输入向量,它将被聚集到不同的组中。以下是汉明网络的一些重要功能-

  • Lippmann于1987年开始从事汉明网络的研究。

  • 它是一个单层网络。

  • 输入可以是双极性{-1,1}的二进制{0,1}。

  • 网的权重由示例性向量计算。

  • 这是一个固定的重量网络,这意味着即使在训练过程中,重量也将保持不变。

最大净值

这也是固定权重网络,用作选择具有最高输入的节点的子网。所有节点都完全互连,并且在所有这些加权互连中都存在对称的权重。

建筑

最大净值

它使用的机制是一个迭代过程,每个节点都通过连接从所有其他节点接收禁止输入。其值最大的单个节点将是活动的或获胜的,而所有其他节点的激活将是不活动的。 Max Net将身份激活函数与$$ f(x)\:= \:\ begin {cases} x&if \:x> 0 \\ 0&if \:x \ leq 0 \ end {cases} $$一起使用

该网络的任务是通过+1的自激权重和互抑制幅度来完成的,互斥幅度设置为[0 <ɛ<$ \ frac {1} {m} $],其中“ m”是整数节点。

人工神经网络中的竞争性学习

它与无监督训练有关,在无监督训练中,输出节点试图相互竞争以表示输入模式。要了解此学习规则,我们必须了解竞争网络,其解释如下-

竞争网络的基本概念

该网络就像单层前馈网络,在输出之间具有反馈连接。输出之间的连接是抑制型的,用虚线表示,这意味着竞争对手从不支持自己。

基本概念

竞争学习法则的基本概念

如前所述,输出节点之间将存在竞争,因此主要概念是-在训练期间,对给定输入模式具有最高激活度的输出单元将被宣布为获胜者。此规则也称为获胜者通吃,因为只有获胜的神经元被更新,其余的神经元保持不变。

数学公式

以下是此学习规则的数学公式化的三个重要因素-

  • 成为赢家的条件

    假设如果一个神经元y k想成为赢家,那么将存在以下条件

    $$ y_ {k} \:= \:\ begin {cases} 1&if \:v_ {k}> v_ {j} \:for \:all \:\:j,\:j \:\ neq \ :k \\ 0,否则\ end {cases} $$

    这意味着,如果某个神经元(例如y k)想要获胜,则其诱导的局部场(求和单元的输出)(例如v k )必须是网络中所有其他神经元中最大的。

  • 重量的合计的条件

    竞争性学习规则的另一个限制是特定输出神经元的权重总和将为1。例如,如果我们考虑神经元k,

    $$ \ displaystyle \ sum \ limits_ {k} w_ {kj} \:= \:1 \:\:\:\:for \:all \:\:k $$

  • 改变获胜者的体重

    如果神经元不响应输入模式,则该神经元中不会发生学习。但是,如果特定的神经元获胜,则相应的权重将如下调整:

    $$ \ Delta w_ {kj} \:= \:\ begin {cases}-\ alpha(x_ {j} \:-\:w_ {kj})和if \:neuron \:k \:wins \\ 0&if \:neuron \:k \:losses \ end {cases} $$

    这里$ \ alpha $是学习率。

    这清楚地表明,我们通过调整获胜的神经元的重量来支持获胜的神经元,如果神经元丢失了,则无需费心重新调整其重量。

K均值聚类算法

K-means是最流行的聚类算法之一,其中我们使用了分区过程的概念。我们从一个初始分区开始,然后将模式从一个群集重复移动到另一个群集,直到获得满意的结果。

算法

步骤1-选择k个点作为初始质心。初始化k个原型(w 1 ,…,w k ) ,例如,我们可以使用随机选择的输入向量来识别它们-

$$ W_ {j} \:= \:i_ {p},\:\:\:其中\:j \:\在\ lbrace1,….,k \ rbrace \:and \:p \:\中在\ lbrace1,….,n \ rbrace $$中

每个群集C j与原型w j相关联。

步骤2-重复步骤3-5,直到E不再减小,或者集群成员资格不再改变。

步骤3-对于每个输入向量i p ,其中p∈{1,…,n} ,将i p放入具有最近关系的原型w j *具有以下关系的聚类C j *中

$$ | i_ {p} \:-\:w_ {j *} | \:\ leq \:| i_ {p} \:-\:w_ {j} |,\:j \:\ in \ lbrace1, ….,k \ rbrace $$

步骤4-对于每个群集C j ,其中j∈{1,…,k} ,将原型w j更新为C j中当前所有样本的质心,以便

$$ w_ {j} \:= \:\ sum_ {i_ {p} \ in C_ {j}} \ frac {i_ {p}} {| C_ {j} |} $$

步骤5-如下计算总量化误差-

$$ E \:= \:\ sum_ {j = 1} ^ k \ sum_ {i_ {p} \ in w_ {j}} | i_ {p} \:-\:w_ {j} | ^ 2 $$

新认知药

它是一个由Fukushima在1980年代开发的多层前馈网络。该模型基于监督学习,用于视觉模式识别,主要是手写字符。它基本上是Cognitron网络的扩展,该网络也是由Fukushima在1975年开发的。

建筑

它是一个分层网络,包括许多层,并且在这些层中本地存在一种连接模式。

新认知药

正如我们在上图中所看到的,新认知子被划分为不同的连接层,并且每一层都有两个单元。这些单元格的解释如下-

S-Cell-称为简单单元,经过训练可以对特定模式或一组模式做出响应。

C单元-称为复杂单元,它合并了S单元的输出并同时减少了每个阵列中的单元数。从另一个意义上说,C细胞取代了S细胞的结果。

训练算法

发现新认知激素的训练是逐层进行的。从输入层到第一层的权重被训练并冻结。然后,训练从第一层到第二层的权重,依此类推。 S-cell和Ccell之间的内部计算取决于来自先前各层的权重。因此,可以说训练算法取决于对S-cell和C-cell的计算。

S单元中的计算

S细胞拥有从前一层接收到的兴奋性信号,并拥有在同一层中获得的抑制信号。

$$ \ theta = \:\ sqrt {\ sum \ sum t_ {i} c_ {i} ^ 2} $$

这里,T i是固定的重量和c i是从C-电池的输出。

S细胞的按比例缩放的输入可以计算如下-

$$ x \:= \:\ frac {1 \:+ \:e} {1 \:+ \:vw_ {0}} \:-\:1 $$

在这里,$ e \:= \:\ sum_i c_ {i} w_ {i} $

w i是从C单元调整到S单元的权重。

w 0是输入和S单元之间的重量可调。

v是来自C细胞的兴奋性输入。

输出信号的激活是

$$ s \:= \:\ begin {cases} x,&if \:x \ geq 0 \\ 0,&if \:x <0 \ end {cases} $$

C单元中的计算

C层的净输入为

$$ C \:= \:\ displaystyle \ sum \ limits_i s_ {i} x_ {i} $$

此处, s i是S单元的输出, x i是从S单元到C单元的固定权重。

最终输出如下-

$$ C_ {out} \:= \:\ begin {cases} \ frac {C} {a + C},&if \:C> 0 \\ 0,&否则\ end {cases} $$

这里的“ a”是取决于网络性能的参数。