人工神经网络(ANN)：
人工神经网络(ANN)，是每层的一组多个感知器或神经元。 ANN 也称为前馈神经网络，因为输入仅在前向处理。
这种类型的神经网络是最简单的神经网络变体之一。它们在一个方向上通过各种输入节点传递信息，直到它到达输出节点。网络可能有也可能没有隐藏节点层，使它们的功能更易于解释。
好处：
- 在整个网络上存储信息。
- 能够处理不完整的知识。
- 具有容错能力。
- 具有分布式内存。
缺点：
- 硬件依赖。
- 无法解释的网络行为。
- 确定合适的网络结构。
卷积神经网络(CNN)：
卷积神经网络 (CNN) 是当今最流行的模型之一。该神经网络计算模型使用多层感知器的变体，并包含一个或多个可以完全连接或池化的卷积层。这些卷积层创建的特征图记录了一个图像区域，该区域最终被分解为矩形并发送出去进行非线性处理。
好处：
- 图像识别问题的准确率非常高。
- 自动检测重要特征，无需任何人工监督。
- 重量分享。
缺点：
- CNN 不对物体的位置和方向进行编码。
- 缺乏对输入数据空间不变的能力。
- 需要大量的训练数据。
循环神经网络(RNN)：
循环神经网络 (RNN) 更为复杂。他们保存处理节点的输出并将结果反馈到模型中(他们没有只向一个方向传递信息)。这就是模型学习预测层结果的方式。 RNN 模型中的每个节点都充当一个存储单元，继续计算和执行操作。如果网络的预测不正确，那么系统会自我学习并在反向传播过程中继续朝着正确的预测努力。
好处：
- RNN 会随着时间的推移记住每一个信息。它在时间序列预测中很有用，因为它也具有记住先前输入的功能。这称为长短期记忆。
- 循环神经网络甚至与卷积层一起使用来扩展有效像素邻域。
缺点：
- 梯度消失和爆炸问题。
- 训练 RNN 是一项非常艰巨的任务。
- 如果使用 tanh 或 relu 作为激活函数，它无法处理很长的序列。
单个表中所有三个网络的总和：
| ANN | CNN | RNN | |
| Type of Data | Tabular Data, Text Data | Image Data | Sequence data |
| Parameter Sharing | No | Yes | Yes |
| Fixed Length input | Yes | Yes | No |
| Recurrent Connections | No | No | Yes |
| Vanishing and Exploding Gradient | Yes | Yes | Yes |
| Spatial Relationship | No | Yes | No |
| Performance | ANN is considered to be less powerful than CNN, RNN. | CNN is considered to be more powerful than ANN, RNN. | RNN includes less feature compatibility when compared to CNN. |
| Application | Facial recognition and Computer vision. | Facial recognition, text digitization and Natural language processing. | Text-to-speech conversions. |
| Main advantages | Having fault tolerance, Ability to work with incomplete knowledge. | High accuracy in image recognition problems, Weight sharing. | Remembers each and every information, Time series prediction. |
| Disadvantages | Hardware dependence, Unexplained behavior of the network. | Large training data needed, don’t encode the position and orientation of object. | Gradient vanishing, exploding gradient. |