深度学习中的计算图

什么是计算图？
通常，计算图是用于表达和评估数学表达式的有向图。
例如，考虑这个：

$Y = (a+b) * (b-c)$ .
为了更好地理解，我们引入了两个变量 d 和 e，这样每个操作都有一个输出变量。我们现在有：
$d = a+b$
$e = b-c$
$Y = d*e$

在这里，我们有三个运算，加法、减法和乘法。为了创建计算图，我们创建节点，每个节点都有不同的操作和输入变量。数组的方向显示了应用于其他节点的输入方向。

我们可以通过初始化输入变量并相应地计算图的节点来找到最终的输出值。

深度学习中的计算图
神经网络的计算按照前向传播或前向传播步骤进行组织，其中我们计算神经网络的输出，然后是后向传播或反向传播步骤，我们用它来计算梯度/导数。计算图解释了为什么它是这样组织的。

如果想要理解计算图中的导数，关键是要理解一个变量的变化如何导致依赖它的变量发生变化。如果a直接影响c ，那么我们想知道它如何影响 c 。如果我们在一个价值如何做C钮细微的变化？我们可以将其称为 c 关于 a 的偏导数。
用于获得导数的反向传播图将如下所示：

我们必须遵循链式法则来评估最终输出变量相对于输入变量 a、b 和 c 的偏导数。因此，导数可以表示为：

这让我们了解计算图如何使用反向传播更容易地获得导数。