📅 最后修改于: 2020-12-10 04:50:16 🧑 作者: Mango
另一个最重要的MXNet Python软件包是Gluon。在本章中，我们将讨论此软件包。 Gluon为DL项目提供了清晰，简洁，简单的API。它使Apache MXNet能够原型化，构建和训练DL模型，而不会丧失训练速度。
块构成了更复杂的网络设计的基础。在神经网络中，随着神经网络的复杂性增加，我们需要从设计单层到整个神经元层。例如，像ResNet-152这样的NN设计由重复层的块组成，具有非常适度的规则性。
在下面给出的示例中，我们将编写一个简单的代码块，即用于多层感知器的代码块。
from mxnet import nd
from mxnet.gluon import nn
x = nd.random.uniform(shape=(2, 20))
N_net = nn.Sequential()
N_net.add(nn.Dense(256, activation='relu'))
N_net.add(nn.Dense(10))
N_net.initialize()
N_net(x)
输出
这将产生以下输出：
[[ 0.09543004 0.04614332 -0.00286655 -0.07790346 -0.05130241 0.02942038
0.08696645 -0.0190793 -0.04122177 0.05088576]
[ 0.0769287 0.03099706 0.00856576 -0.044672 -0.06926838 0.09132431
0.06786592 -0.06187843 -0.03436674 0.04234696]]
从定义层到定义一个或多个层的块所需的步骤-
步骤1-块将数据作为输入。
步骤2-现在，块将以参数的形式存储状态。例如，在上面的编码示例中，该块包含两个隐藏层，我们需要一个地方为其存储参数。
步骤3-下一个块将调用前向函数以执行前向传播。也称为正向计算。作为第一次前向调用的一部分，块以惰性方式初始化参数。
步骤4-最后，这些块将调用向后函数并参考其输入来计算梯度。通常，此步骤是自动执行的。
顺序块是一种特殊的块，其中数据流经一系列块。这样，每个块先应用于一个的输出，而第一个块则应用于输入数据本身。
让我们看看顺序类如何工作-
from mxnet import nd
from mxnet.gluon import nn
class MySequential(nn.Block):
def __init__(self, **kwargs):
super(MySequential, self).__init__(**kwargs)
def add(self, block):
self._children[block.name] = block
def forward(self, x):
for block in self._children.values():
x = block(x)
return x
x = nd.random.uniform(shape=(2, 20))
N_net = MySequential()
N_net.add(nn.Dense(256, activation
='relu'))
N_net.add(nn.Dense(10))
N_net.initialize()
N_net(x)
输出
输出如下：
[[ 0.09543004 0.04614332 -0.00286655 -0.07790346 -0.05130241 0.02942038
0.08696645 -0.0190793 -0.04122177 0.05088576]
[ 0.0769287 0.03099706 0.00856576 -0.044672 -0.06926838 0.09132431
0.06786592 -0.06187843 -0.03436674 0.04234696]]
我们可以轻松地超越上述定义的顺序块的连接。但是，如果我们要进行自定义，则Block类还会为我们提供所需的功能。块类在nn模块中提供了一个模型构造函数。我们可以继承该模型构造函数来定义所需的模型。
在以下示例中， MLP类覆盖Block类的__init__和forward函数。
让我们看看它是如何工作的。
class MLP(nn.Block):
def __init__(self, **kwargs):
super(MLP, self).__init__(**kwargs)
self.hidden = nn.Dense(256, activation='relu') # Hidden layer
self.output = nn.Dense(10) # Output layer
def forward(self, x):
hidden_out = self.hidden(x)
return self.output(hidden_out)
x = nd.random.uniform(shape=(2, 20))
N_net = MLP()
N_net.initialize()
N_net(x)
输出
运行代码时，您将看到以下输出：
[[ 0.07787763 0.00216403 0.01682201 0.03059879 -0.00702019 0.01668715
0.04822846 0.0039432 -0.09300035 -0.04494302]
[ 0.08891078 -0.00625484 -0.01619131 0.0380718 -0.01451489 0.02006172
0.0303478 0.02463485 -0.07605448 -0.04389168]]
Apache MXNet的Gluon API带有适量的预定义层。但是仍然在某个时候，我们可能会发现需要一个新层。我们可以轻松地在Gluon API中添加一个新层。在本节中，我们将看到如何从头开始创建新图层。
要在Gluon API中创建新层，我们必须创建一个从Block类继承的类，该类提供了最基本的功能。我们可以直接或通过其他子类继承所有预定义层。
为了创建新层，唯一需要实现的实例方法是forward(self，x) 。该方法定义了在正向传播期间我们的层将要做什么。同样如前所述，块的反向传播过程将由Apache MXNet本身自动完成。
在下面的示例中，我们将定义一个新层。我们还将实现forward()方法以通过将输入数据拟合为[0，1]的范围来对其进行规范化。
from __future__ import print_function
import mxnet as mx
from mxnet import nd, gluon, autograd
from mxnet.gluon.nn import Dense
mx.random.seed(1)
class NormalizationLayer(gluon.Block):
def __init__(self):
super(NormalizationLayer, self).__init__()
def forward(self, x):
return (x - nd.min(x)) / (nd.max(x) - nd.min(x))
x = nd.random.uniform(shape=(2, 20))
N_net = NormalizationLayer()
N_net.initialize()
N_net(x)
输出
在执行上述程序时，您将获得以下结果-
[[0.5216355 0.03835821 0.02284337 0.5945146 0.17334817 0.69329053
0.7782702 1. 0.5508242 0. 0.07058554 0.3677264
0.4366546 0.44362497 0.7192635 0.37616986 0.6728799 0.7032008
0.46907538 0.63514024]
[0.9157533 0.7667402 0.08980197 0.03593295 0.16176797 0.27679572
0.07331014 0.3905285 0.6513384 0.02713427 0.05523694 0.12147208
0.45582628 0.8139887 0.91629887 0.36665893 0.07873632 0.78268915
0.63404864 0.46638715]]
它可以定义为Apache MXNet用来创建正向计算的符号图的过程。混合使MXNet通过优化计算符号图来提高计算性能。实际上，我们可能会发现，在实现现有层时，块不是从Block继承而来，而是从HybridBlock继承。
以下是这样做的原因-
允许我们编写自定义层： HybridBlock允许我们编写自定义层，这些层可以进一步用于命令式和符号编程中。
提高计算性能-HybridBlock优化了计算符号图，使MXNet可以提高计算性能。
在此示例中，我们将使用HybridBlock重写上面创建的示例层：
class NormalizationHybridLayer(gluon.HybridBlock):
def __init__(self):
super(NormalizationHybridLayer, self).__init__()
def hybrid_forward(self, F, x):
return F.broadcast_div(F.broadcast_sub(x, F.min(x)), (F.broadcast_sub(F.max(x), F.min(x))))
layer_hybd = NormalizationHybridLayer()
layer_hybd(nd.array([1, 2, 3, 4, 5, 6], ctx=mx.cpu()))
输出
输出说明如下：
[0. 0.2 0.4 0.6 0.8 1. ]
混合与GPU上的计算无关，并且可以在CPU和GPU上训练混合以及非混合网络。
如果我们将Block类和HybridBlock进行比较，我们将看到HybridBlock已经实现了forward()方法。 HybridBlock定义了一个hybrid_forward()方法，该方法在创建图层时需要实现。 F参数创建forward()和hybrid_forward()之间的主要区别。在MXNet社区中，F参数称为后端。 F可以引用mxnet.ndarray API (用于命令式编程)或mxnet.symbol API (用于符号编程)。
这些层与预定义层一起使用，而不是单独使用自定义层。我们可以使用Sequential或HybridSequential容器来自顺序神经网络。正如前面讨论的那样，从块和HybridSequential顺序容器继承HybridBlock分别继承。
在下面的示例中，我们将创建一个带有自定义层的简单神经网络。 Dense(5)层的输出将是NormalizationHybridLayer的输入。 NormalizationHybridLayer的输出将成为Dense(1)层的输入。
net = gluon.nn.HybridSequential()
with net.name_scope():
net.add(Dense(5))
net.add(NormalizationHybridLayer())
net.add(Dense(1))
net.initialize(mx.init.Xavier(magnitude=2.24))
net.hybridize()
input = nd.random_uniform(low=-10, high=10, shape=(10, 2))
net(input)
输出
您将看到以下输出-
[[-1.1272651]
[-1.2299833]
[-1.0662932]
[-1.1805027]
[-1.3382034]
[-1.2081106]
[-1.1263978]
[-1.2524893]
[-1.1044774]
[-1.316593 ]]
在神经网络中，层具有一组与之关联的参数。有时我们将它们称为权重，即层的内部状态。这些参数扮演不同的角色-
有时这些是我们在反向传播步骤中想要学习的。
有时，这些只是我们要在正向传递中使用的常数。
如果我们谈论编程概念，则通过ParameterDict类存储和访问块的这些参数(权重)，该类有助于初始化，更新，保存和加载它们。
在下面的示例中，我们将定义以下两个参数集：
参数权重-这是可训练的，在施工阶段其形状未知。将在前向传播的第一次运行中进行推断。
参数scale-这是一个常数，其值不变。与参数权重相反，其形状是在构造过程中定义的。
class NormalizationHybridLayer(gluon.HybridBlock):
def __init__(self, hidden_units, scales):
super(NormalizationHybridLayer, self).__init__()
with self.name_scope():
self.weights = self.params.get('weights',
shape=(hidden_units, 0),
allow_deferred_init=True)
self.scales = self.params.get('scales',
shape=scales.shape,
init=mx.init.Constant(scales.asnumpy()),
differentiable=False)
def hybrid_forward(self, F, x, weights, scales):
normalized_data = F.broadcast_div(F.broadcast_sub(x, F.min(x)),
(F.broadcast_sub(F.max(x), F.min(x))))
weighted_data = F.FullyConnected(normalized_data, weights, num_hidden=self.weights.shape[0], no_bias=True)
scaled_data = F.broadcast_mul(scales, weighted_data)
return scaled_data