优化器是扩展类，其中包括用于训练特定模型的附加信息。优化器类使用给定的参数初始化，但是请记住，不需要Tensor是很重要的。优化器用于提高速度和性能，以训练特定模型。

TensorFlow的基本优化器是-

tf.train.Optimizer

此类在tensorflow / Python/training/optimizer.py的指定路径中定义。

以下是Tensorflow中的一些优化器-

• 随机梯度下降
• 带有梯度剪切的随机梯度下降
• 动量
• 内斯特罗夫的势头
• 阿达格勒
• 阿达达
• RMSProp
• 亚当
• 阿达玛克斯
• SMORMS3

我们将专注于随机梯度下降。下面提到用于创建优化器的图示-

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定函数内定义。在接下来的章节中，我们将重点介绍实现优化器的梯度下降优化。