- TensorFlow中卷积神经网络的介绍
- TensorFlow中卷积神经网络的介绍(1)
- 卷积神经网络(1)
- 卷积神经网络
- Tensorflow 中的卷积神经网络 (CNN)(1)
- Tensorflow 中的卷积神经网络 (CNN)
- 卷积神经网络的工作
- 卷积神经网络的工作(1)
- 卷积神经网络简介
- 卷积神经网络简介(1)
- 卷积神经网络(CNN)在 Tensorflow 中的工作
- 卷积神经网络(CNN)在 Tensorflow 中的工作(1)
- PyTorch-卷积神经网络(1)
- PyTorch-卷积神经网络
- Keras-卷积神经网络
- tensorflow 神经网络 - Python (1)
- 卷积神经网络模型的测试
- 卷积神经网络模型的测试(1)
- 在 TensorFlow 中训练卷积神经网络 (CNN)(1)
- 在 TensorFlow 中训练卷积神经网络 (CNN)
- 卷积神经网络模型的验证(1)
- 卷积神经网络模型的验证
- 卷积神经网络模型实现
- 使用卷积神经网络的多个标签
- 使用卷积神经网络的多个标签(1)
- tensorflow 神经网络 - Python 代码示例
- CNTK-卷积神经网络
- CNTK-卷积神经网络(1)
- 卷积神经网络模型的训练(1)
📅 最后修改于: 2020-12-10 06:01:56 🧑 作者: Mango
了解机器学习概念之后，我们现在可以将重点转移到深度学习概念上。深度学习是机器学习的一部分，被认为是近几十年来研究人员迈出的关键一步。深度学习实现的示例包括图像识别和语音识别等应用。
以下是深度神经网络的两种重要类型-
- 卷积神经网络
- 递归神经网络
在本章中，我们将重点介绍CNN，即卷积神经网络。
卷积神经网络
卷积神经网络旨在通过多层阵列处理数据。这种类型的神经网络用于诸如图像识别或面部识别之类的应用中。 CNN与任何其他普通神经网络之间的主要区别在于，CNN将输入作为二维数组，直接在图像上进行操作，而不是关注其他神经网络所关注的特征提取。
CNN的主要方法包括识别问题的解决方案。像Google和Facebook这样的顶级公司已经在识别项目上进行了研发投资，以更快地完成活动。
卷积神经网络使用三个基本思想-
- 当地各自的领域
- 卷积
- 汇集
让我们详细了解这些想法。
CNN利用输入数据内存在的空间相关性。神经网络的每个并发层都连接一些输入神经元。该特定区域称为局部感受野。局部感受野集中在隐藏的神经元上。隐藏的神经元在提到的字段内处理输入数据，但未实现特定边界之外的更改。
以下是生成本地各个字段的图示-
如果我们观察到以上表示，则每个连接都将学习隐藏神经元的权重，以及与从一层到另一层的运动相关联的连接。在此，单个神经元会不时执行转换。这个过程称为“卷积”。
从输入层到隐藏特征图的连接映射定义为“共享权重”，所包含的偏差称为“共享偏差”。
CNN或卷积神经网络使用池化层，池化层是在CNN声明后立即定位的层。它将来自用户的输入作为来自卷积网络的特征图，并准备一个浓缩的特征图。合并层有助于创建具有先前层神经元的层。
CNN的TensorFlow实现
在本部分中，我们将了解CNN的TensorFlow实现。这些步骤要求执行整个网络并具有适当的尺寸，如下所示-
步骤1-包括用于计算CNN模型所需的TensorFlow必需的模块和数据集模块。
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
步骤2-声明一个名为run_cnn()的函数，该函数包含各种参数和带有数据占位符声明的优化变量。这些优化变量将声明训练模式。
def run_cnn():
mnist = input_data.read_data_sets("MNIST_data/", one_hot = True)
learning_rate = 0.0001
epochs = 10
batch_size = 50
步骤3-在此步骤中，我们将使用输入参数声明训练数据占位符-对于28 x 28像素=784。这是从mnist.train.nextbatch()提取的展平图像数据。
我们可以根据需要重塑张量。第一个值(-1)告诉函数根据传递给它的数据量动态调整该维度。中间的两个尺寸设置为图像尺寸(即28 x 28)。
x = tf.placeholder(tf.float32, [None, 784])
x_shaped = tf.reshape(x, [-1, 28, 28, 1])
y = tf.placeholder(tf.float32, [None, 10])
步骤4-现在创建一些卷积层很重要-
layer1 = create_new_conv_layer(x_shaped, 1, 32, [5, 5], [2, 2], name = 'layer1')
layer2 = create_new_conv_layer(layer1, 32, 64, [5, 5], [2, 2], name = 'layer2')
第5步-让我们展平输出，为完全连接的输出级做好准备-在两步跨度为28 x 28的第2步合并到14 x 14或最小7 x 7 x，y坐标之后，但是具有64个输出通道。要创建完全连接的“密集”层，新形状需要为[-1，7 x 7 x 64]。我们可以为此层设置一些权重和偏差值，然后使用ReLU激活。
flattened = tf.reshape(layer2, [-1, 7 * 7 * 64])
wd1 = tf.Variable(tf.truncated_normal([7 * 7 * 64, 1000], stddev = 0.03), name = 'wd1')
bd1 = tf.Variable(tf.truncated_normal([1000], stddev = 0.01), name = 'bd1')
dense_layer1 = tf.matmul(flattened, wd1) + bd1
dense_layer1 = tf.nn.relu(dense_layer1)
步骤6-具有所需的优化程序的特定softmax激活的另一层定义准确性评估，从而进行初始化运算符的设置。
wd2 = tf.Variable(tf.truncated_normal([1000, 10], stddev = 0.03), name = 'wd2')
bd2 = tf.Variable(tf.truncated_normal([10], stddev = 0.01), name = 'bd2')
dense_layer2 = tf.matmul(dense_layer1, wd2) + bd2
y_ = tf.nn.softmax(dense_layer2)
cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(logits = dense_layer2, labels = y))
optimiser = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
init_op = tf.global_variables_initializer()
步骤7-我们应该设置记录变量。这将汇总汇总以存储数据的准确性。
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter('E:\TensorFlowProject')
with tf.Session() as sess:
sess.run(init_op)
total_batch = int(len(mnist.train.labels) / batch_size)
for epoch in range(epochs):
avg_cost = 0
for i in range(total_batch):
batch_x, batch_y = mnist.train.next_batch(batch_size = batch_size)
_, c = sess.run([optimiser, cross_entropy], feed_dict = {
x:batch_x, y: batch_y})
avg_cost += c / total_batch
test_acc = sess.run(accuracy, feed_dict = {x: mnist.test.images, y:
mnist.test.labels})
summary = sess.run(merged, feed_dict = {x: mnist.test.images, y:
mnist.test.labels})
writer.add_summary(summary, epoch)
print("\nTraining complete!")
writer.add_graph(sess.graph)
print(sess.run(accuracy, feed_dict = {x: mnist.test.images, y:
mnist.test.labels}))
def create_new_conv_layer(
input_data, num_input_channels, num_filters,filter_shape, pool_shape, name):
conv_filt_shape = [
filter_shape[0], filter_shape[1], num_input_channels, num_filters]
weights = tf.Variable(
tf.truncated_normal(conv_filt_shape, stddev = 0.03), name = name+'_W')
bias = tf.Variable(tf.truncated_normal([num_filters]), name = name+'_b')
#Out layer defines the output
out_layer =
tf.nn.conv2d(input_data, weights, [1, 1, 1, 1], padding = 'SAME')
out_layer += bias
out_layer = tf.nn.relu(out_layer)
ksize = [1, pool_shape[0], pool_shape[1], 1]
strides = [1, 2, 2, 1]
out_layer = tf.nn.max_pool(
out_layer, ksize = ksize, strides = strides, padding = 'SAME')
return out_layer
if __name__ == "__main__":
run_cnn()
以下是上述代码生成的输出-
See @{tf.nn.softmax_cross_entropy_with_logits_v2}.
2018-09-19 17:22:58.802268: I
T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:140]
Your CPU supports instructions that this TensorFlow binary was not compiled to
use: AVX2
2018-09-19 17:25:41.522845: W
T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:101] Allocation
of 1003520000 exceeds 10% of system memory.
2018-09-19 17:25:44.630941: W
T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:101] Allocation
of 501760000 exceeds 10% of system memory.
Epoch: 1 cost = 0.676 test accuracy: 0.940
2018-09-19 17:26:51.987554: W
T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:101] Allocation
of 1003520000 exceeds 10% of system memory.