CIFAR-10和CIFAR-100数据集介绍

概述

CIFAR-10和CIFAR-100数据集是计算机视觉领域常用的数据集之一，由多伦多大学的Alex Krizhevsky、Vinod Nair和Geoffrey Hinton等人在2009年创建。两个数据集都由60000张32x32大小的彩色图片组成，其中CIFAR-10有10个类别，每个类别有6000张图片；CIFAR-100有100个类别，每个类别有600张图片。其中，每个类别的图片数量相同。

类别

CIFAR-10的10个类别如下：

• 飞机（airplane）
• 汽车（automobile）
• 鸟（bird）
• 猫（cat）
• 鹿（deer）
• 狗（dog）
• 青蛙（frog）
• 马（horse）
• 船（ship）
• 卡车（truck）

CIFAR-100的100个类别分为20个大类别，每个大类别包含5个小类别。其中，大类别的名称如下：

• aquatic animals
• fish
• flowers
• food containers
• fruit and vegetables
• household electrical devices
• household furniture
• insects
• large carnivores
• large man-made outdoor things
• large natural outdoor scenes
• large omnivores and herbivores
• medium-sized mammals
• non-insect invertebrates
• people
• reptiles
• small mammals
• trees
• vehicles 1
• vehicles 2

使用

下载

可以在官网上下载CIFAR-10和CIFAR-100的数据集。下载后的文件可以使用Python的pickle库读取。

import pickle

# 加载CIFAR-10的训练集
with open('cifar-10-python/train', 'rb') as f:
    train_data = pickle.load(f, encoding='bytes')

# 加载CIFAR-100的测试集
with open('cifar-100-python/test', 'rb') as f:
    test_data = pickle.load(f, encoding='bytes')

数据处理

由于CIFAR-10和CIFAR-100的图片都是32x32大小，因此可以直接使用matplotlib库将其显示出来。

import matplotlib.pyplot as plt
import numpy as np

# 显示CIFAR-10的第一张图片
plt.imshow(np.transpose(train_data[b'data'][0].reshape((3, 32, 32)), (1, 2, 0)))
plt.show()

如果需要对数据进行预处理，可以使用torchvision库。

import torchvision.transforms as transforms

# 对CIFAR-10的数据进行预处理
train_transform = transforms.Compose([
    transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])
test_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

# 加载CIFAR-10的训练集
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=train_transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True, num_workers=2)

# 加载CIFAR-10的测试集
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=test_transform)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=100, shuffle=False, num_workers=2)

模型训练

可以使用PyTorch等深度学习框架对CIFAR-10和CIFAR-100数据集进行训练和测试。

import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
    
    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 定义优化器和损失函数
net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

# 训练模型
for epoch in range(2):
    running_loss = 0.0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
        if i % 2000 == 1999:
            print('[%d, %5d] loss: %.3f' % (epoch+1, i+1, running_loss/2000))
            running_loss = 0.0

print('Finished Training')

模型测试

# 测试模型
correct = 0
total = 0
with torch.no_grad():
    for data in test_loader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the %d test images: %d %%' % (len(test_dataset), 100 * correct / total))

总结

CIFAR-10和CIFAR-100数据集是计算机视觉领域常用的数据集之一，适合用于模型的训练和测试。对于初学者，可以使用PyTorch等深度学习框架对数据进行训练和测试。