Python | 数据增强

数据增强是一种通过对原始数据进行变换和扩增的方式来产生新的样本的方法。在机器学习、深度学习等领域中，数据增强通常用于增加数据集的大小、提高模型鲁棒性、防止过拟合等。

Python 提供了丰富的数据增强库，本文将对常用的数据增强库进行介绍。

图像数据增强

1. albumentations

albumentations 是一款专门针对图像数据增强的 Python 库，支持多种数据增强方式，包括缩放、翻转、旋转、裁剪、随机亮度等。该库使用 NumPy 和 OpenCV 实现，速度较快。

使用方式：

import albumentations as A
from albumentations.pytorch import ToTensorV2

transform = A.Compose([
    A.Resize(height=256, width=256),
    A.HorizontalFlip(p=0.5),
    A.Rotate(limit=30, p=0.5),
    A.RandomBrightnessContrast(p=0.5),
    ToTensorV2(),
])

2. torchvision.transforms

torchvision.transforms 是 PyTorch 中的一个数据增强模块，集成了多种图像增强操作，包括缩放、旋转、翻转、裁剪、转换为张量等。该模块可以和 PyTorch 的数据加载器（torch.utils.data.DataLoader）一起使用。

使用方式：

import torchvision.transforms as transforms

transform = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(30),
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.2),
    transforms.ToTensor(),
])

文本数据增强

1. nlpaug

nlpaug 是一款专门针对自然语言处理领域的数据增强 Python 库，支持多种数据增强方式，包括随机删除、随机交换、随机插入、同义词替换等。该库支持多种文本格式，包括字符串、列表、字典等。

使用方式：

import nlpaug.augmenter.word as naw

aug = naw.ContextualWordEmbsAug(
    model_path='bert-base-uncased',      # 模型路径
    action="substitute"                 # 动作
)

text = "the quick brown fox jumps over the lazy dog"
augmented_text = aug.augment(text)

print(augmented_text)

2. textaugment

textaugment 是另一款专门针对文本数据增强的 Python 库，支持多种数据增强方式，包括随机大小写、随机删除、随机打乱等。该库支持多种文本格式，包括字符串、列表等。

使用方式：

from textaugment import augmenter

aug = augmenter.RandomCharAug(action="insert", aug_char=" ")
text = "Hello, world!"
augmented_text = aug.augment(text)

print(augmented_text)

音频数据增强

1. audiomentations

audiomentations 是一款专门用于音频数据增强的 Python 库，支持多种数据增强方式，包括声音调节、增加噪声、增加回声等。该库支持多种音频格式。

使用方式：

import audiomentations as A
import librosa

transform = A.Compose([
    A.AddGaussianNoise(p=0.5),
    A.TimeStretch(p=0.5),
    A.PitchShift(p=0.5),
    A.Normalize(p=1.0),
])

y, sr = librosa.load("path/to/audio.wav", sr=None)
y_augmented = transform(samples=y, sample_rate=sr)

2. pydub

pydub 是一个使用简单的音频处理库，支持多种音频格式。该库可以用于音频数据增强，包括混响、降噪、增加音量等。

使用方式：

from pydub import AudioSegment
from pydub.effects import normalize, speedup

sound = AudioSegment.from_file("path/to/audio.wav", format="wav")

# 增加音量
sound = normalize(sound)

# 加速音频
sound = speedup(sound, playback_speed=1.5)

sound.export("path/to/new_audio.wav", format="wav")

总结

Python 提供了多款优秀的数据增强库，可以满足不同领域的需求。在使用这些库时，需要注意不同方式的适用场景，以及参数的调节。