Facebook 使用检测转换器 (DETR) 进行对象检测

简介

Facebook 在 2020 年发布了一种新的对象检测方法，称为检测转换器 (DETR, Detection Transformer)。该算法使用 Transformer 模型在计算机视觉领域达到了最新的水平。

DETR 通过对输入图像和一组预定义对象进行编码，使用 Transformer 网络生成一组对象表示。其中，每个对象表示是一个具有相关位置、类别和掩码信息的高维度张量。然后，DETR 将所有的对象表示映射到目标类别和位置中，从而实现对象检测。

特点

DETR 算法有以下特点：

• 不需要使用先验框 (Anchor Box) 或手动设置区域提议 (Region Proposal)，使训练和推理更加简单且去除人工干预；
• 通过使用 Transformer 编码特征，并将其与对象表示关联，从而产生更好的上下文感知信息，从而提高对象检测的精度；
• 采用交叉注意力机制，将相关信息传递给其他对象表示，从而增强序列上下文信息的交互。

使用

DETR 的 PyTorch 版本代码已经被 Facebook 公开发布。该代码可以用于训练和推理阶段的对象检测任务。

训练

DETR 的训练分为两个阶段：finetune 和调整。

在 finetune 阶段，模型的预测结果将与图像的真实标签进行比较，并根据损失函数来更新模型权重。

在调整阶段，模型将进一步微调，并通过调整学习率、增加数据扩充等技术来提高模型的泛化能力。如果需要更好的检测结果，可以使用更多的训练数据，并根据需要进行调整。

推理

DETR 的推理过程可以使用 COCO 和 Pascal VOC 等数据集进行测试。用户可以通过使用训练好的模型来生成目标检测结果。

在推理阶段，DETR 将输入图像和一个空白的目标列表作为输入。然后，使用 Transformer 网络对每个对象进行编码，生成一组对象表示。然后，DETR 将所有的对象表示映射到目标类别和位置中，输出最终的目标检测结果。

结束语

DETR 使用 Transformer 模型在图像识别领域取得了很大的突破。它的高精度、去除人工干预等特点使得它成为最受欢迎的对象检测算法之一。在未来，随着深度学习技术的不断发展，DETR 可能将成为更多计算机视觉任务的首选。