使用Python脸和手部地标检测 – Mediapipe、OpenCV

Introduction

本文将介绍如何使用Python编写一个简单的脸和手部地标检测程序。在这个程序中，我们将使用两个框架：Mediapipe和OpenCV。Mediapipe是一个由Google开发的机器学习框架，用于计算机视觉和媒体处理任务。OpenCV是一个广泛使用的计算机视觉库，在计算机视觉领域是非常流行的。

我们将使用这些框架来实现以下功能：

• 从摄像头获取图像数据
• 在检测到的脸和手部周围绘制标记
• 显示图像流

Getting Started

首先，我们需要安装必要的软件包。我们将使用Python 3.x版本。您可以使用pip命令安装所需的软件包，如下所示：

pip install opencv-python
pip install mediapipe

完成安装后，我们需要准备一些脚本来运行我们的程序。我们可以使用Python中的脚本文件。我们将创建以下两个脚本：

• face_detection.py 用于检测脸部地标。
• hand_detection.py 用于检测手部地标。

以下是face_detection.py的代码：

import cv2
import mediapipe as mp

mp_face_detection = mp.solutions.face_detection
mp_drawing = mp.solutions.drawing_utils

cap = cv2.VideoCapture(0)

with mp_face_detection.FaceDetection(
    model_selection=0, min_detection_confidence=0.5) as face_detection:

    while True:
        ret, image = cap.read()
        if not ret:
            continue

        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        results = face_detection.process(image)

        if results.detections:
            for detection in results.detections:
                mp_drawing.draw_detection(image, detection)

        cv2.imshow('Face Detection', image)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

cap.release()
cv2.destroyAllWindows()

以上代码主要使用了cv2和mediapipe两个库，其中mp_face_detection.FaceDetection和mp_drawing.draw_detection方法是检测脸部地标的核心。

以下是手部检测脚本hand_detection.py的代码：

import cv2
import mediapipe as mp

mp_hands = mp.solutions.hands
mp_drawing = mp.solutions.drawing_utils

cap = cv2.VideoCapture(0)

with mp_hands.Hands(
    min_detection_confidence=0.5, min_tracking_confidence=0.5) as hands:

    while True:
        ret, image = cap.read()
        if not ret:
            continue

        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        results = hands.process(image)

        if results.multi_hand_landmarks:
            for hand_landmarks in results.multi_hand_landmarks:
                mp_drawing.draw_landmarks(
                    image, hand_landmarks, mp_hands.HAND_CONNECTIONS)

        cv2.imshow('Hand Detection', image)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

cap.release()
cv2.destroyAllWindows()

与face_detection.py类似，mp_hands.Hands和mp_drawing.draw_landmarks是检测手部地标的核心。

Conclusion

现在，我们已经学习如何使用Python和Mediapipe / OpenCV来检测脸和手部地标。通过这个程序，我们可以在实时视频流中看到脸和手部的标记。您可以尝试运行以上代码片段，然后优化和玩耍！