如何使用 pyautogui 定位图像 - Python

PyAutoGUI 是一个跨平台的 GUI 自动化工具，可以模拟键盘和鼠标的操作，也可以对屏幕截图进行处理。在自动化测试、界面操作、数据采集等方面都有着广泛的应用。

本文将详细介绍如何使用 PyAutoGUI 定位图像来实现自动化测试中的定位问题。

简介

在 PyAutoGUI 中，可以通过使用 locateOnScreen() 和 locateCenterOnScreen() 来定位屏幕上的一个图像。这两个函数默认使用 OpenCV 库来进行图像处理，通过比对相似度来定位目标图像。

安装

在使用 PyAutoGUI 定位图像前，需要先安装 PyAutoGUI 库。可以通过 pip 命令进行安装：

pip install pyautogui

如果提示 Python 文件找不到，请在命令前加上 python -m，如下所示：

python -m pip install pyautogui

示例

下面给出一个简单的示例，使用 PyAutoGUI 定位一张图片并点击它：

import pyautogui

# 定义目标图像文件名
target_image_file = "target.png"

# 在屏幕上查找并定位目标图像
target_image_location = pyautogui.locateOnScreen(target_image_file)

if target_image_location is not None:
    # 获取目标图像的中心点坐标
    target_image_center = pyautogui.center(target_image_location)
    
    # 将鼠标移动到目标图像的中心点
    pyautogui.moveTo(target_image_center)

    # 点击鼠标
    pyautogui.click()
else:
    print("未找到目标图像")

参数说明

在使用 locateOnScreen() 和 locateCenterOnScreen() 来定位图像时，可以设置一些参数来优化图像处理的效果，减少误判的情况。

区域

可以通过 region 参数来指定在屏幕上的某个矩形区域内查找目标图像，以缩小查找范围，提高效率。如下所示：

import pyautogui

# 定义目标图像文件名
target_image_file = "target.png"

# 定义查找区域
search_region = (100, 100, 800, 600)

# 在指定区域内查找目标图像
target_image_location = pyautogui.locateOnScreen(target_image_file, region=search_region)

相似度

可以通过 confidence 参数来指定查找目标图像时的相似度阈值。相似度阈值越高，则查找到目标图像的几率越小，但误判率也越低。如下所示：

import pyautogui

# 定义目标图像文件名
target_image_file = "target.png"

# 定义相似度阈值
confidence_level = 0.9

# 在屏幕上查找并定位目标图像
target_image_location = pyautogui.locateOnScreen(target_image_file, confidence=confidence_level)

总结

通过本文的介绍，相信读者已经了解了如何使用 PyAutoGUI 定位图像来实现自动化测试中的定位问题。在使用 PyAutoGUI 定位图像时，我们可以通过设置不同的参数来优化图像处理的效果，提高定位的准确率。

参考资料

• PyAutoGUI Documentation: https://pyautogui.readthedocs.io/