如何安装 scrapy-user 代理 - Shell-Bash

如果你想在 Scrapy 爬虫中使用代理，那么 scrapy-user 代理是一个不错的选择。以下是安装 scrapy-user 代理的步骤：

1. 安装 Python

如果你还没有安装 Python，请先下载和安装 Python 3.x。

2. 安装依赖

在终端中输入以下命令来安装所需依赖：

pip3 install pyOpenSSL service_identity

3. 安装 scrapy-user 代理

在终端中输入以下命令来安装 scrapy-user 代理：

pip3 install scrapy-user-agent

4. 设置代理

在 Scrapy 爬虫的 settings.py 文件中，添加以下代码来设置 scrapy-user 代理：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
    'scrapy_user_agents.middlewares.ProxyMiddleware': 410,
}

5. 配置代理信息

在 Scrapy 爬虫的 settings.py 文件中，添加以下代码来配置代理信息：

PROXY_LIST = './proxies.txt'

PROXY_MODE = 0

其中，PROXY_LIST 指定代理 IP 的列表文件路径，PROXY_MODE 参数指定代理模式：0 表示使用随机代理，1 表示按顺序使用代理。

6. 启用代理

在 Scrapy 爬虫的 settings.py 文件中，修改默认配置来启用代理：

HTTP_PROXY = 'http://127.0.0.1:9999'
HTTPS_PROXY = 'https://127.0.0.1:9999'

7. 测试代理

在终端中输入以下命令来测试 scrapy-user 代理是否正常工作：

scrapy fetch httpbin.org/ip

如果返回结果包含了代理 IP 地址，代表 scrapy-user 代理已经成功安装并工作。