📜  在 ScrapingHub 上部署 Scrapy spider(1)

📅  最后修改于: 2023-12-03 15:07:49.133000             🧑  作者: Mango

在 ScrapingHub 上部署 Scrapy spider

ScrapingHub 是一个提供云端爬虫部署和运行服务的平台,支持多种语言和框架,并提供强大的数据管理和调度系统。本文将带你了解如何在 ScrapingHub 上部署 Scrapy spider。

1. 注册 ScrapingHub 账号

首先,你需要在 ScrapingHub 上注册一个账户。前往ScrapingHub 官网,点击右上角的“Sign In / Register”按钮,选择“Register”选项并填写相关信息即可。

ScrapingHub 注册页面截图

2. 创建项目

注册成功后,我们需要创建一个新的项目。点击网页顶部的“Projects”按钮,在项目列表页面中点击“Create Project”按钮,填写项目名称和描述信息。

ScrapingHub 创建项目页面截图

3. 创建 Spider

项目创建完成后,我们需要在项目中创建一个新的 Spider。在项目主页中点击“Spiders”选项卡,然后点击“Create Spider”按钮,填写 Spider 名称、URL 和相应的 Scrapy 代码。当然也可选择上传 Scrapy 项目的 zip 包。填写完成后点击“Create Spider”按钮即可。

ScrapingHub 创建 Spider 页面截图

4. 部署 Spider

Spider 创建完成后,我们需要将其部署到 ScrapingHub 服务器上。在 Spider 页面中点击“Deploy”选项卡,选择要部署的环境和版本(默认为“default”),点击“Deploy”按钮。

ScrapingHub 部署 Spider 页面截图

部署完成后,我们可以在“Jobs”选项卡中查看 Spider 的运行情况和数据采集结果。此外,ScrapingHub 还提供了丰富的数据导出和管理功能,能够满足大部分的数据分析和应用场景需求。

至此,我们已经学会了在 ScrapingHub 上部署 Scrapy spider 的基本方法。你可以自由发挥并探索更多高级功能,祝大家使用愉快!