在 ScrapingHub 上部署 Scrapy spider

什么是 ScrapingHub？

Scrapy 是一个用于网络爬虫的开源框架。这个框架是用Python编写的，最初是为网页抓取而设计的。 Web 抓取也可用于使用 API 提取数据。 ScrapingHub 提供从网页抓取数据的整个服务，即使是复杂的网页。

为什么选择 ScrapingHub？

假设一个网站提供 1-input 字段，并根据搜索查询返回一个响应。动机是通过输入输入并获得响应来获取所有数据。现在这个输入字段可以有从“0000”字符串到“9999”字符串的数字，所以简而言之，需要给出10000个输入，以便可以从网站获取所有结果。现在对于每个请求，假设为“0000”，它将需要 4 到 5 分钟，作为响应，您将获得 1000 多个数据字段。它可能会有所不同，因为最后，网站将返回所有数字以“0000”结尾的数据，而对于网站来说，查询和返回它需要时间。所以如果我们做一些小数学，那么，10000 * 5 = 50000 分钟，这意味着大约 35 天。

因此，对于初学者来说，可以使用Python 2.7 的 mechanize 模块并查询它，但最后，它需要 35 天通过不间断地运行 PC/笔记本电脑来完成。另一种解决方案是可以使用多线程和多处理来避免这种情况，但是以有组织的方式保存数据并克服这种复杂性将花费大量时间。但是使用Scrapy会节省大量时间。尽管如此，我们仍然需要运行这个脚本至少 1-3 天，因为我们正在讨论抓取数百万个数据。所以要克服这个问题，最好的选择是借助ScrapingHub 。

ScrapingHub 提供了在云端部署 Scrapy 蜘蛛并执行它的功能。作为回报，它将运行我们的蜘蛛 24 小时（免费用户）或 7 天（付费用户），这是值得的。这就是为什么人们可以使用 ScrapingHub 来节省时间和成本的原因。

这该怎么做：

第 1 步：在本地机器上创建 Spider

在上一篇文章中，我们创建了一个简单的蜘蛛来抓取网页并获取该网站上存在的所有 URL。同样，只需添加一个额外的功能，通过在脚本中维护 set 并在添加之前进行交叉检查来避免抓取重复的 url。

# importing scrapy module
import scrapy
  
  
class ExtractUrls(scrapy.Spider):
      
    # Name of the spider
    crawled = set()
      
    # Set to avoiding duplicate url
    name = "extract"
  
    def start_requests(self):
  
        # Starting url mentioned
        urls = ['https://www.geeksforgeeks.org', ]
        for url in urls:
            yield scrapy.Request(url = url,
                     callback = self.parse)
  
    def parse(self, response):
        title = response.css('title::text').extract_first()
        links = response.css('a::attr(href)').extract()
        for link in links:
            yield
        {
            'title': title,
            'links': link
        }
  
        if ('geeksforgeeks' in link and
               link not in self.crawled):
            self.crawled.update(link)
            yield scrapy.Request(url = link,
                      callback = self.parse)