📌  相关文章
📜  Scrapy-第一蜘蛛

📅  最后修改于: 2020-10-31 14:38:14             🧑  作者: Mango

描述

Spider是一个类，用于定义要从中提取数据的初始URL，如何遵循分页链接以及如何提取和解析items.py中定义的字段。 Scrapy提供了不同类型的蜘蛛，每种蜘蛛都有特定的用途。

在first_scrapy / spiders目录下创建一个名为“ first_spider.py”的文件，在这里我们可以告诉Scrapy如何找到所需的确切数据。为此，您必须定义一些属性-

  • 名称-它定义了蜘蛛的唯一名称。

  • allowed_domains-包含抓取工具抓取的基本URL。

  • start-urls-蜘蛛开始爬网的URL列表。

  • parse() -这是一种提取和解析抓取数据的方法。

以下代码演示了蜘蛛代码的外观-

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)