Scrapy-异常 - 芒果文档

📌 相关文章

📜 Scrapy-异常

📅 最后修改于: 2020-10-31 14:37:33 🧑 作者: Mango

描述

不规则事件称为异常。在Scrapy中，由于缺少配置，从项目管道中删除项目等原因而引发了异常。以下是Scrapy及其应用中提到的异常列表。

物料管道使用此异常在任何阶段停止处理物料。它可以写成-

exception (scrapy.exceptions.DropItem)

此异常用于使用回调请求停止蜘蛛。它可以写成-

exception (scrapy.exceptions.CloseSpider)(reason = 'cancelled')

它包含称为原因(str)的参数，该参数指定关闭的原因。

例如，以下代码显示了此异常的用法-

def parse_page(self, response): 
   if 'Bandwidth exceeded' in response.body: 
      raise CloseSpider('bandwidth_exceeded')

调度程序或下载程序中间件使用此异常来忽略请求。它可以写成-

exception (scrapy.exceptions.IgnoreRequest)

它指示缺少配置情况，应在组件构造函数中提出。

exception (scrapy.exceptions.NotConfigured)

如果禁用以下任何组件，则可以引发此异常。

当不支持任何功能或方法时，将引发此异常。它可以写成-

exception (scrapy.exceptions.NotSupported)