Scrapy Python站点的电子邮件 ID 提取器项目

Scrapy Python站点的电子邮件 ID 提取器项目是一个基于Scrapy框架的Python程序，可用于提取指定网站上的所有电子邮件地址，并将结果存储在CSV文件中。

功能

• 可以从指定的网站上提取所有的电子邮件地址
• 将提取到的结果存储在CSV文件中，方便后续使用

安装

1. 首先，确保您已经安装了Python，可以在终端中输入以下命令来检查：python --version

2. 下载Scrapy框架，可以使用以下命令进行安装：pip install Scrapy

3. 将本项目的代码Clone到本地：git clone https://github.com/yourrepositoryname

使用

1. 在终端中进入项目的根目录：cd Scrapy-Python-email-ID-extractor

2. 打开 settings.py 文件，将 website_url 设置为您要提取电子邮件地址的网站URL

3. 运行项目：scrapy crawl emails

4. 在项目根目录下，可以找到 emails.csv 文件，其中包含了从网站上提取到的电子邮件地址信息。

代码片段

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from ..items import ScrapyPythonEmailIdExtractorItem

class EmailsSpider(CrawlSpider):
    name = 'emails'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    rules = (
        Rule(LinkExtractor(), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        item = ScrapyPythonEmailIdExtractorItem()
        item['url'] = response.url
        item['email'] = response.css('a[href^="mailto:"]::attr(href)').extract()
        yield item

以上代码定义了一个名为 EmailsSpider 的类，继承自 CrawlSpider，在爬取时会自动遍历整个网站，提取所有包含 href 属性以 "mailto:" 开头的 a 标签，并将提取到的电子邮件地址存储在CSV文件中。