📜  J-dorker – 来自 Bing 的网站列表抓取工具(1)

📅  最后修改于: 2023-12-03 14:42:11.630000             🧑  作者: Mango

J-dorker - 来自 Bing 的网站列表抓取工具

简介

J-dorker 是一款支持从 Bing 搜索引擎中抓取与指定关键词相关的网站列表的工具。它可以快速帮助用户收集特定领域的网站信息,并针对这些网站进行相关分析。

特点

以下是 J-dorker 的一些特点:

  • 支持自定义关键词列表。
  • 可选择多个搜索引擎,包括 Bing、Google、Yahoo 等。
  • 支持设置 HTTP/HTTPS 代理。
  • 支持生成指定数量网站列表。
安装
系统要求
  • Python 2.7.x / 3.x
  • Windows / Linux / OS X
安装过程
  1. 克隆 GitHub 代码仓库。

    git clone https://github.com/ameenmaali/jdorker.git
    
  2. 安装依赖包。

    pip install -r requirements.txt
    
  3. 运行 J-dorker。

    python jdorker.py
    
使用方法

以下是 J-dorker 的使用方法:

  1. 运行 jdorker.py。默认情况下,该程序将从 Bing 搜索引擎中抓取 100 个与 "ecommerce" 相关的网站列表。

    python jdorker.py -k ecommerce -e bing -n 100
    
  2. 通过设置 -d 参数,可以定义自己的关键词列表。

    python jdorker.py -d keywords.txt -e bing -n 100
    
  3. 通过设置 -f 参数,可以将结果保存到文件中。

    python jdorker.py -d keywords.txt -e bing -n 100 -f results.txt
    
  4. 通过设置 -p 参数,可以使用代理访问搜索引擎。

    python jdorker.py -d keywords.txt -e google -n 100 -p http://127.0.0.1:8080
    
结论

J-dorker 是一款功能强大的网站列表抓取工具,通过它可以快速获取和分析特定领域的网站信息。如果您需要收集更多关于网站的信息,建议您尝试使用其他网站信息收集工具,如 Sublist3r、the Harvester 等等。