📜  OnionSearch – 在不同的 .Onion 搜索引擎上抓取 URL(1)

📅  最后修改于: 2023-12-03 15:18:06.723000             🧑  作者: Mango

OnionSearch – 在不同的 .Onion 搜索引擎上抓取 URL

简介

OnionSearch 是一个用于在不同的 .onion 搜索引擎上抓取 URL 的 Python 工具。该工具使用了多线程爬虫技术来实现快速抓取 .onion 站点的 URL。

特性
  • 多线程爬虫
  • 支持 TOR 代理
  • 抓取结果可导出为 CSV 格式文件
  • 支持多种 .onion 搜索引擎
安装

在终端运行以下命令:

git clone https://github.com/Ph055a/OnionSearch.git
cd OnionSearch
pip install -r requirements.txt
使用方法

在终端运行以下命令:

python onionsearch.py -u <搜索关键词> [-p <TOR代理>] [-e <搜索引擎>] [-o <输出文件名>]

其中,各参数含义如下:

  • -u: 搜索关键词,必选参数。
  • -p: TOR 代理,可选参数。
  • -e: 搜索引擎,可选参数。默认为 'ahmia',可选值为 'ahmia', 'torch', 'not evil', 'onion land', 'torch', 'underdir', 'darksearch', 'grams'.
  • -o: 输出文件名,可选参数。默认为 'output.csv'。

例如,要搜索关键词 'bitcoin' 并将结果保存为 'url.csv' 文件,可以运行以下命令:

python onionsearch.py -u bitcoin -o url.csv
结果导出

OnionSearch 支持将抓取结果导出为 CSV 格式文件,可在 Excel 中打开。

注意事项

在使用 OnionSearch 时,请注意遵守当地法律法规和相关规定。使用 TOR 网络时也要注意自身安全。对于使用过程中的任何问题或 bug,请在 GitHub 仓库的 issues 页面中反馈。