curl 获取结构化内容 - Shell/Bash

简介

在 Shell 或 Bash 环境中使用 curl 命令，可以方便地获取结构化内容。curl 是一个功能强大的命令行工具，用于发送 HTTP、HTTPS、FTP 请求并获取响应。通过正确使用 curl，可以从 Web 页面或 API 接口中提取所需数据，并进行进一步处理和分析。

在本文中，我们将介绍如何使用 curl 命令获取结构化内容，并给出一些常用的用例示例。

安装 curl

如果你的系统中没有安装 curl，可以通过以下命令在大多数 Linux 发行版上进行安装：

sudo apt-get install curl  # Debian/Ubuntu
sudo yum install curl  # CentOS/RHEL
sudo dnf install curl  # Fedora

用法示例

发送 GET 请求获取网页内容

curl -s https://example.com

这条命令将使用 curl 发送一个简单的 GET 请求，并获取 https://example.com 网站的内容。-s 参数用于禁止显示进度条，仅显示响应内容。

发送 POST 请求传递数据

curl -X POST -d "username=admin&password=123456" https://api.example.com/login

该命令将发送一个带有表单数据的 POST 请求，并将数据作为参数传递给服务器。-X POST 参数指定了请求方法为 POST，-d 参数用于指定需要传递的数据。这里示例中的数据为 username=admin&password=123456。最后指定了请求的 URL。

提取响应内容中的某个字段

curl -s https://api.example.com/users | grep username | sed 's/.*: "\(.*\)".*/\1/'

该命令将先使用 curl 获取 https://api.example.com/users API 的响应内容，然后使用 grep 过滤出包含 "username" 的行，再使用 sed 提取出字段值。这里假设 API 返回的结构为 JSON 类型，并且 username 字段的值被双引号括起来。

下载文件

curl -O https://example.com/image.png

该命令将从指定的 URL 下载文件，并保存在当前工作目录下，文件名与 URL 中的文件名一致。

结论

使用 curl 命令可以方便地获取结构化内容，进行进一步的数据处理和分析。通过多次使用 curl 命令，并结合其他 Shell/Bash 工具，可以方便地编写脚本来自动化获取和处理数据的过程。

以上给出的示例只是 curl 命令的一小部分用法，你可以根据需要查阅官方文档，并结合实际情况进行灵活应用。