使用 Python 获取网页数据并以 JSON 格式返回

本文将介绍如何使用 Python 获取网页数据，并将其转换为 JSON 格式。Python 是一种强大的编程语言，具有许多优秀的库和工具，可以帮助我们实现这个目标。

使用 requests 库发送网络请求

首先，我们需要使用 requests 库发送网络请求。requests 是一个 Python HTTP 库，可以帮助我们方便地发送 HTTP 请求和处理响应。我们可以使用它来获取网页数据。

首先，我们需要安装 requests 库。可以使用以下命令进行安装：

pip install requests

然后，我们就可以使用 requests 库来获取网页数据了。以下是示例代码：

import requests

url = 'https://example.com'
response = requests.get(url)

if response.status_code == 200:
    content = response.content
    print(content)
else:
    print('Request failed with status:', response.status_code)

以上代码将发送一个 GET 请求到网址为 https://example.com 的网站，并将其响应内容打印出来。我们可以根据实际情况进行修改，比如修改网址、修改请求方法等等。

使用 json 库转换数据为 JSON 格式

接下来，我们需要将获取到的数据转换为 JSON 格式。Python 内置了 json 库，可以帮助我们进行 JSON 数据的编码和解码。

我们可以将获取到的数据（这里假设为字典类型）使用 json.dumps() 函数进行编码，从而将其转换为 JSON 格式。以下是示例代码：

import requests
import json

url = 'https://example.com'
response = requests.get(url)

if response.status_code == 200:
    content = response.content
    json_data = json.loads(content)
    print(json.dumps(json_data, indent=4))
else:
    print('Request failed with status:', response.status_code)

以上代码将发送一个 GET 请求到网址为 https://example.com 的网站，并将其响应内容转换为字典类型（假设为 json_data），然后将其编码为 JSON 格式，并打印出来。我们可以根据实际情况进行修改，比如修改网址、修改请求方法等等。

总结

通过使用 requests 库和 json 库，我们可以方便地获取网页数据并将其转换为 JSON 格式。我们可以使用这个技术来访问各种 API，以获取所需的数据。