使用 BeautifulSoup 导航(1)

📌 相关文章

📜 使用 BeautifulSoup 导航(1)

📅 最后修改于: 2023-12-03 14:49:37.492000 🧑 作者: Mango

使用 BeautifulSoup 导航

BeautifulSoup 是 Python 中一款常用的解析 HTML 和 XML 的库。它可以方便的从网页中提取出我们需要的数据，比如在网页中提取出我们需要的标题、文本、图片等信息。

在本篇文章中，我们将会介绍如何使用 BeautifulSoup 实现导航到 HTML 标签元素。

安装

在使用 BeautifulSoup 之前，需要先进行安装。可以在终端中输入以下命令来安装 BeautifulSoup：

pip install beautifulsoup4

使用

以下是一个使用 BeautifulSoup 导航到 HTML 标签元素的示例代码：

from bs4 import BeautifulSoup

html_doc = """<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 导航到标题标签元素
title_tag = soup.title

# 打印标签名称
print(title_tag.name)

# 打印标签内容
print(title_tag.contents)

通过这段代码，我们实现了导航到标题标签元素，然后获取了该标签的名称和内容。

导航到标签元素

在使用 BeautifulSoup 实现导航到 HTML 标签元素时，我们可以使用以下方式进行导航：

直接获取标签元素

可以通过以下方式直接获取 HTML 标签元素，其中标签名字可以为大写或小写，而 BeautifulSoup 会自动将其转化为小写：

soup.tagname

在上面的示例代码中，我们使用了以下方式导航到标题标签元素：

title_tag = soup.title

通过遍历子节点获取标签元素

在遍历 HTML 文档树时，我们可以使用以下属性获取当前标签的子节点：

.contents：以列表形式返回标签内所有子节点。
.children：以迭代器形式返回标签内所有子节点。
.descendants：以迭代器形式返回标签内所有子孙节点。

以下是示例代码：

# 遍历子节点
for child in soup.body.children:
    print(child)

输出结果为：

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>

通过 CSS 选择器获取标签元素

在使用 CSS 选择器获取标签元素时，我们可以使用以下方式进行导航：

soup.select('tagname')
soup.select('.class')
soup.select('#id')

其中，tagname、class、id 分别为标签名字、类名、id。

以下是示例代码：

# 通过 CSS 选择器获取标签元素
a_tags = soup.select('a')
for a_tag in a_tags:
    print(a_tag['href'])

输出结果为：

http://example.com/elsie
http://example.com/lacie
http://example.com/tillie

总结

在 Python 中，使用 BeautifulSoup 导航到 HTML 标签元素非常方便，我们可以通过直接获取标签元素、遍历子节点、通过 CSS 选择器获取标签元素等方式，来实现获取需要的数据。在实际编写程序时，我们需要根据具体的场景来选择合适的方式实现导航。