如何使用Python从 Google 抓取 Web 数据？

先决条件： Python请求，使用 BeautifulSoup 在Python中实现 Web Scraping

网页抓取是一种从网站获取数据的技术。在网上冲浪时，许多网站不允许用户保存数据以供个人使用。一种方法是手动复制粘贴数据，这既繁琐又耗时。 Web Scraping 是网站数据提取过程的自动化。

在本文中，我们将从谷歌的搜索结果中抓取天气更新。

所需模块

• BeautifulSoup：此模块用于在 HTML 或 XML 解析器上迭代、搜索和修改解析树。要下载它，请在终端中键入以下命令。

  pip install beautifulsoup4

• Requests： Requests 库是Python的组成部分之一，用于向指定的 URL 发出 HTTP 请求。要下载它，请在终端中键入以下命令。

  pip install requests

下面是实现。

import requests
from bs4 import BeautifulSoup
   
# Enter the City Name
city = input("Enter the City Name: ")
search = "Weather in {}".format(city)
  
# URL 
url = f"https://www.google.com / search?&q ={search}" 
   
# Sending HTTP request
req = requests.get(url)
  
# Pulling HTTP data from internet
sor = BeautifulSoup(req.text, "html.parser") 
  
# Finding temperature in Celsius
temp = sor.find("div", class_='BNeawe').text
  
print(temp)

输出 ：