Web Scraping CryptoCurrency 价格并使用Python将其存储在 MongoDB 中

简介

在本文中，我们将学习如何使用 Python 从网站上抓取加密货币价格数据，并将其存储在 MongoDB 数据库中。我们将使用 Python 的 requests、BeautifulSoup 和 pymongo 库来实现这个目标。

步骤

以下是实现这个任务所需的步骤:

1. 安装所需的库：

   pip install requests beautifulsoup4 pymongo
   

2. 导入所需的库：

   import requests
   from bs4 import BeautifulSoup
   from pymongo import MongoClient
   

3. 创建一个函数来抓取加密货币价格数据：

   def scrape_crypto_prices():
       # 发起请求并获取网页内容
       url = 'https://www.example.com/crypto'
       response = requests.get(url)
       content = response.content
   
       # 使用 BeautifulSoup 解析 HTML
       soup = BeautifulSoup(content, 'html.parser')
   
       # 提取加密货币价格数据
       prices = {}
       rows = soup.find_all('tr')
       for row in rows:
           name = row.find('td', class_='name').text
           price = row.find('td', class_='price').text
           prices[name] = price
   
       return prices
   

4. 创建一个函数将数据存储到 MongoDB 中：

   def store_prices(prices):
       # 连接 MongoDB
       client = MongoClient('mongodb://localhost:27017/')
       db = client['crypto_prices']
       collection = db['prices']
   
       # 将价格数据插入到 MongoDB 中
       collection.insert_one(prices)
   

5. 调用上述函数来执行抓取和存储操作：

   if __name__ == '__main__':
       crypto_prices = scrape_crypto_prices()
       store_prices(crypto_prices)
   

6. 运行代码并检查 MongoDB 数据库，确认数据已存储成功。

结论

在本文中，我们学习了如何使用 Python 来从网站上抓取加密货币价格数据，并将其存储在 MongoDB 数据库中。这里只是一个简单的例子，你可以使用类似的方法扩展并自定义以满足你的需求。抓取和存储数据是许多数据科学和分析项目的关键步骤，希望本文能对你有所帮助。