收集 - Python

介绍

Python 是一种高级编程语言，被广泛应用于数据处理、Web 开发、人工智能和科学计算等领域。Python 提供了许多有用的数据结构和函数，使收集和处理数据非常容易。本文将介绍在 Python 中进行数据收集的常用库和技术。

数据收集库

以下是常用的 Python 数据收集库：

Requests

Requests 是 Python 中最流行的 HTTP 库之一，它简化了发送 HTTP 请求和处理响应的过程。通过使用 Requests，我们可以轻松地从 Web 服务中获取数据。以下是一个使用 Requests 获取网页内容的示例：

import requests

response = requests.get('https://www.baidu.com')
print(response.text)

BeautifulSoup

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它可以帮助我们轻松地从网页中提取数据。以下是一个使用 BeautifulSoup 解析 HTML 页面的示例：

from bs4 import BeautifulSoup
import requests

response = requests.get('https://blog.csdn.net/')
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('a', class_='title')
for title in titles:
    print(title.get_text())

Scrapy

Scrapy 是一个用于爬取网站数据的 Python 框架。它提供了一个高效的方式来收集大量数据。以下是一个使用 Scrapy 爬取网站数据的示例：

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for title in response.css('h2.entry-title'):
            yield {'title': title.css('a ::text').get()}

        next_page = response.css('div.prev-post > a ::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

数据存储技术

以下是常用的 Python 数据存储技术：

CSV

CSV（Comma-Separated Values）是一种常见的数据格式，它以逗号分隔值来存储数据。Python 提供了一个内置的 csv 模块，用于读写 CSV 文件。以下是一个使用 csv 模块将数据写入 CSV 文件的示例：

import csv

data = [['Name', 'Age', 'Gender'], ['Alice', 25, 'Female'], ['Bob', 30, 'Male'], ['Charlie', 35, 'Male']]
with open('data.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)

JSON

JSON（JavaScript Object Notation）是一种轻量级数据交换格式，被广泛应用于 Web 和移动应用程序中。Python 提供了内置的 json 模块，用于编码和解码 JSON 数据。以下是一个使用 json 模块将数据编码为 JSON 格式的示例：

import json

data = {'name': 'Alice', 'age': 25, 'gender': 'Female'}
json_data = json.dumps(data)
print(json_data)

SQLite

SQLite 是一种轻量级的嵌入式关系型数据库，被广泛应用于移动应用程序和小型 Web 应用程序中。Python 提供了内置的 sqlite3 模块，用于连接和操作 SQLite 数据库。以下是一个使用 sqlite3 模块连接 SQLite 数据库并插入数据的示例：

import sqlite3

conn = sqlite3.connect('data.db')
cur = conn.cursor()

cur.execute('CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER, gender TEXT)')
cur.execute('INSERT INTO users (name, age, gender) VALUES (?, ?, ?)', ('Alice', 25, 'Female'))
cur.execute('INSERT INTO users (name, age, gender) VALUES (?, ?, ?)', ('Bob', 30, 'Male'))
conn.commit()

cur.execute('SELECT * FROM users')
rows = cur.fetchall()
for row in rows:
    print(row)

conn.close()

结论

Python 提供了许多有用的库和技术来收集和处理数据。本文介绍了常用的数据收集库和数据存储技术，可以帮助程序员更轻松地收集和处理数据。