📜  python 合并同一文件夹中的 csv 文件 - Python (1)

📅  最后修改于: 2023-12-03 14:46:13.511000             🧑  作者: Mango

Python 合并同一文件夹中的 CSV 文件

在数据分析和处理的过程中,我们经常会需要将多个 CSV 文件合并为一个文件,方便数据的统一分析和处理。本篇文章将介绍如何使用 Python 来实现同一文件夹中的 CSV 文件的合并。

介绍

我们将使用 Python 的 Pandas 库来实现 CSV 文件的读取和合并。Pandas 是一个强大的数据处理库,它可以在数据分析和建模方面提供很多便利。

步骤
步骤 1 - 导入 Pandas 库

在程序中首先需要导入 Pandas 库,执行如下代码:

import pandas as pd
步骤 2 - 设置文件夹路径

在执行文件合并之前需要设置文件夹的路径,将所有需要合并的 CSV 文件放在同一个文件夹中。执行如下代码以设置路径为 folder_path

import os

folder_path = "path/to/folder"
步骤 3 - 读取 CSV 文件并拼接

接下来我们需要读取文件夹中的所有 CSV 文件,并将它们进行拼接。可以使用 os 库中的 listdir 函数来读取文件夹中的所有文件名,再通过 Pandas 的 read_csv 函数来读取每个 CSV 文件。

csv_files = [f for f in os.listdir(folder_path) if f.endswith('.csv')]

# 读取所有 CSV 文件并将它们拼接
df = pd.concat([pd.read_csv(os.path.join(folder_path, f)) for f in csv_files])

在以上代码中,我们从文件夹路径中获取所有以 .csv 为扩展名的文件名,并将它们保存在变量 csv_files 中。接下来我们通过 Pandas 的 concat 函数来将所有读取的 CSV 文件进行拼接,并将结果保存在变量 df 中。

步骤 4 - 将拼接后的结果保存为 CSV 文件

最后一步是将拼接后的数据保存为一个 CSV 文件。可以使用 Pandas 库中的 to_csv 函数来保存数据。

# 将拼接后的结果保存为一个 CSV 文件
df.to_csv("merged.csv", index=False)

以上代码将拼接后的结果保存为名为 merged.csv 的文件,并通过 index=False 参数指定不保存行标签。

完整代码

完整的代码如下:

import pandas as pd
import os

# 设置文件夹路径
folder_path = "path/to/folder"

# 读取所有 CSV 文件并将它们拼接
csv_files = [f for f in os.listdir(folder_path) if f.endswith('.csv')]
df = pd.concat([pd.read_csv(os.path.join(folder_path, f)) for f in csv_files])

# 将拼接后的结果保存为一个 CSV 文件
df.to_csv("merged.csv", index=False)
结论

本篇文章介绍了如何使用 Python 和 Pandas 来合并同一文件夹中的 CSV 文件。这是一个非常常见的数据处理任务,Pandas 库提供了一些功能强大的函数帮助我们完成了这个任务。