Pandas将所有csv合并到一个文件夹中 - Python

当有多个csv文件需要在Python中进行处理并合并时，使用Pandas将文件合并到一个文件夹中是一种简单而有效的方法。

步骤

1. 导入必要的库

import os
import glob
import pandas as pd

2. 设置文件夹路径，并使用 glob 模块获取该文件夹中所有csv文件的路径

folder_path = './csv_files/'
file_paths = glob.glob(os.path.join(folder_path, "*.csv"))

3. 使用Pandas的 concat 函数逐个合并csv文件，并创建一个新的DataFrame对象

df = pd.concat((pd.read_csv(f) for f in file_paths))

4. 可以选择将合并后的DataFrame对象保存到一个单独的csv文件中，以便以后使用

df.to_csv('./merged.csv', index=False)

代码

import os
import glob
import pandas as pd

folder_path = './csv_files/'
file_paths = glob.glob(os.path.join(folder_path, "*.csv"))

df = pd.concat((pd.read_csv(f) for f in file_paths))
df.to_csv('./merged.csv', index=False)

以上代码将会合并在 ./csv_files/ 目录下的所有csv文件，并将结果保存到一个新的csv文件 ./merged.csv 中。

注意：concat 函数默认按照行（axis = 0）合并DataFrame对象，也就是将行拼接在一起。如果要按照列拼接，则需要设置参数 axis = 1。因此，在合并多个csv文件时，需要确认这些文件的列是否一致。