将大型 Pandas 数据框拆分为较小的数据框列表

Pandas 是 Python 中一个重要的数据处理库，可以处理大型的数据集以及进行数据清洗、转换等操作。但是，在某些情况下，我们需要将一个大型的 Pandas 数据框拆分为多个较小的数据框来进行处理，这时候该怎么办呢？

方法一：手动拆分

我们可以将数据框按照某个字段进行分组，然后逐一拆分。例如，我们有一个包含学生考试成绩的数据框，我们可以按照每个学生的班级进行拆分：

import pandas as pd

df = pd.read_csv('students.csv')

for cls in df['class'].unique():
    cls_df = df[df['class'] == cls]
    # 将 cls_df 做进一步的操作

通过上述代码，我们可以将原始数据框按照班级分组，然后逐一对每个班级的数据进行处理。

但是，这种方法需要手动指定分组字段，并且需要写循环进行逐一处理，对于大型数据集来说效率较低。

方法二：使用 Pandas 的 groupby 方法

Pandas 提供了 groupby() 方法，可以方便地对数据框进行分组。我们可以使用该方法将数据框按照某个字段进行分组，然后将每组数据存储在一个列表中：

import pandas as pd

df = pd.read_csv('students.csv')

groups = df.groupby('class')

class_dfs = [group for _, group in groups]

通过上述代码，我们将原始数据框按照班级分组，并使用列表推导式将每组数据存储在一个列表中。这种方法不仅简单，而且可以提高处理效率。

方法三：使用 numpy.array_split 方法

除了使用 Pandas 的 groupby() 方法外，我们还可以使用 numpy 库中的 array_split() 方法对数据框进行分割。这种方法相对简单，但是需要手动指定分割的数量和方式。

import pandas as pd
import numpy as np

df = pd.read_csv('students.csv')

n = 10 # 将数据框分割为 10 个子数据框

dfs = np.array_split(df, n)

通过上述代码，我们将原始数据框平均分割为 10 个子数据框，并存储在一个列表中。由于该方法需要手动指定分割数量和方式，因此需要根据具体情况进行调整。

总结

以上介绍了将大型 Pandas 数据框拆分为较小的数据框列表的三种方法，每种方法都有其适用的场景。通过合理地选择方法，我们可以更高效地处理大型数据集。