Python: 使用 Panda 合并、连接和连接 DataFrame

在数据分析过程中，我们常常需要处理多个数据源。Pandas 提供了多个函数用于合并、连接和连接多个 DataFrame，以支持这些数据分析任务。在本教程中，我们将介绍这些函数的使用方法。

1. DataFrame 合并

1.1. Concatenating

Pandas 提供了 concat 函数用于将多个 DataFrame 在不同的维度上进行合并。下面是一个例子：

import pandas as pd

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                    'B': ['B0', 'B1', 'B2', 'B3'],
                    'C': ['C0', 'C1', 'C2', 'C3'],
                    'D': ['D0', 'D1', 'D2', 'D3']})

df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
                    'B': ['B4', 'B5', 'B6', 'B7'],
                    'C': ['C4', 'C5', 'C6', 'C7'],
                    'D': ['D4', 'D5', 'D6', 'D7']})

df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
                    'B': ['B8', 'B9', 'B10', 'B11'],
                    'C': ['C8', 'C9', 'C10', 'C11'],
                    'D': ['D8', 'D9', 'D10', 'D11']})

frames = [df1, df2, df3]

result = pd.concat(frames, sort=False)

print(result)

输出：

     A    B    C    D
0   A0   B0   C0   D0
1   A1   B1   C1   D1
2   A2   B2   C2   D2
3   A3   B3   C3   D3
0   A4   B4   C4   D4
1   A5   B5   C5   D5
2   A6   B6   C6   D6
3   A7   B7   C7   D7
0   A8   B8   C8   D8
1   A9   B9   C9   D9
2  A10  B10  C10  D10
3  A11  B11  C11  D11

以上代码通过 concat 函数将三个 DataFrame 合并成一个 DataFrame。注意 sort 参数被设为 False，以保持原有的索引顺序。

1.2. Merging

如果我们有多个 DataFrame，它们之间有重叠的列，我们可以通过 merge 函数将这些 DataFrame 按照这些重叠的列合并。下面是一个例子：

import pandas as pd

left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                     'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3']})

right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                      'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']})

result = pd.merge(left, right, on='key')

print(result)

输出：

  key   A   B   C   D
0  K0  A0  B0  C0  D0
1  K1  A1  B1  C1  D1
2  K2  A2  B2  C2  D2
3  K3  A3  B3  C3  D3

以上代码通过 merge 函数将两个 DataFrame 合并成一个 DataFrame，以 key 列为准。第一个 DataFrame 如下：

  key   A   B
0  K0  A0  B0
1  K1  A1  B1
2  K2  A2  B2
3  K3  A3  B3

第二个 DataFrame 如下：

  key   C   D
0  K0  C0  D0
1  K1  C1  D1
2  K2  C2  D2
3  K3  C3  D3

注意如果不指定 on 参数，则 merge 函数默认将重叠的列的名称作为连接键。

2. DataFrame 连接

Pandas 通过 join 函数提供了连接两个 DataFrame 的方法。相对于 merge 函数，join 函数需要指定连接键在其中一个 DataFrame 中的名称。以下是一个例子：

import pandas as pd

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3']},
                    index=['K0', 'K1', 'K2', 'K3'])

right = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']},
                     index=['K0', 'K1', 'K2', 'K3'])

result = left.join(right)

print(result)

输出：

     A   B   C   D
K0  A0  B0  C0  D0
K1  A1  B1  C1  D1
K2  A2  B2  C2  D2
K3  A3  B3  C3  D3

以上代码将 left 和 right 两个 DataFrame 按照 index 连接成一个 DataFrame，并将结果设置为 result。

3. DataFrame 连接

Pandas 通过 merge 函数也可以连接两个 DataFrame。和上面讲到的连接方式不同的是，这里需要同时指定连接的列名和索引名。以下是一个例子：

import pandas as pd

left = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                     'B': ['B0', 'B1', 'B2']},
                    index=['K0', 'K1', 'K2'])

right = pd.DataFrame({'C': ['C0', 'C2', 'C3'],
                      'D': ['D0', 'D2', 'D3']},
                     index=['K0', 'K2', 'K3'])

result = pd.merge(left, right, left_index=True, right_index=True)

print(result)

输出：

     A   B   C   D
K0  A0  B0  C0  D0
K2  A2  B2  C2  D2

以上代码将 left 和 right 两个 DataFrame 按照 index 连接成一个 DataFrame，并将结果设置为 result。

结论

本教程介绍了 Panda 库中用于合并、连接和连接多个 DataFrame 的基础函数。这些函数对于数据分析和处理来说非常有用。