Python: 删除特定列中的重复项

在数据处理中，经常会遇到需要删除某些列中的重复项的情况。Python作为一门高效的数据处理语言，提供了多种方法用于删除重复项，其中包括删除特定列中的重复项。

方法一：使用pandas库

pandas是Python中用于数据处理和分析的重要库，其提供了很多用于处理数据的函数。使用pandas库可以轻松地删除特定列中的重复项。

import pandas as pd

# 创建一个示例数据集
data = {'列1': [1, 2, 2, 3, 4], '列2': ['a', 'b', 'b', 'c', 'd'], '列3': [True, False, True, True, False]}
df = pd.DataFrame(data)

# 按'列2'列删除重复项
df_drop_duplicates = df.drop_duplicates(subset=['列2'])

# 打印删除重复项后的数据集结果
print(df_drop_duplicates)

输出：

   列1 列2     列3
0   1  a   True
1   2  b   False
3   3  c   True
4   4  d  False

在上述示例中，我们使用了drop_duplicates函数删除了数据集中'列2'中的重复项。

方法二：使用原生Python代码

除了使用pandas库，我们也可以使用原生Python代码来删除特定列中的重复项。

# 创建一个示例数据集
data = [{'列1': 1, '列2': 'a', '列3': True},
        {'列1': 2, '列2': 'b', '列3': False},
        {'列1': 2, '列2': 'b', '列3': True},
        {'列1': 3, '列2': 'c', '列3': True},
        {'列1': 4, '列2': 'd', '列3': False}]
col = '列2'
seen = set()
new_data = []

for d in data:
    t = d[col]
    if t not in seen:
        seen.add(t)
        new_data.append(d)

# 打印删除重复项后的数据集结果
print(new_data)

输出：

[{'列1': 1, '列2': 'a', '列3': True}, {'列1': 2, '列2': 'b', '列3': False}, {'列1': 3, '列2': 'c', '列3': True}, {'列1': 4, '列2': 'd', '列3': False}]

上述代码中，我们使用了一个set来存储已经出现过的某列中的元素，如果该元素已经存在，就跳过，否则就添加到新的数据集中。