识别和删除 R 中的重复数据

在数据分析中，我们经常会遇到数据中存在重复的情况。重复数据会影响我们对数据的分析和建模，因此需要对其进行识别和删除。R 提供了多种方法来实现这一目的。

识别重复数据

在 R 中，我们可以使用 duplicated() 函数来识别重复的数据。该函数返回一个逻辑向量，指示每个元素是否为重复值。

# 创建一个包含重复数据的向量
x <- c(1, 2, 3, 2, 4, 3)

# 使用 duplicated() 函数识别重复数据
duplicated(x)
# [1] FALSE FALSE FALSE  TRUE FALSE  TRUE

上面的结果显示了 x 向量中的重复数据的位置。我们可以使用 which() 函数来获取重复数据的位置。

# 获取重复数据的位置
which(duplicated(x))
# [1] 4 6

除了向量，我们还可以对数据框中的重复数据进行识别。duplicated() 函数在处理数据框时会根据所有列的值进行比较。我们可以使用 subset() 函数来指定需要比较的列。

# 创建一个包含重复数据的数据框
df <- data.frame(x = c(1, 2, 3, 2), y = c("a", "b", "c", "b"))

# 比较所有列的值进行重复数据的识别
duplicated(df)
# [1] FALSE FALSE FALSE  TRUE

# 指定只比较 x 列的值进行重复数据的识别
duplicated(subset(df, select = x))
# [1] FALSE FALSE FALSE  TRUE

删除重复数据

识别完重复数据后，我们需要删除这些数据，以保证我们的分析和建模的准确性。在 R 中，我们可以使用 unique() 函数来删除重复数据。该函数会返回一个去重后的向量。

# 创建一个包含重复数据的向量
x <- c(1, 2, 3, 2, 4, 3)

# 使用 unique() 函数去重
unique(x)
# [1] 1 2 3 4

同样，对于数据框，我们也可以使用 unique() 函数来删除重复数据。不同的是，该函数会对整个数据框进行去重，并返回一个去重后的数据框。

# 创建一个包含重复数据的数据框
df <- data.frame(x = c(1, 2, 3, 2), y = c("a", "b", "c", "b"))

# 使用 unique() 函数去重
unique(df)
#   x y
# 1 1 a
# 2 2 b
# 3 3 c

如果仅仅想删除数据框中的重复行，我们可以使用 duplicated() 函数结合一个负向逻辑向量来实现。该负向逻辑向量表示保留第一个出现的行，而删除其余的重复行。

# 创建一个包含重复数据的数据框
df <- data.frame(x = c(1, 2, 3, 2), y = c("a", "b", "c", "b"))

# 删除数据框中的重复行
df[!duplicated(df), ]
#   x y
# 1 1 a
# 2 2 b
# 3 3 c