用 np.nan 和 pandas 替换空字符串和“只有空格的记录” - Python

在数据处理和清洗过程中，经常需要将空字符串和只包含空格的记录替换为 NaN 或其他占位符。本文将介绍如何使用 NumPy 和 Pandas 来实现这一功能。

NumPy 中的 np.nan

NumPy 提供了一种特殊的浮点数 np.nan，表示 Not a Number。它通常用作缺失值的占位符，可以方便地进行过滤、填充等操作。

我们可以使用 np.isnan() 函数来检查一个数组中是否存在缺失值。例如：

import numpy as np

arr = np.array([1, 2, np.nan, 4])
print(np.isnan(arr))
# [False False  True False]

这里 arr 中的第三个元素为 np.nan，所以第三个元素对应的结果为 True。

Pandas 中的 replace()

Pandas 中的 DataFrame 和 Series 对象提供了 replace() 方法，可以方便地将指定的值替换为另一个值。例如，我们可以将空字符串和只包含空格的记录替换为 np.nan：

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': ['', ' ', 'foo'], 
                   'B': ['bar', ' ', '   '], 
                   'C': [1, 2, 3]})

# 将空字符串和只包含空格的记录替换为 np.nan
df.replace(['', ' '], np.nan, inplace=True)
print(df)
#     A    B  C
# 0  NaN  bar  1
# 1  NaN  NaN  2
# 2  foo  NaN  3

这里我们使用 replace() 方法将空字符串和只包含空格的记录替换为 np.nan。注意要使用 inplace=True 参数才能将替换后的结果直接应用于原 DataFrame 对象。

总结

在数据处理和清洗过程中，将空字符串和只包含空格的记录替换为 np.nan 可以很方便地进行过滤、填充等操作。NumPy 提供了 np.nan 来表示缺失值，而 Pandas 中的 replace() 方法可以方便地进行替换操作。