📜  Python Pandas-稀疏数据

📅  最后修改于: 2020-11-06 05:51:49             🧑  作者: Mango


当省略与特定值(NaN /缺失值,尽管可以选择任何值)匹配的任何数据时,稀疏对象将被“压缩”。一个特殊的SparseIndex对象跟踪数据被“分散”的位置。在一个示例中,这将更加有意义。所有标准的Pandas数据结构都应用to_sparse方法-

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

输出如下-

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

出于内存效率的原因,存在稀疏对象。

现在让我们假设您有一个很大的NA DataFrame并执行以下代码-

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

输出如下-

0.0001

可以通过调用to_dense将任何稀疏对象转换回标准密集形式-

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

输出如下-

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

稀疏D型

稀疏数据应具有与其密集表示相同的dtype。当前,支持float64,int64booldtypes 。取决于原始dtype,fill_value默认更改-

  • float64 -np.nan

  • int64-0

  • 布尔-错误

让我们执行以下代码以了解它们-

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

输出如下-

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64