使用多种条件过滤 Pandas Dataframe

在本文中，让我们讨论如何过滤具有多个条件的 Pandas 数据框。在整个软件开发过程中，有可能在多种条件下从 Pandas 数据帧中过滤数据。原因是数据框可能有多列和多行。有选择地显示行数有限的列始终是用户的预期视图。为了满足用户的期望并帮助机器深度学习场景，过滤具有多种条件的 Pandas 数据框是非常必要的。

让我们看看不同的方法来做同样的事情。

创建示例数据框以进一步进行

Python3

# import module
import pandas as pd
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
  
# display dataframe
display(dataFrame)

输出：

方法一：使用loc

在这里，我们将获得所有 Salary 大于或等于 100000 且 Age < 40 的行，并且它们的 JOB 从数据框中以“D”开头。打印带有姓名和他们的工作的详细信息。对于上述要求，我们可以通过使用loc来实现。它用于通过标签或布尔数组访问单个或多个行和列。 loc 适用于列标签和索引。

蟒蛇3

# import module
import pandas as pd
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
# filter dataframe
display(dataFrame.loc[(dataFrame['Salary']>=100000) & (dataFrame['Age']< 40) & (dataFrame['JOB'].str.startswith('D')),
                    ['Name','JOB']])

输出：

输出解析给定条件，最后，我们将只显示 2 列，即 Name 和 JOB。

方法二：使用NumPy

此处将获取所有 Salary 大于或等于 100000 且 Age < 40 且其 JOB 以数据框中的“D”开头的行。我们需要使用 NumPy。

蟒蛇3

# import module
import pandas as pd
import numpy as np
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
  
# filter dataframe                                   
filtered_values = np.where((dataFrame['Salary']>=100000) & (dataFrame['Age']< 40) & (dataFrame['JOB'].str.startswith('D')))
print(filtered_values)
display(dataFrame.loc[filtered_values])

输出：

在上面的示例中， print(filtered_values)将输出为(array([0], dtype=int64),) ，这表明索引值为 0 的第一行将是输出。之后输出将有 1 行包含所有列，并根据给定条件进行检索。

方法 3：使用 Query（eval 和 query 仅适用于列）

在这种方法中，我们会得到所有 Salary 小于或等于 100000 且 Age < 40 的行，并且它们的 JOB 以数据帧中的“C”开头。它只是使用单个或多个布尔表达式查询 DataFrame 的列，如果有多个，则在中间具有 & 条件。

蟒蛇3

# import module
import pandas as pd
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
  
# filter dataframe 
display(dataFrame.query('Salary  <= 100000 & Age < 40 & JOB.str.startswith("C").values'))

输出：

方法 4：pandas 布尔索引多条件标准方式（“布尔索引”仅适用于列中的值）

在这种方法中，我们从数据帧中获取所有 Salary 小于或等于 100000 且 Age < 40 的行，并且它们的 JOB 以“P”开头。为了使用数据框中的值并应用布尔条件选择数据子集，我们需要遵循以下方法

蟒蛇3

# import module
import pandas as pd
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
  
# filter dataframe 
display(dataFrame[(dataFrame['Salary']>=100000) & (dataFrame['Age']<40) & dataFrame['JOB'].str.startswith('P')][['Name','Age','Salary']])

输出：

我们提到了需要与布尔条件一起检索的列列表，并且由于许多条件，它带有“&”。

方法 5：评估多个条件（“eval”和“query”仅适用于列）

在这里，我们从数据框中获得了所有 Salary 小于或等于 100000 且 Age < 40 的行，并且它们的 JOB 以“A”开头。

蟒蛇3

# import module
import pandas as pd
  
# assign data
dataFrame = pd.DataFrame({'Name': [' RACHEL  ', ' MONICA  ', ' PHOEBE  ',
                                   '  ROSS    ', 'CHANDLER', ' JOEY    '],
                            
                          'Age': [30, 35, 37, 33, 34, 30],
                            
                          'Salary': [100000, 93000, 88000, 120000, 94000, 95000],
                            
                          'JOB': ['DESIGNER', 'CHEF', 'MASUS', 'PALENTOLOGY',
                                  'IT', 'ARTIST']})
  
# filter dataframe 
display(dataFrame[dataFrame.eval("Salary <=100000 & (Age <40) & JOB.str.startswith('A').values")])

输出：

数据框是Python中一个非常重要的概念，可以根据各种条件进行数据过滤。它们可以通过上述任何一种方式来实现。需要注意的桥段：

• loc适用于列标签和索引。
• eval和query仅适用于列。
• 布尔索引仅适用于列中的值。