使用 Pandas 筛选 DataFrame 中所有值均满足特定条件的组

在数据分析中，我们经常需要根据复杂的条件来筛选数据。一个常见的场景是，我们需要从一个包含分组信息的 DataFrame 中，找出那些所有组内成员都满足某个特定条件的组。例如，在一个包含多个对象及其对应数值的 DataFrame 中，我们可能需要找出所有数值均非负的对象。

问题描述与示例数据

假设我们有以下 DataFrame，其中包含日期、对象（Object）和数值（Value）：

+------------+--------+-------+
|  Date      | Object | Value |
+------------+--------+-------+
| 01/05/2010 | A      |   -10 |
| 01/05/2010 | A      |     5 |
| 01/05/2010 | A      |    20 |
| 01/05/2010 | B      |     5 |
| 01/01/2010 | B      |    10 |
| 01/05/2010 | B      |    31 |
| 01/05/2010 | C      |    -2 |
| 01/05/2010 | C      |     5 |
| 01/05/2010 | C      |    10 |
| 01/05/2010 | D      |    19 |
| 01/05/2010 | D      |    10 |
| 01/05/2010 | D      |    20 |
+------------+--------+-------+

我们的目标是识别并提取所有“Object”中，其关联的“Value”列没有任何负值的对象。根据上述数据，期望的结果是 ['B', 'D']，因为对象 A 和 C 都至少包含一个负值。

解决方案：使用 groupby().all()

Pandas 提供了 groupby().all() 方法，它非常适合解决这类问题。该方法首先对数据进行分组，然后检查每个组内指定条件是否对所有元素都为真。

下面是实现这一目标的具体步骤和代码：

有道小P

有道小P，新一代AI全科学习助手，在学习中遇到任何问题都可以问我。

64

查看详情

1. 数据准备 首先，创建上述示例 DataFrame：

   import pandas as pd
   from io import StringIO
   
   data = """Date,Object,Value
   01/05/2010,A,-10
   01/05/2010,A,5
   01/05/2010,A,20
   01/05/2010,B,5
   01/05/2010,B,10
   01/05/2010,B,31
   01/05/2010,C,-2
   01/05/2010,C,5
   01/05/2010,C,10
   01/05/2010,D,19
   01/05/2010,D,10
   01/05/2010,D,20
   """
   df = pd.read_csv(StringIO(data))
   print("原始 DataFrame:")
   print(df)

   登录后复制

2. 应用条件并分组 我们首先对 Value 列应用“大于等于0”的条件 (.ge(0))，这将生成一个布尔序列。然后，我们根据 Object 列对这个布尔序列进行分组，并对每个组应用 all() 方法。all() 方法会检查组内的所有布尔值是否都为 True。

   # 检查每个值是否大于等于0
   condition = df['Value'].ge(0)
   
   # 按 'Object' 分组，并检查每个组内所有值是否都满足条件
   s = condition.groupby(df['Object']).all()
   
   print("\n中间结果 (s):")
   print(s)

   登录后复制

   s 的输出将是：

   Object
   A    False
   B     True
   C    False
   D     True
   Name: Value, dtype: bool

   登录后复制

   这清晰地表明了哪些对象的所有值都非负。

3. 提取符合条件的对象列表 最后，我们可以使用布尔索引从 s 的索引中提取出那些值为 True 的对象名称，并将其转换为列表。

   # 提取所有值为 True 的索引（即对象名称），并转换为列表
   out = s.index[s].tolist()
   
   print("\n最终结果:")
   print(out)

   登录后复制

   最终输出为：['B', 'D']，这正是我们期望的结果。

注意事项

• ge() 方法的灵活性： ge(0) 用于判断“大于等于0”。类似地，您可以使用 gt() (大于)、le() (小于等于)、lt() (小于)、eq() (等于) 等方法来构建不同的条件。
• groupby().all() 的通用性： groupby().all() 不仅适用于数值条件，也适用于任何可以生成布尔序列的条件，例如字符串匹配、日期范围检查等。
• 性能考量： 对于非常大的 DataFrame，groupby() 操作可能会消耗较多的内存和计算资源。但在大多数常见场景下，Pandas 的 groupby 优化已经足够高效。
• 理解布尔索引： s.index[s] 是 Pandas 中一种强大的布尔索引技术，它允许您使用一个布尔序列来选择另一个序列或 DataFrame 的行或列。在这里，它根据 s 中的 True/False 值来选择 s.index 中的对应元素。

总结

通过结合 Pandas 的 groupby()、条件判断方法（如 ge()）和聚合函数 all()，我们可以高效且清晰地解决“筛选所有组内成员均满足特定条件的组”这一常见数据处理问题。这种方法不仅代码简洁，而且具有良好的可读性和通用性，是处理类似场景的推荐实践。

以上就是使用 Pandas 筛选 DataFrame 中所有值均满足特定条件的组的详细内容，更多请关注php中文网其它相关文章！