高效过滤Pandas DataFrame：基于分组条件提取子集-Python教程-PHP中文网

高效过滤Pandas DataFrame：基于分组条件提取子集

聖光之護

发布： 2025-11-26 13:45:02

原创

244人浏览过

高效过滤pandas dataframe：基于分组条件提取子集

本教程详细阐述了如何利用Pandas的`groupby().transform()`方法，根据分组聚合条件高效地从DataFrame中提取特定行子集。文章通过一个实际案例，演示了如何在不创建额外辅助列的情况下，筛选出那些在特定分组（如日期和地点组合）中拥有超过指定数量（例如两个）唯一代理的全部记录，从而实现数据清洗和分析的精确控制。

基于分组聚合条件筛选Pandas DataFrame

在数据分析中，我们经常需要根据复杂的条件从DataFrame中筛选数据。其中一种常见场景是，我们需要基于某个分组（group）的聚合结果来筛选原始DataFrame中的所有行。例如，我们可能希望找出所有属于“某分组满足特定条件”的记录，而不是仅仅获取聚合后的结果。Pandas提供了groupby().transform()方法，能够优雅且高效地解决此类问题，避免了创建冗余的中间列。

场景描述与初始数据

假设我们有一个销售代理活动记录的DataFrame，包含日期（date）、地点（point）和代理（agent）信息。我们的业务规则是，在每个特定日期和地点组合下，通常应该只有两名代理活跃。现在，我们需要识别并提取出所有那些违反此规则的记录，即在某个日期和地点组合下，活跃代理数量超过两名的所有行。

以下是示例数据：

import pandas as pd
from io import StringIO

data = """date|point|agent
2023-10-02|A|agent1
2023-10-02|A|agent2
2023-10-05|B|agent3
2023-10-05|B|agent2
2023-10-02|C|agent1
2023-10-02|C|agent2
2023-10-02|C|agent3"""

df = pd.read_csv(StringIO(data), sep='|')
print("原始DataFrame:")
print(df)

登录后复制

输出的DataFrame如下：

原始DataFrame:
         date point   agent
0  2023-10-02     A  agent1
1  2023-10-02     A  agent2
2  2023-10-05     B  agent3
3  2023-10-05     B  agent2
4  2023-10-02     C  agent1
5  2023-10-02     C  agent2
6  2023-10-02     C  agent3

登录后复制

解决方案：使用 groupby().transform()

要解决上述问题，核心在于：

计算每个 (date, point) 组合中唯一代理的数量。
基于这个数量判断该组合是否满足“唯一代理数 > 2”的条件。
使用这个判断结果作为布尔掩码来筛选原始DataFrame。

groupby().transform() 方法在这里发挥了关键作用。与 groupby().agg() 不同，transform() 在执行聚合操作后，会将结果“广播”回原始DataFrame的索引，生成一个与原始DataFrame行数相同的Series。这意味着我们可以直接将其用于布尔索引。

爱派AiPy

融合LLM与Python生态的开源AI智能体

查看详情

步骤详解

分组并计算唯一值数量： 我们首先按 ['point', 'date'] 进行分组，然后对 agent 列应用 nunique（计算唯一值数量）聚合函数。关键在于使用 transform 而不是 agg。
```
unique_agents_per_group = df.groupby(['point', 'date'])['agent'].transform('nunique')
print("\n每个组的唯一代理数 (transform 结果):")
print(unique_agents_per_group)
```
登录后复制
输出结果是一个Series，其索引与原始DataFrame的索引一致，每个值代表对应行所属分组的唯一代理数量：
```
每个组的唯一代理数 (transform 结果):
0    2
1    2
2    2
3    2
4    3
5    3
6    3
Name: agent, dtype: int64
```
登录后复制

创建布尔掩码： 接下来，我们将这个Series与我们的条件进行比较，生成一个布尔Series。

condition_mask = unique_agents_per_group > 2
print("\n布尔掩码:")
print(condition_mask)

登录后复制

输出的布尔掩码：

布尔掩码:
0    False
1    False
2    False
3    False
4     True
5     True
6     True
Name: agent, dtype: bool

登录后复制

筛选原始DataFrame： 最后，我们将这个布尔掩码直接应用于原始DataFrame进行筛选。

filtered_df = df[condition_mask]
print("\n筛选后的DataFrame:")
print(filtered_df)

登录后复制

输出结果：

筛选后的DataFrame:
         date point   agent
4  2023-10-02     C  agent1
5  2023-10-02     C  agent2
6  2023-10-02     C  agent3

登录后复制

完整代码示例

将上述步骤整合到一行代码中，可以实现更加简洁高效的解决方案：

import pandas as pd
from io import StringIO

data = """date|point|agent
2023-10-02|A|agent1
2023-10-02|A|agent2
2023-10-05|B|agent3
2023-10-05|B|agent2
2023-10-02|C|agent1
2023-10-02|C|agent2
2023-10-02|C|agent3"""

df = pd.read_csv(StringIO(data), sep='|')

# 一行代码实现筛选
filtered_df_one_liner = df[df.groupby(['point', 'date'])['agent'].transform('nunique') > 2]

print("使用一行代码筛选后的DataFrame:")
print(filtered_df_one_liner)

登录后复制

输出结果与分步执行相同：

使用一行代码筛选后的DataFrame:
         date point   agent
4  2023-10-02     C  agent1
5  2023-10-02     C  agent2
6  2023-10-02     C  agent3

登录后复制

注意事项与总结

效率优势： 这种方法避免了向原始DataFrame添加临时列，从而节省了内存，并且在处理大型数据集时通常更高效。
灵活性： transform() 方法不仅限于 nunique。你可以将其与其他聚合函数（如 sum, mean, max, min, size 等）结合使用，以应对各种基于分组聚合的筛选需求。
通用性： 这种模式是Pandas中处理“根据分组聚合结果筛选原始数据”问题的标准且推荐方法。
错误避免： 尝试直接使用 loc 或 where 结合 groupby().agg() 可能会遇到索引不匹配的问题，因为 agg 返回的Series或DataFrame的索引是分组键，而不是原始DataFrame的索引。transform() 完美解决了这一问题，因为它保证了输出的索引与原始DataFrame一致。

通过掌握 groupby().transform() 的用法，你可以更有效地在Pandas中进行复杂的数据筛选和清洗，提高代码的可读性和执行效率。

以上就是高效过滤Pandas DataFrame：基于分组条件提取子集的详细内容，更多请关注php中文网其它相关文章！