Pandas分组数据中跨行计算差异的技巧-Python教程-PHP中文网

Pandas分组数据中跨行计算差异的技巧

霞舞

发布： 2025-11-09 11:30:44

原创

1002人浏览过

Pandas分组数据中跨行计算差异的技巧

本文详细介绍了在pandas dataframe中，如何针对特定分组（如`countryname`）计算当前行与前一行之间指定列的差异。通过结合`groupby()`和`apply()`方法，并利用`shift()`函数，可以高效地实现复杂的跨行数据操作，生成新的派生列。

引言

在数据分析中，我们经常需要计算数据集中相邻行之间的差异，例如增长率、变化量等。当这些计算需要在一个或多个特定分组内进行时，简单的全局shift()操作将不再适用。本文将以一个具体的场景为例，详细讲解如何在Pandas中实现这种分组内的跨行差异计算。

需求分析

假设我们有一个包含国家名称、年份、选举年份、id_score和Dem_Score等信息的DataFrame。我们的目标是为每个国家，计算当前行的Dem_Score与前一行的id_score之间的差异，并将结果存储在一个新列Delta_Dem_Dist中。

原始DataFrame结构示例如下：

  countryname  yr  US_Election_Year  id_score  Dem_Score
0     Albania  1992              1990  0.688809   0.366570
1     Albania  1997              1996  0.024751   0.247750
2   Argentina  1995              1992  0.081818   0.398908
3   Argentina  1999              1996 -0.521796   0.247759
4   Argentina  2003              2000 -0.293386  -0.102298

登录后复制

我们期望的计算逻辑是：对于某一行，Delta_Dem_Dist = 前一行的id_score - 当前行的Dem_Score。例如，对于阿根廷1999年的数据： Delta_Dem_Dist = (阿根廷1995年的id_score) - (阿根廷1999年的Dem_Score) Delta_Dem_Dist = 0.081818 - 0.247759 = -0.165941

最终期望的DataFrame结果：

  countryname    yr  US_Election_Year  id_score  Dem_Score  Delta_Dem_Dist
0     Albania  1992              1990  0.688809   0.366570             NaN
1     Albania  1997              1996  0.024751   0.247750        0.441059
2   Argentina  1995              1992  0.081818   0.398908             NaN
3   Argentina  1999              1996 -0.521796   0.247759       -0.165941
4   Argentina  2003              2000 -0.293386  -0.102298       -0.419498

登录后复制

注意：对于每个国家的第一行，由于没有“前一行”，其Delta_Dem_Dist值应为NaN。

挑战分析

如果不对DataFrame进行分组，直接使用 df['id_score'].shift(1) - df['Dem_Score']，会导致跨国家边界的计算错误。例如，阿尔巴尼亚1992年的前一行可能是上一个国家的最后一行，这显然不符合我们的业务逻辑。因此，我们需要确保shift()操作只在每个countryname组内进行。

算家云

高效、便捷的人工智能算力服务平台

查看详情

解决方案：groupby().apply()结合shift()

Pandas提供了groupby()方法来按指定列对数据进行分组，然后可以使用apply()方法对每个组独立地执行操作。结合shift()函数，我们可以在每个组内实现所需的跨行计算。

核心思路如下：

分组: 使用df.groupby('countryname')将DataFrame按国家名称分组。
应用函数: 对每个分组应用一个lambda函数。这个函数将接收一个子DataFrame（即一个国家的全部数据）。
组内shift(): 在每个子DataFrame内部，对id_score列执行shift(1)操作。shift(1)会将数据向下移动一位，使得当前行的索引对应的是前一行的值。
计算差异: 将shift(1)后的id_score列与当前组的Dem_Score列相减。
重置索引: apply()操作可能导致多级索引，使用reset_index(drop=True)可以将其展平并确保新列与原DataFrame对齐。

代码实现

下面是实现上述逻辑的Python代码：

import pandas as pd

# 原始DataFrame数据
data = {
    'countryname': ['Albania', 'Albania', 'Argentina', 'Argentina', 'Argentina'],
    'yr': [1992, 1997, 1995, 1999, 2003],
    'US_Election_Year': [1990, 1996, 1992, 1996, 2000],
    'id_score': [0.688809, 0.024751, 0.081818, -0.521796, -0.293386],
    'Dem_Score': [0.366570, 0.247750, 0.398908, 0.247759, -0.102298]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

# 计算Delta_Dem_Dist
df['Delta_Dem_Dist'] = df.groupby('countryname').apply(
    lambda x: x['id_score'].shift(1) - x['Dem_Score']
).reset_index(drop=True)

print("计算Delta_Dem_Dist后的DataFrame:")
print(df)

登录后复制

结果验证与注意事项

运行上述代码，将得到以下结果：

原始DataFrame:
  countryname    yr  US_Election_Year  id_score  Dem_Score
0     Albania  1992              1990  0.688809   0.366570
1     Albania  1997              1996  0.024751   0.247750
2   Argentina  1995              1992  0.081818   0.398908
3   Argentina  1999              1996 -0.521796   0.247759
4   Argentina  2003              2000 -0.293386  -0.102298
------------------------------
计算Delta_Dem_Dist后的DataFrame:
  countryname    yr  US_Election_Year  id_score  Dem_Score  Delta_Dem_Dist
0     Albania  1992              1990  0.688809   0.366570             NaN
1     Albania  1997              1996  0.024751   0.247750        0.441059
2   Argentina  1995              1992  0.081818   0.398908             NaN
3   Argentina  1999              1996 -0.521796   0.247759       -0.165941
4   Argentina  2003              2000 -0.293386  -0.102298       -0.419498

登录后复制

关键点说明：

shift(1): 将id_score列向下移动一位。这意味着对于当前行（索引i），x['id_score'].shift(1)将返回索引i-1的id_score值。
NaN值: 每个分组的第一行（例如阿尔巴尼亚1992，阿根廷1995）由于没有前一行数据，其Delta_Dem_Dist值将自动填充为NaN。这是符合逻辑的。
计算准确性:
- 对于阿尔巴尼亚1997：0.688809 (1992年的id_score) - 0.247750 (1997年的Dem_Score) = 0.441059。
- 对于阿根廷1999：0.081818 (1995年的id_score) - `0.247759

以上就是Pandas分组数据中跨行计算差异的技巧的详细内容，更多请关注php中文网其它相关文章！