使用 Pandas 高效计算历史同期数据及变化率-Python教程-PHP中文网

使用 Pandas 高效计算历史同期数据及变化率

心靈之曲

发布： 2025-10-18 10:46:01

原创

605人浏览过

使用 pandas 高效计算历史同期数据及变化率

本教程详细介绍了如何使用 Python Pandas 库高效地计算数据集中指定历史周期的值，并进一步分析其绝对变化和百分比变化。通过构建灵活的辅助函数，文章展示了如何利用日期偏移和DataFrame自合并的策略，解决在时间序列数据中获取同期对比数据的常见需求，确保数据分析的准确性和可扩展性。

在数据分析中，我们经常需要将当前数据与历史同期数据进行比较，例如与上个月、上季度或去年同期的数据进行对比，以洞察趋势和变化。Pandas 库提供了强大的数据处理能力，但直接获取精确的历史同期值并计算其变化率可能需要一些技巧。本教程将通过一个实际案例，详细讲解如何构建一个灵活且可重用的 Python 函数来解决这一问题。

核心概念：历史同期数据提取

要获取历史同期数据，主要涉及以下几个步骤：

日期偏移: 使用 Pandas 的 DateOffset 功能，根据当前日期计算出目标历史日期的值。例如，要获取一个月前的数据，可以将当前日期减去一个月。
DataFrame 自合并 (Self-Merge): 将原始 DataFrame 与其自身进行合并。通过将当前日期的历史偏移值作为合并键，与原始 DataFrame 中的日期列进行匹配，从而将历史数据引入到当前行的上下文中。
数据清洗与计算: 合并后，清理冗余列，并根据需要计算当前值与历史值之间的绝对变化和百分比变化。

实现细节：get_last_period_values 函数解析

我们首先定义一个核心辅助函数 get_last_period_values，它负责获取指定历史周期的数据及其变化。

import pandas as pd
import io

def get_last_period_values(df, months_prior, metric_cols, dimension_cols, date_col):
    """
    获取指定月份前的历史数据，并计算绝对变化和百分比变化。

    参数:
    df (pd.DataFrame): 输入的DataFrame。
    months_prior (int): 要回溯的月份数。
    metric_cols (list): 需要计算历史值和变化的指标列名列表。
    dimension_cols (list): 维度列名列表，这些列会随历史数据一起被带入，但通常不用于合并键。
    date_col (str): 日期列的名称。

    返回:
    pd.DataFrame: 包含历史数据、绝对变化和百分比变化的DataFrame。
    """
    df_copy = df.copy() # 创建DataFrame副本，避免修改原始数据

    # 1. 计算历史日期
    # 为每行计算其对应的历史日期
    df_copy[f'{date_col}_Prior'] = df_copy[date_col] - pd.DateOffset(months=months_prior)

    # 2. DataFrame 自合并
    # 将DataFrame与自身合并，以获取历史数据。
    # left_on: 当前DataFrame的计算出的历史日期。
    # right_on: 原始DataFrame的日期列。
    # how='left': 确保保留所有当前数据，如果找不到对应的历史数据，则填充NaN。
    # suffixes: 用于区分合并后同名列（如Organic Keywords）的当前值和历史值。
    df_copy = df_copy.merge(
        df_copy[[date_col] + dimension_cols + metric_cols], 
        left_on=f'{date_col}_Prior', 
        right_on=date_col, 
        how='left',
        suffixes=('', f'_{months_prior}mo_Prior') # 为历史数据列添加后缀
    )

    # 3. 数据清洗
    # 删除辅助的_Prior日期列和合并过程中可能产生的冗余维度列
    df_copy = df_copy.drop(columns=[f'{date_col}_Prior'] + [col + f'_{months_prior}mo_Prior' for col in dimension_cols])

    # 4. 计算绝对变化
    # 遍历每个指标列，计算当前值与历史值之间的差值
    for metric in metric_cols:
        df_copy[f'{metric}_{months_prior}mo_Abs_Change'] = df_copy[metric] - df_copy[f'{metric}_{months_prior}mo_Prior']

    # 5. 计算百分比变化
    # 遍历每个指标列，计算百分比变化并四舍五入到两位小数
    for metric in metric_cols:
        # 避免除以零错误，这里直接使用公式，NaN值会在计算中自然产生
        df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[metric] / df_copy[f'{metric}_{months_prior}mo_Prior'] - 1
        df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[f'{metric}_{months_prior}mo_Pct_Change'].round(2)

    return df_copy

登录后复制

函数关键点说明：

算家云

高效、便捷的人工智能算力服务平台

查看详情

pd.DateOffset(months=months_prior): 这是 Pandas 中处理日期偏移的核心工具。它允许我们以月、日、年等单位精确地加减日期。
df_copy.merge(...): 自合并是实现历史数据匹配的关键。
- left_on=f'{date_col}_Prior' 和 right_on=date_col 定义了合并的键。当前 DataFrame 的计算出的历史日期 (Date_Prior) 将与原始 DataFrame 的实际日期 (Date) 进行匹配。
- how='left' 确保了所有当前日期的数据都被保留。如果某个当前日期没有对应的历史数据（例如，数据集中最早的几个月），则历史数据列将填充 NaN。
- suffixes=('', f'_{months_prior}mo_Prior') 非常重要。它为合并后来自右侧 DataFrame 的同名列（如 Organic Keywords）添加后缀，以便我们可以区分当前值和历史值。
计算变化: 函数不仅获取历史值，还进一步计算了绝对变化（Abs_Change）和百分比变化（Pct_Change），这在实际分析中非常有用。百分比变化计算时，通过 round(2) 进行了格式化。

处理多周期分析：get_period_values 函数

为了方便地对多个历史周期进行分析（例如，同时获取 1 个月前和 12 个月前的数据），我们可以再封装一个函数 get_period_values。

def get_period_values(df, periods, metric_cols, dimension_cols, date_col):
    """
    对多个指定周期执行历史数据提取和变化计算。

    参数:
    df (pd.DataFrame): 输入的DataFrame。
    periods (list): 包含要分析的月份数的列表 (e.g., [1, 3, 12])。
    metric_cols (list): 需要计算历史值和变化的指标列名列表。
    dimension_cols (list): 维度列名列表。
    date_col (str): 日期列的名称。

    返回:
    pd.DataFrame: 包含所有指定周期历史数据和变化的DataFrame。
    """
    df_copy = df.copy()
    for period in periods:
        df_copy = get_last_period_values(df_copy, period, metric_cols, dimension_cols, date_col)
    return df_copy

登录后复制

这个函数简单地遍历 periods 列表，对每个周期调用 get_last_period_values 函数，并将结果逐步合并到 df_copy 中。

完整示例代码

下面是结合上述函数的完整脚本，它读取一个 CSV 格式的字符串数据，并计算 1 个月和 12 个月前的历史数据及其变化。

import pandas as pd
import io

## 常量定义，提高代码可读性和可维护性
INITIAL_COL_REORDER = ['URL', 'Date', 'Organic Keywords', 'Organic Traffic']
METRIC_COLS = ['Organic Keywords', 'Organic Traffic'] # 需要分析的指标列
DIMENSION_COLS = ['URL'] # 维度列，此处只有一个URL，但设计上可扩展
DATE_COL = 'Date' # 日期列名
PERIODS = [1, 12] # 需要计算的周期 (1个月前, 12个月前)

# 示例输入数据 (CSV格式字符串)
INPUT_CSV = """
URL,Organic Keywords,Organic Traffic,Date
https://www.example-url.com/,1315,11345,20231115
https://www.example-url.com/,1183,5646,20231015
https://www.example-url.com/,869,5095,20230915
https://www.example-url.com/,925,4574,20230815
https://www.example-url.com/,899,4580,20230715
https://www.example-url.com/,1382,5720,20230615
https://www.example-url/,1171,5544,20230515
https://www.example-url/,1079,5041,20230415
https://www.example-url/,734,3855,20230315
https://www.example-url/,853,3455,20230215
https://www.example-url/,840,2343,20230115
https://www.example-url/,325,2318,20221215
https://www.example-url/,156,1981,20221115
https://www.example-url/,166,2059,20221015
https://www.example-url/,124,1977,20220915
https://www.example-url/,98,1919,20220815
https://www.example-url/,167,1796,20220715
https://www.example-url/,140,1596,20220615
https://www.example-url/,168,1493,20220515
https://www.example-url/,171,1058,20220415
https://www.example-url/,141,1735,20220315
https://www.example-url/,129,1836,20220215
https://www.example-url/,141,746,20220115
https://www.example-url/,129,1076,20211215
"""

## HELPER FUNCTION ##
# (此处省略get_last_period_values和get_period_values函数定义，因为前面已给出)
# 请确保将上述两个函数定义粘贴到此处，以便脚本完整运行。

## MAIN SCRIPT ##
if __name__ == '__main__':
    # 1. 读取CSV数据
    df = pd.read_csv(io.StringIO(INPUT_CSV))

    # 2. 初始列重排 (可选，根据需要调整)
    df = df[INITIAL_COL_REORDER]

    # 3. 将日期列转换为datetime对象
    df[DATE_COL] = pd.to_datetime(df[DATE_COL], format='%Y%m%d')

    # 4. 按日期降序排序 (重要，确保数据处理的逻辑一致性)
    df = df.sort_values(by=DATE_COL, ascending=False)

    # 5. 调用主函数计算所有周期的历史数据和变化
    df_final = get_period_values(df, PERIODS, METRIC_COLS, DIMENSION_COLS, DATE_COL)

    # 6. 显示最终结果
    print(df_final.to_string()) # 使用to_string()防止输出被截断

登录后复制

注意事项与最佳实践

数据预处理:
- 日期格式: 确保日期列被正确转换为 Pandas 的 datetime 类型。本例中使用 pd.to_datetime(df[DATE_COL], format='%Y%m%d') 进行转换。
- 数据排序: 在进行时间序列分析时，通常建议将 DataFrame 按日期列进行排序，尽管 merge 操作本身不依赖排序，但良好的数据习惯有助于理解和调试。本例中采用降序排序。
处理缺失值 (NaN):
- 由于 how='left' 合并策略，如果当前日期没有对应的历史日期数据（例如，数据集最早的几个月份），那么历史数据列将填充 NaN。在进行后续分析或可视化时，需要考虑如何处理

以上就是使用 Pandas 高效计算历史同期数据及变化率的详细内容，更多请关注php中文网其它相关文章！