本教程详细介绍了如何使用 Python Pandas 库高效地计算数据集中指定历史周期的值，并进一步分析其绝对变化和百分比变化。通过构建灵活的辅助函数，文章展示了如何利用日期偏移和DataFrame自合并的策略，解决在时间序列数据中获取同期对比数据的常见需求，确保数据分析的准确性和可扩展性。
在数据分析中，我们经常需要将当前数据与历史同期数据进行比较，例如与上个月、上季度或去年同期的数据进行对比，以洞察趋势和变化。Pandas 库提供了强大的数据处理能力，但直接获取精确的历史同期值并计算其变化率可能需要一些技巧。本教程将通过一个实际案例，详细讲解如何构建一个灵活且可重用的 Python 函数来解决这一问题。
核心概念：历史同期数据提取
要获取历史同期数据，主要涉及以下几个步骤：
- 日期偏移: 使用 Pandas 的 DateOffset 功能，根据当前日期计算出目标历史日期的值。例如，要获取一个月前的数据，可以将当前日期减去一个月。
- DataFrame 自合并 (Self-Merge): 将原始 DataFrame 与其自身进行合并。通过将当前日期的历史偏移值作为合并键，与原始 DataFrame 中的日期列进行匹配，从而将历史数据引入到当前行的上下文中。
- 数据清洗与计算: 合并后，清理冗余列，并根据需要计算当前值与历史值之间的绝对变化和百分比变化。
实现细节：get_last_period_values 函数解析
我们首先定义一个核心辅助函数 get_last_period_values，它负责获取指定历史周期的数据及其变化。
import pandas as pd
import io
def get_last_period_values(df, months_prior, metric_cols, dimension_cols, date_col):
"""
获取指定月份前的历史数据，并计算绝对变化和百分比变化。
参数:
df (pd.DataFrame): 输入的DataFrame。
months_prior (int): 要回溯的月份数。
metric_cols (list): 需要计算历史值和变化的指标列名列表。
dimension_cols (list): 维度列名列表，这些列会随历史数据一起被带入，但通常不用于合并键。
date_col (str): 日期列的名称。
返回:
pd.DataFrame: 包含历史数据、绝对变化和百分比变化的DataFrame。
"""
df_copy = df.copy() # 创建DataFrame副本，避免修改原始数据
# 1. 计算历史日期
# 为每行计算其对应的历史日期
df_copy[f'{date_col}_Prior'] = df_copy[date_col] - pd.DateOffset(months=months_prior)
# 2. DataFrame 自合并
# 将DataFrame与自身合并，以获取历史数据。
# left_on: 当前DataFrame的计算出的历史日期。
# right_on: 原始DataFrame的日期列。
# how='left': 确保保留所有当前数据，如果找不到对应的历史数据，则填充NaN。
# suffixes: 用于区分合并后同名列（如Organic Keywords）的当前值和历史值。
df_copy = df_copy.merge(
df_copy[[date_col] + dimension_cols + metric_cols],
left_on=f'{date_col}_Prior',
right_on=date_col,
how='left',
suffixes=('', f'_{months_prior}mo_Prior') # 为历史数据列添加后缀
)
# 3. 数据清洗
# 删除辅助的_Prior日期列和合并过程中可能产生的冗余维度列
df_copy = df_copy.drop(columns=[f'{date_col}_Prior'] + [col + f'_{months_prior}mo_Prior' for col in dimension_cols])
# 4. 计算绝对变化
# 遍历每个指标列，计算当前值与历史值之间的差值
for metric in metric_cols:
df_copy[f'{metric}_{months_prior}mo_Abs_Change'] = df_copy[metric] - df_copy[f'{metric}_{months_prior}mo_Prior']
# 5. 计算百分比变化
# 遍历每个指标列，计算百分比变化并四舍五入到两位小数
for metric in metric_cols:
# 避免除以零错误，这里直接使用公式，NaN值会在计算中自然产生
df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[metric] / df_copy[f'{metric}_{months_prior}mo_Prior'] - 1
df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[f'{metric}_{months_prior}mo_Pct_Change'].round(2)
return df_copy函数关键点说明：
- pd.DateOffset(months=months_prior): 这是 Pandas 中处理日期偏移的核心工具。它允许我们以月、日、年等单位精确地加减日期。
-
df_copy.merge(...): 自合并是实现历史数据匹配的关键。
- left_on=f'{date_col}_Prior' 和 right_on=date_col 定义了合并的键。当前 DataFrame 的计算出的历史日期 (Date_Prior) 将与原始 DataFrame 的实际日期 (Date) 进行匹配。
- how='left' 确保了所有当前日期的数据都被保留。如果某个当前日期没有对应的历史数据（例如，数据集中最早的几个月），则历史数据列将填充 NaN。
- suffixes=('', f'_{months_prior}mo_Prior') 非常重要。它为合并后来自右侧 DataFrame 的同名列（如 Organic Keywords）添加后缀，以便我们可以区分当前值和历史值。
- 计算变化: 函数不仅获取历史值，还进一步计算了绝对变化（Abs_Change）和百分比变化（Pct_Change），这在实际分析中非常有用。百分比变化计算时，通过 round(2) 进行了格式化。
处理多周期分析：get_period_values 函数
为了方便地对多个历史周期进行分析（例如，同时获取 1 个月前和 12 个月前的数据），我们可以再封装一个函数 get_period_values。
def get_period_values(df, periods, metric_cols, dimension_cols, date_col):
"""
对多个指定周期执行历史数据提取和变化计算。
参数:
df (pd.DataFrame): 输入的DataFrame。
periods (list): 包含要分析的月份数的列表 (e.g., [1, 3, 12])。
metric_cols (list): 需要计算历史值和变化的指标列名列表。
dimension_cols (list): 维度列名列表。
date_col (str): 日期列的名称。
返回:
pd.DataFrame: 包含所有指定周期历史数据和变化的DataFrame。
"""
df_copy = df.copy()
for period in periods:
df_copy = get_last_period_values(df_copy, period, metric_cols, dimension_cols, date_col)
return df_copy这个函数简单地遍历 periods 列表，对每个周期调用 get_last_period_values 函数，并将结果逐步合并到 df_copy 中。
完整示例代码
下面是结合上述函数的完整脚本，它读取一个 CSV 格式的字符串数据，并计算 1 个月和 12 个月前的历史数据及其变化。
import pandas as pd
import io
## 常量定义，提高代码可读性和可维护性
INITIAL_COL_REORDER = ['URL', 'Date', 'Organic Keywords', 'Organic Traffic']
METRIC_COLS = ['Organic Keywords', 'Organic Traffic'] # 需要分析的指标列
DIMENSION_COLS = ['URL'] # 维度列，此处只有一个URL，但设计上可扩展
DATE_COL = 'Date' # 日期列名
PERIODS = [1, 12] # 需要计算的周期 (1个月前, 12个月前)
# 示例输入数据 (CSV格式字符串)
INPUT_CSV = """
URL,Organic Keywords,Organic Traffic,Date
https://www.example-url.com/,1315,11345,20231115
https://www.example-url.com/,1183,5646,20231015
https://www.example-url.com/,869,5095,20230915
https://www.example-url.com/,925,4574,20230815
https://www.example-url.com/,899,4580,20230715
https://www.example-url.com/,1382,5720,20230615
https://www.example-url/,1171,5544,20230515
https://www.example-url/,1079,5041,20230415
https://www.example-url/,734,3855,20230315
https://www.example-url/,853,3455,20230215
https://www.example-url/,840,2343,20230115
https://www.example-url/,325,2318,20221215
https://www.example-url/,156,1981,20221115
https://www.example-url/,166,2059,20221015
https://www.example-url/,124124,1977,20220915
https://www.example-url/,98,1919,20220815
https://www.example-url/,167,1796,20220715
https://www.example-url/,140,1596,20220615
https://www.example-url/,168,1493,20220515
https://www.example-url/,171,1058,20220415
https://www.example-url/,141,1735,20220315
https://www.example-url/,129,1836,20220215
https://www.example-url/,141,746,20220115
https://www.example-url/,129,1076,20211215
"""
## HELPER FUNCTION ##
# (此处省略get_last_period_values和get_period_values函数定义，因为前面已给出)
# 请确保将上述两个函数定义粘贴到此处，以便脚本完整运行。
## MAIN SCRIPT ##
if __name__ == '__main__':
# 1. 读取CSV数据
df = pd.read_csv(io.StringIO(INPUT_CSV))
# 2. 初始列重排 (可选，根据需要调整)
df = df[INITIAL_COL_REORDER]
# 3. 将日期列转换为datetime对象
df[DATE_COL] = pd.to_datetime(df[DATE_COL], format='%Y%m%d')
# 4. 按日期降序排序 (重要，确保数据处理的逻辑一致性)
df = df.sort_values(by=DATE_COL, ascending=False)
# 5. 调用主函数计算所有周期的历史数据和变化
df_final = get_period_values(df, PERIODS, METRIC_COLS, DIMENSION_COLS, DATE_COL)
# 6. 显示最终结果
print(df_final.to_string()) # 使用to_string()防止输出被截断注意事项与最佳实践
-
数据预处理:
- 日期格式: 确保日期列被正确转换为 Pandas 的 datetime 类型。本例中使用 pd.to_datetime(df[DATE_COL], format='%Y%m%d') 进行转换。
- 数据排序: 在进行时间序列分析时，通常建议将 DataFrame 按日期列进行排序，尽管 merge 操作本身不依赖排序，但良好的数据习惯有助于理解和调试。本例中采用降序排序。
-
处理缺失值 (NaN):
- 由于 how='left' 合并策略，如果当前日期没有对应的历史日期数据（例如，数据集最早的几个月份），那么历史数据列将填充 NaN。在进行后续分析或可视化时，需要考虑如何处理
