如何用Python处理时间序列数据？resample重采样

使用pandas的resample方法进行时间序列数据处理及聚合的核心步骤如下：1. 确保dataframe或series具有datetimeindex，这是resample操作的前提；2. 使用resample('freq')指定目标频率，如'd'（日）、'w'（周）、'm'（月）等；3. 应用聚合函数如.mean()、.sum()、.ohlc()等对每个时间区间内的数据进行汇总；4. 可通过label和closed参数控制时间区间的标签位置和闭合端点；5. 对缺失值使用fillna()方法进行填充或保留nan；6. 结合apply()、agg()、pipe()实现自定义聚合、多列多函数聚合和后处理流程；7. 区分resample()与asfreq()，前者用于聚合降频，后者用于频率转换而不聚合。

用Python处理时间序列数据，特别是涉及频率转换和数据聚合时，Pandas库里的resample方法简直是神器。它能让你轻松地将数据从一个时间粒度转换到另一个，比如把每分钟的数据汇总成每日、每周甚至每月的数据，同时还能对这些新的时间段内的数据进行各种统计计算。

解决方案

要使用resample，你首先得确保你的DataFrame或Series有一个DatetimeIndex。这是基础，也是关键。一旦有了这个索引，resample方法就能像变魔术一样工作。

想象一下，你有一组高频的传感器数据，每秒记录一次，但你现在只想看每天的平均值。

立即学习“Python免费学习笔记（深入）”；

import pandas as pd
import numpy as np

# 创建一个示例时间序列数据
# 假设从2023年1月1日0点开始，每分钟一个数据点
start_time = pd.to_datetime('2023-01-01 00:00:00')
time_index = pd.date_range(start=start_time, periods=1000, freq='T') # 'T' for minute frequency
data = np.random.rand(1000) * 100
df = pd.DataFrame({'value': data}, index=time_index)

print("原始数据（前5行）：")
print(df.head())
print("\n原始数据信息：")
df.info()

# 将数据重采样为每日平均值
daily_avg = df.resample('D').mean()
print("\n重采样为每日平均值（前5行）：")
print(daily_avg.head())

# 重采样为每周总和
weekly_sum = df.resample('W').sum()
print("\n重采样为每周总和（前5行）：")
print(weekly_sum.head())

# 重采样为每月OHLC（开高低收）
monthly_ohlc = df['value'].resample('M').ohlc()
print("\n重采样为每月OHLC（前5行）：")
print(monthly_ohlc.head())

# 如果想指定标签的位置（比如用区间的结束时间作为标签）
daily_avg_end_label = df.resample('D', label='right').mean()
print("\n重采样为每日平均值（标签为区间结束时间，前5行）：")
print(daily_avg_end_label.head())

# 还可以用loffset来调整时间戳
daily_avg_shifted = df.resample('D', loffset='-12H').mean() # 将标签向后移12小时
print("\n重采样并调整标签（前5行）：")
print(daily_avg_shifted.head())

resample的字符串参数非常灵活，支持各种频率，比如'D'（日）、'W'（周）、'M'（月）、'Q'（季度）、'A'（年）、'H'（小时）、'T'或'min'（分钟）、'S'（秒）等等。后面跟着的聚合函数（如.mean(), .sum(), .first(), .last(), .ohlc(), .count()）决定了每个新时间段内的数据如何被汇总。

resample背后的数据聚合逻辑是什么？

在我看来，resample的核心逻辑，其实就是一种智能的“分箱”（binning）操作。它根据你指定的频率，在时间轴上划分出一个个连续的、互不重叠的时间区间。然后，它会把落在同一个时间区间内的所有原始数据点“收集”起来，形成一个临时的组。最后，你调用 .mean(), .sum() 或者其他聚合函数时，就是对这些组内的数据进行计算，得到每个新时间区间的最终结果。

举个例子，如果你把数据从分钟级别重采样到日级别（resample('D')），那么它会识别出所有属于1月1日的数据，把它们归到一起；再识别出所有属于1月2日的数据，又归到一起，以此类推。每个“日”就形成了一个独立的箱子。聚合函数就是对这些箱子里的数据进行操作。

这个过程很巧妙，因为它不仅仅是简单地选择数据，而是真正地重新组织数据。如果某个时间段内没有数据，resample默认会为这个时间段创建一个条目，并填充NaN，这在处理不连续或稀疏的时间序列时非常有用，因为它能帮你清晰地看到数据的缺失情况。我觉得这种“显式缺失”比隐式缺失要好得多，至少你知道哪里没数据。

如何处理resample操作中的缺失值和边界情况？

缺失值和边界情况在实际数据处理中是常态，resample也提供了参数来应对。

缺失值处理： 正如前面提到的，如果某个重采样后的时间区间内没有原始数据点，resample会填充NaN。处理这些NaN，你可以在resample之后链式调用Pandas的缺失值处理方法：

# 假设我们有一个稀疏的时间序列
sparse_time_index = pd.to_datetime(['2023-01-01', '2023-01-03', '2023-01-06'])
sparse_data = [10, 20, 30]
sparse_df = pd.DataFrame({'value': sparse_data}, index=sparse_time_index)

# 重采样为每日，会有NaN
daily_sparse = sparse_df.resample('D').mean()
print("\n稀疏数据重采样为每日（含NaN）：")
print(daily_sparse)

# 填充缺失值
daily_filled_ffill = daily_sparse.fillna(method='ffill') # 用前一个有效值填充
print("\n缺失值前向填充：")
print(daily_filled_ffill)

daily_filled_bfill = daily_sparse.fillna(method='bfill') # 用后一个有效值填充
print("\n缺失值后向填充：")
print(daily_filled_bfill)

daily_filled_zero = daily_sparse.fillna(0) # 填充0
print("\n缺失值填充0：")
print(daily_filled_zero)

选择哪种填充方式取决于你的业务逻辑和数据特性。有时候，NaN本身就是一种信息，表示那个时间点确实没有数据，不需要填充。

Rose.ai

一个云数据平台，帮助用户发现、可视化数据

下载

边界情况（closed和label）：resample默认情况下，区间的左边界是包含的，右边界是不包含的（closed='left'），并且新生成的时间戳标签是区间的左边界（label='left'）。但你可以在特定场景下调整它们：

• closed: 决定区间的哪一端是闭合的（包含）。
  • 'left' (默认): [start, end)
  • 'right': (start, end]
• label: 决定新时间段的标签是使用区间的开始时间还是结束时间。
  • 'left' (默认): 使用区间的开始时间作为标签。
  • 'right': 使用区间的结束时间作为标签。

# 原始数据，方便观察边界
data_for_boundary = pd.DataFrame({'value': range(5)}, index=pd.to_datetime(['2023-01-01 00:00', '2023-01-01 23:59', '2023-01-02 00:00', '2023-01-02 23:59', '2023-01-03 00:00']))

print("\n原始数据用于边界观察：")
print(data_for_boundary)

# 默认行为：closed='left', label='left'
# 2023-01-01的数据包括00:00到23:59
# 2023-01-02的数据包括00:00到23:59
default_resample = data_for_boundary.resample('D').sum()
print("\n默认重采样（closed='left', label='left'）：")
print(default_resample)

# closed='right', label='right'
# 2023-01-01的数据包括(2022-12-31 23:59, 2023-01-01 23:59]
# 标签是结束时间
right_closed_right_label = data_for_boundary.resample('D', closed='right', label='right').sum()
print("\n重采样（closed='right', label='right'）：")
print(right_closed_right_label)

理解这些参数对于确保数据聚合的准确性至关重要，特别是当你的业务对时间边界有严格要求时。

除了简单的聚合，resample还能做哪些高级操作？

resample的强大之处远不止于简单的聚合函数。它能与Pandas的其他功能结合，实现更复杂的分析。

1. 自定义聚合函数 (apply)： 如果内置的mean, sum等不能满足你的需求，你可以传入一个自定义函数到apply方法中。这个函数会接收每个重采样区间的Series数据。

   # 计算每个月数据的范围 (max - min)
   monthly_range = df['value'].resample('M').apply(lambda x: x.max() - x.min())
   print("\n每月数据范围（自定义聚合）：")
   print(monthly_range.head())
   
   # 甚至可以返回多个值，但需要确保返回的是Series或DataFrame，或者每个区间返回一个标量
   # 比如返回每个月的Q1和Q3
   def get_quantiles(x):
       return pd.Series({'Q1': x.quantile(0.25), 'Q3': x.quantile(0.75)})
   
   monthly_quantiles = df['value'].resample('M').apply(get_quantiles)
   print("\n每月Q1和Q3（自定义聚合返回多值）：")
   print(monthly_quantiles.head())

   这给了你极大的灵活性，可以根据业务需求实现任何复杂的聚合逻辑。

2. 多列聚合： 如果你DataFrame有多列，并且想对不同的列应用不同的聚合函数，可以使用agg方法。

   df_multi_col = df.copy()
   df_multi_col['another_value'] = np.random.rand(len(df)) * 50
   
   # 对'value'列求平均，对'another_value'列求和
   daily_agg_multi = df_multi_col.resample('D').agg({
       'value': 'mean',
       'another_value': 'sum'
   })
   print("\n多列聚合（不同函数）：")
   print(daily_agg_multi.head())
   
   # 对所有数值列应用多个聚合函数
   daily_agg_all_cols = df_multi_col.resample('D').agg(['mean', 'sum', 'std'])
   print("\n所有数值列应用多个聚合函数：")
   print(daily_agg_all_cols.head())

   agg方法让多维度分析变得异常便捷。

3. 与pipe结合：pipe方法允许你将resample的结果直接传递给一个函数或一系列函数，实现更流畅的工作流。

   def process_resampled_data(resampled_df):
       # 假设这里有一些后处理逻辑，比如填充缺失值并计算一个新列
       processed_df = resampled_df.fillna(0)
       processed_df['value_ratio'] = processed_df['value'] / processed_df['another_value']
       return processed_df
   
   # 将resample的结果通过pipe传递给自定义处理函数
   processed_output = df_multi_col.resample('D').mean().pipe(process_resampled_data)
   print("\n使用pipe进行后处理：")
   print(processed_output.head())

   这有助于构建清晰、可读的数据处理管道。

4. asfreq()与resample()的区别： 虽然不是resample本身的高级操作，但理解asfreq()和resample()的区别对于时间序列处理至关重要。resample()是聚合操作，它会改变数据点的数量，并对每个区间进行聚合。而asfreq()仅仅是改变频率，它不会进行聚合，如果新的频率点上没有数据，它会填充NaN，或者直接取最近的一个点（取决于参数）。

   # df是原始分钟级数据
   # resample到每小时，取平均
   hourly_resample = df.resample('H').mean()
   print("\nresample到每小时（平均）：")
   print(hourly_resample.head())
   
   # asfreq到每小时，不聚合，直接取对应时间点的值，没有则NaN
   # 注意：asfreq通常用于升采样，或在降采样时仅取特定点
   hourly_asfreq = df.asfreq('H')
   print("\nasfreq到每小时（不聚合）：")
   print(hourly_asfreq.head())

   asfreq在需要保持原始数据点结构，只是改变观察频率时非常有用，比如从日数据变为月数据，但只关心每个月的第一天。

这些高级用法让resample不仅仅是一个简单的聚合工具，更是时间序列分析中不可或缺的利器。通过灵活运用，你可以解决各种复杂的时间序列数据挑战。