0

0

如何在非索引列上对两个 DataFrame 进行时间分组并同步遍历

聖光之護

聖光之護

发布时间:2026-03-12 18:02:06

|

960人浏览过

|

来源于php中文网

原创

如何在非索引列上对两个 DataFrame 进行时间分组并同步遍历

本文介绍如何基于共享的时间列(非索引)对两个 pandas dataframe 分别进行等频时间分组(如每秒一组),再高效配对遍历所有共有的时间组,实现跨 dataframe 的分组级协同处理。

本文介绍如何基于共享的时间列(非索引)对两个 pandas dataframe 分别进行等频时间分组(如每秒一组),再高效配对遍历所有共有的时间组,实现跨 dataframe 的分组级协同处理。

在时序数据分析中,常需对多个来源的观测数据(如传感器 A 和传感器 B)按统一时间窗口(如每秒、每分钟)分别聚合,再逐窗口比对、合并或联合计算。当时间列不是索引而是普通列时,不能直接使用 pd.concat(...).groupby('timestamp') 等简单方式——因为原始数据未对齐,且各 DataFrame 的分组结果可能包含不重叠的时间桶(例如某秒内 df1 有数据而 df2 无)。此时,核心诉求是:安全、可预测地同步迭代两个已独立分组对象(DataFrameGroupBy)中时间键完全一致的组

最简洁可靠的方案是:以其中一个分组器(如 g1)为主循环,用 .get_group(key) 主动从另一个分组器(g2)中提取对应组,并显式处理缺失情况。该方法无需构造新结构、不依赖索引对齐,语义清晰且性能优异(get_group 是 O(1) 哈希查找)。

以下为完整实现示例(含可复现的模拟数据):

Sora
Sora

Sora是OpenAI发布的一种文生视频AI大模型,可以根据文本指令创建现实和富有想象力的场景。

下载
import pandas as pd
import numpy as np

# 生成模拟时序数据(5秒时间窗,10条随机记录)
last5s = pd.Timestamp.now().replace(microsecond=0) - pd.Timedelta('5s')
dates = pd.date_range(last5s, periods=5, freq='s')

N = 10
df1 = pd.DataFrame({
    'timestamp': np.random.choice(dates, size=N),
    'A': np.random.randint(0, 10, N)
})
df2 = pd.DataFrame({
    'timestamp': np.random.choice(dates, size=N),
    'B': np.random.randint(0, 10, N)
})

# 分别按 timestamp 列进行 1 秒频率分组(关键:key 指定非索引列)
g1 = df1.groupby(pd.Grouper(key='timestamp', freq='1s'))
g2 = df2.groupby(pd.Grouper(key='timestamp', freq='1s'))

# 同步遍历:仅处理 g1 和 g2 共有的时间组
for time_key, group1 in g1:
    try:
        group2 = g2.get_group(time_key)  # 若不存在则抛出 KeyError
    except KeyError:
        print(f"⚠️  跳过时间 {time_key}:df2 中无对应组")
        continue

    # 此处可安全执行跨组操作,例如:
    # - 统计两组记录数
    # - 计算 A 列均值与 B 列均值的相关性
    # - 合并为宽表:pd.concat([group1, group2], axis=1)
    print(f"⏱️ 时间组:{time_key}")
    print("? df1 子集:")
    print(group1[['timestamp', 'A']])
    print("? df2 子集:")
    print(group2[['timestamp', 'B']])
    print("-" * 40)

关键要点说明

  • pd.Grouper(key='timestamp', freq='1s') 显式指定按非索引列 timestamp 进行时间频率分组,避免误用索引;
  • 主循环选择 g1 或 g2 均可,但建议选数据更稠密、时间覆盖更全的那个作为主组,减少 KeyError 频次;
  • 使用 try/except KeyError 替代 if time_key in g2.groups 更高效(后者需遍历 keys 视图);
  • 若需严格只处理双方均存在的时间组,此模式天然满足;若需补全缺失组(如填充 NaN),可改用 g2.get_group(time_key) + fillna() 或提前构造全时间索引再 reindex;
  • 该方法不修改原始 DataFrame,内存友好,适用于大规模分组场景。

总结:当面对多源时序数据的分组协同分析时,放弃“一次性 join 分组”的思维,转而采用主从式安全拉取策略,既能精准控制逻辑分支,又具备最佳可读性与鲁棒性。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

79

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

32

2026.01.31

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

846

2023.08.22

传感器故障解决方法
传感器故障解决方法

传感器故障排除指南:识别故障症状(如误读或错误代码)。检查电源和连接(确保连接牢固,无损坏)。校准传感器(遵循制造商说明)。诊断内部故障(目视检查、信号测试、环境影响评估)。更换传感器(选择相同规格,遵循安装说明)。验证修复(检查信号准确性,监测异常行为)。

498

2024.06.04

数据分析的方法
数据分析的方法

数据分析的方法有:对比分析法,分组分析法,预测分析法,漏斗分析法,AB测试分析法,象限分析法,公式拆解法,可行域分析法,二八分析法,假设性分析法。php中文网为大家带来了数据分析的相关知识、以及相关文章等内容。

503

2023.07.04

数据分析方法有哪几种
数据分析方法有哪几种

数据分析方法有:1、描述性统计分析;2、探索性数据分析;3、假设检验;4、回归分析;5、聚类分析。本专题为大家提供数据分析方法的相关的文章、下载、课程内容,供大家免费下载体验。

292

2023.08.07

网站建设功能有哪些
网站建设功能有哪些

网站建设功能包括信息发布、内容管理、用户管理、搜索引擎优化、网站安全、数据分析、网站推广、响应式设计、社交媒体整合和电子商务等功能。这些功能可以帮助网站管理员创建一个具有吸引力、可用性和商业价值的网站,实现网站的目标。

756

2023.10.16

数据分析网站推荐
数据分析网站推荐

数据分析网站推荐:1、商业数据分析论坛;2、人大经济论坛-计量经济学与统计区;3、中国统计论坛;4、数据挖掘学习交流论坛;5、数据分析论坛;6、网站数据分析;7、数据分析;8、数据挖掘研究院;9、S-PLUS、R统计论坛。想了解更多数据分析的相关内容,可以阅读本专题下面的文章。

534

2024.03.13

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号