0

0

如何在 Pandas 中扁平化嵌套 JSON 列表时保留原始时间戳列

心靈之曲

心靈之曲

发布时间:2026-01-27 15:09:16

|

834人浏览过

|

来源于php中文网

原创

如何在 Pandas 中扁平化嵌套 JSON 列表时保留原始时间戳列

本文介绍在使用 pd.json_normalize() 扁平化多列字典数据时,如何将关联的 time_published 时间列正确广播到每个展开后的记录行中,避免信息丢失。

在新闻舆情分析等场景中,常遇到类似结构:一个 DataFrame 的每行代表一篇报道,多个列(如 0–41)存储了可变数量的股票情绪字典(可能为空或为 null),而最后一列(如 time_published)记录该报道的发布时间。当使用循环 + pd.json_normalize() 展开这些字典时,若未显式关联时间字段,最终结果将丢失关键的时间上下文——因为原始的 time_published 是按“行”对齐的,而扁平化后变成了按“字典条目”对齐。

解决核心在于:在每次 json_normalize 后,将对应行的 time_published 值广播(broadcast)为一列,并与当前批次的扁平化数据横向拼接。注意,不能直接使用 df['time_published'](返回 Series 全量),而应取与当前处理列 i 对应的原始行索引位置的值;但更稳妥且高效的做法是——利用 pandas 的自动对齐机制,在 concat 时将长度匹配的 time_published Series 与 json_normalize 结果合并

由于 df_flat_ticker[i] 是一个包含字典(或 None/NaN)的 Series,其索引与原始 DataFrame 行索引一致。因此,df['time_published'] 这个 Series 的索引也完全匹配,可直接按索引对齐拼接:

df_final = pd.DataFrame()
for i in range(42):  # 注意:range(42) 覆盖列索引 0–41
    temp_dict_series = df_flat_ticker[i]  # 取第 i 列(Series)
    temp_flat = pd.json_normalize(temp_dict_series)  # 展开为 DataFrame,索引保持不变
    # 将 time_published 按索引对齐广播为新列
    temp_with_time = pd.concat([temp_flat, df['time_published']], axis=1)
    df_final = pd.concat([df_final, temp_with_time], ignore_index=False)

df_final = df_final.dropna(subset=['ticker']).reset_index(drop=True)

更简洁、推荐的方式是使用 assign() 方法,语义清晰且避免嵌套 concat:

Figma
Figma

Figma 是一款基于云端的 UI 设计工具,可以在线进行产品原型、设计、评审、交付等工作。

下载
df_final = pd.DataFrame()
for i in range(42):
    temp_flat = pd.json_normalize(df_flat_ticker[i])
    # assign 自动按索引对齐,将整个 time_published Series 复制为新列
    temp_with_time = temp_flat.assign(time_published=df['time_published'])
    df_final = pd.concat([df_final, temp_with_time], ignore_index=True)

df_final = df_final.dropna(subset=['ticker']).reset_index(drop=True)

✅ 关键要点总结:

  • pd.json_normalize() 会保留输入 Series 的原始索引,这是实现时间列对齐的基础;
  • df['time_published'] 是同长度、同索引的 Series,assign() 或 concat(axis=1) 会自动按索引对齐,无需手动 iloc 或 map;
  • 使用 ignore_index=True 在最终 concat 中重置索引,提升可读性;
  • dropna(subset=['ticker']) 比全局 dropna() 更安全,仅过滤掉 ticker 为空的无效记录(因字典可能为 None 或空);
  • 若原始数据含大量空列(如全 null),可先用 df_flat_ticker.iloc[:, :42].apply(lambda s: s.dropna().tolist(), axis=0) 预处理,但本方案已兼容稀疏结构。

最终输出的 df_final 每行即为一条「股票+情绪指标+发布时间」三元组,完美支持后续按时间窗口聚合、多 ticker 关联分析等任务。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

418

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

535

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

311

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

77

2025.09.10

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

56

2025.12.04

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

235

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

437

2024.03.01

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

206

2023.09.15

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

10

2026.01.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.5万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号