在pandas中,groupby后将多列合并为一行JSON应使用apply配合to_dict('records')和json.dumps,并用fillna(None)处理NaN、ensure_ascii=False支持中文,避免to_json(orient='records')的转义问题。

在 pandas 中,groupby 后将多列结果合并为一行 JSON,核心是用 apply 配合 to_dict 和 json.dumps(或直接用 to_json),但要注意数据类型兼容性和结构控制。
用 apply + to_dict + json.dumps 生成标准 JSON 字符串
这是最灵活、推荐的方式,能精确控制字段名和数据类型:
- 对每个分组,用
df.to_dict('records')转成字典列表(每行一个 dict) - 再用
json.dumps序列化,可加ensure_ascii=False支持中文 - 避免直接用
to_json(orient='records'),它可能输出带转义的字符串(如"\\u4f60"),而dumps更可控
示例:
import pandas as pd import jsondf = pd.DataFrame({ 'group': ['A', 'A', 'B', 'B'], 'name': ['张三', '李四', '王五', '赵六'], 'score': [85, 92, 78, 88], 'active': [True, False, True, True] })
result = df.groupby('group').apply( lambda x: json.dumps(x[['name', 'score', 'active']].to_dict('records'), ensure_ascii=False) ).reset_index(name='data_json')
输出:
group data_json
0 A [{"name": "张三", "score": 85, "active": true}, {"name": "李四", "score": 92, "active": false}]
1 B [{"name": "王五", "score": 78, "active": true}, {"name": "赵六", "score": 88, "active": true}]
只取特定列并控制键名(重命名字段)
如果原始列名不友好,或想统一输出字段,可在 to_dict 前用 rename 或构造新 DataFrame:
Shopxp购物系统历经多年的考验,并在推出shopxp免费购物系统下载之后,收到用户反馈的各种安全、漏洞、BUG、使用问题进行多次修补,已经从成熟迈向经典,再好的系统也会有问题,在完善的系统也从在安全漏洞,该系统完全开源可编辑,当您下载这套商城系统之后,可以结合自身的技术情况,进行开发完善,当然您如果有更好的建议可从官方网站提交给我们。Shopxp网上购物系统完整可用,无任何收费项目。该系统经过
- 用
x[['name','score']].rename(columns={'name':'user','score':'point'}) - 再
.to_dict('records')→ 字段名即为重命名后的名称
避免 NaN 导致 JSON 序列化失败
pandas 的 NaN 无法直接被 json.dumps 处理,会报错 TypeError: Object of type float is not JSON serializable:
-
解决方法:在
to_dict前用.fillna(None),因为None会被dumps正确转为null - 或者更稳妥地:用
df.replace({np.nan: None})全局替换(需 import numpy as np)
修正版片段:
lambda x: json.dumps(
x[['name', 'score', 'active']].fillna(None).to_dict('records'),
ensure_ascii=False
)
性能提示:大数据量时慎用 apply
apply 是 Python 级循环,对百万级分组较慢。若只需简单聚合(如拼接字符串),可用 agg + to_json,但灵活性低:
-
df.groupby('group').agg({'name': list, 'score': list})→ 得到列表,再手动构 dict + dumps - 不推荐直接
.agg(lambda x: x.to_json(...)),因to_json对 Series 行为不符合预期









