0

0

动态批量操作多个 DataFrame:基于索引的高效标量乘法教程

聖光之護

聖光之護

发布时间:2026-02-05 18:30:56

|

941人浏览过

|

来源于php中文网

原创

动态批量操作多个 DataFrame:基于索引的高效标量乘法教程

本文介绍如何对多个结构相同的 dataframe 批量执行基于行标签(如产品名)的逐元素乘法运算,核心是将价格映射表设为索引,利用 pandas 广播机制实现简洁、高效、无循环的向量化操作。

在实际数据分析中,常需对一组同构 DataFrame(如不同时间段的订单记录)统一应用同一组权重或单价(如各品类单位成本)。若机械地遍历、对齐、逐列计算,不仅代码冗长,还易因索引不匹配引发 ValueError 或隐式错误。最优解是让数据“自对齐”——将公共维度(如 Prod)设为索引,再借助 Pandas 的索引对齐与广播规则完成自动匹配计算。

以下以三张订单表 recs_df1/recs_df2/recs_df3 与一张成本表 costs_df 为例,演示两种专业级实现方式:

✅ 推荐方案:索引对齐 + 向量化广播(一行解决)

import pandas as pd
import numpy as np

# 构建示例数据(关键:所有 DataFrame 以 'Prod' 为 index)
recs_df1 = pd.DataFrame({'Ord1': [4, 3, 2], 'Ord2': [2, 1, 3], 'Ord3': [1, 5, 4]}, 
                        index=['Toys', 'Candy', 'Décor'])
recs_df2 = pd.DataFrame({'Ord1': [1, 4, 2], 'Ord2': [0, 1, 3], 'Ord3': [6, 5, 4]}, 
                        index=['Toys', 'Candy', 'Décor'])
recs_df3 = pd.DataFrame({'Ord1': [1, 0, 1], 'Ord2': [2, 1, 3], 'Ord3': [3, 0, 4]}, 
                        index=['Toys', 'Candy', 'Décor'])
costs_df = pd.DataFrame({'Price': [2.0, 1.0, 3.0]}, index=['Toys', 'Candy', 'Décor'])

# 批量处理:利用索引自动对齐,广播乘法(返回 list of DataFrames)
dfs = [recs_df1, recs_df2, recs_df3]
new_dfs = [df.multiply(costs_df['Price'], axis=0) for df in dfs]

# 验证结果(例如 new_dfs[0] 即 new_df1)
print(new_dfs[0])
✅ 优势:df.multiply(..., axis=0) 显式指定按行(index)广播,安全、可读、无需转换为 NumPy;索引自动对齐确保 Toys×2.0, Candy×1.0, Décor×3.0 精准匹配,即使原始数据顺序错乱也无影响。

⚠️ 替代方案:NumPy 广播(需谨慎使用)

# 仅当确认索引完全一致且无需保留 DataFrame 属性时可用
new_dfs_numpy = [df * costs_df['Price'].values.reshape(-1, 1) for df in dfs]
# 注意:结果为 ndarray,需手动转回 DataFrame 并恢复索引列
new_dfs = [pd.DataFrame(arr, index=df.index, columns=df.columns) 
           for arr, df in zip(new_dfs_numpy, dfs)]

⚠️ 风险提示:costs_df.to_numpy() 返回二维数组,直接 * df 可能触发隐式广播(如 (3,1) * (3,3)),但会丢失索引和列名信息,且一旦 costs_df 索引顺序与 df 不一致,结果将错误。强烈建议优先使用 .multiply() 方法。

ClipSketch AI
ClipSketch AI

将视频瞬间转化为手绘故事

下载

? 关键注意事项

  • 索引一致性是前提:所有 recs_df* 和 costs_df 的 index 必须包含完全相同的标签(如 ['Toys','Candy','Décor']),缺失值将导致对应行结果为 NaN。
  • 避免原地修改:使用 df.copy() 或链式操作确保原始数据不受影响。
  • 扩展性设计:若需保存为字典(如 {'df1': new_df1, 'df2': new_df2}),可改用字典推导式:{f'df{i+1}': df.multiply(costs_df['Price'], axis=0) for i, df in enumerate(dfs)}
  • 性能对比:对百个以上 DataFrame,向量化方案比显式 for col in df 循环快 5–10 倍,且内存更优。

掌握索引驱动的广播思维,是高效处理批量 DataFrame 的基石——它让代码从“手动对齐的脆弱逻辑”升维为“数据自描述的健壮范式”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

72

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

3

2026.01.31

数据分析的方法
数据分析的方法

数据分析的方法有:对比分析法,分组分析法,预测分析法,漏斗分析法,AB测试分析法,象限分析法,公式拆解法,可行域分析法,二八分析法,假设性分析法。php中文网为大家带来了数据分析的相关知识、以及相关文章等内容。

475

2023.07.04

数据分析方法有哪几种
数据分析方法有哪几种

数据分析方法有:1、描述性统计分析;2、探索性数据分析;3、假设检验;4、回归分析;5、聚类分析。本专题为大家提供数据分析方法的相关的文章、下载、课程内容,供大家免费下载体验。

283

2023.08.07

网站建设功能有哪些
网站建设功能有哪些

网站建设功能包括信息发布、内容管理、用户管理、搜索引擎优化、网站安全、数据分析、网站推广、响应式设计、社交媒体整合和电子商务等功能。这些功能可以帮助网站管理员创建一个具有吸引力、可用性和商业价值的网站,实现网站的目标。

742

2023.10.16

数据分析网站推荐
数据分析网站推荐

数据分析网站推荐:1、商业数据分析论坛;2、人大经济论坛-计量经济学与统计区;3、中国统计论坛;4、数据挖掘学习交流论坛;5、数据分析论坛;6、网站数据分析;7、数据分析;8、数据挖掘研究院;9、S-PLUS、R统计论坛。想了解更多数据分析的相关内容,可以阅读本专题下面的文章。

519

2024.03.13

Python 数据分析处理
Python 数据分析处理

本专题聚焦 Python 在数据分析领域的应用,系统讲解 Pandas、NumPy 的数据清洗、处理、分析与统计方法,并结合数据可视化、销售分析、科研数据处理等实战案例,帮助学员掌握使用 Python 高效进行数据分析与决策支持的核心技能。

76

2025.09.08

Python 数据分析与可视化
Python 数据分析与可视化

本专题聚焦 Python 在数据分析与可视化领域的核心应用,系统讲解数据清洗、数据统计、Pandas 数据操作、NumPy 数组处理、Matplotlib 与 Seaborn 可视化技巧等内容。通过实战案例(如销售数据分析、用户行为可视化、趋势图与热力图绘制),帮助学习者掌握 从原始数据到可视化报告的完整分析能力。

56

2025.10.14

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号