
本文将提供一个清晰、简洁的Python解决方案,用于批量处理Excel文件,并在每个工作表(Sheet)中添加基于文件名的新列。通过使用pandas库和openpyxl引擎,可以高效地遍历Excel文件的所有工作表,并添加所需的信息,从而简化数据处理流程。
使用 Pandas 和 Openpyxl 为 Excel 文件所有 Sheet 添加列名
在数据处理过程中,经常需要对Excel文件进行批量操作,例如,在每个工作表中添加一列包含文件名信息的列。本文将详细介绍如何使用Python的pandas库和openpyxl引擎来实现这一目标。
步骤 1:导入必要的库
首先,需要导入os和pandas库。os库用于文件路径操作,pandas库用于Excel文件的读取和写入。
立即学习“Python免费学习笔记(深入)”;
import os import pandas as pd
步骤 2:指定文件路径
设置包含Excel文件的根目录路径。请将 'XXXX' 替换为实际的文件路径。
path = 'XXXX'
步骤 3:遍历文件
本文档主要讲述的是Python之模块学习;python是由一系列的模块组成的,每个模块就是一个py为后缀的文件,同时模块也是一个命名空间,从而避免了变量名称冲突的问题。模块我们就可以理解为lib库,如果需要使用某个模块中的函数或对象,则要导入这个模块才可以使用,除了系统默认的模块(内置函数)不需要导入外。希望本文档会给有需要的朋友带来帮助;感兴趣的朋友可以过来看看
使用 os.walk() 函数遍历指定目录下的所有文件。然后,筛选出以 .xlsx 结尾的Excel文件。
for roots, dirs, files in os.walk(path):
xlsfile = [f for f in files if f.endswith('.xlsx')]步骤 4:处理每个 Excel 文件
对于找到的每个Excel文件,执行以下操作:
- 构建完整的文件路径。
- 使用 pd.ExcelFile() 打开Excel文件。
- 使用 pd.ExcelWriter() 创建一个写入器,指定使用 openpyxl 引擎。openpyxl 是一个用于读取/写入Excel 2010 xlsx/xlsm/xltx/xltm文件的Python库。
- 遍历Excel文件的所有工作表(Sheet)。
- 读取当前工作表的数据到 DataFrame。
- 创建一个名为 filename 的新列,并根据文件名拆分的结果赋值。
- 将修改后的 DataFrame 写回到当前工作表。
for xlsf in xlsfile:
print(xlsf)
excel_path = os.path.join(roots, xlsf)
xls = pd.ExcelFile(excel_path)
with pd.ExcelWriter(excel_path, engine='openpyxl') as writer:
for sheet_name in xls.sheet_names:
df = pd.read_excel(xls, sheet_name)
df['filename'] = xlsf.split("-")[-2]
df.to_excel(writer, sheet_name=sheet_name, index=False)完整代码示例:
import os
import pandas as pd
path = 'XXXX'
for roots, dirs, files in os.walk(path):
xlsfile = [f for f in files if f.endswith('.xlsx')]
for xlsf in xlsfile:
print(xlsf)
excel_path = os.path.join(roots, xlsf)
xls = pd.ExcelFile(excel_path)
with pd.ExcelWriter(excel_path, engine='openpyxl') as writer:
for sheet_name in xls.sheet_names:
df = pd.read_excel(xls, sheet_name)
df['filename'] = xlsf.split("-")[-2]
df.to_excel(writer, sheet_name=sheet_name, index=False)注意事项:
- 请确保已安装 pandas 和 openpyxl 库。可以使用 pip install pandas openpyxl 命令进行安装。
- 代码中的 xlsf.split("-")[-2] 用于从文件名中提取所需的信息。请根据实际的文件名格式进行调整。
- pd.ExcelWriter(excel_path, engine='openpyxl') 使用了 openpyxl 引擎,这对于处理较新的Excel文件格式(.xlsx)非常重要。
- index=False 参数用于防止将DataFrame的索引写入Excel文件。
- 建议在处理大量文件之前,先用少量文件进行测试,以确保代码的正确性。
总结:
通过使用 pandas 库和 openpyxl 引擎,可以方便地批量处理Excel文件,并在每个工作表中添加自定义信息。这种方法不仅高效,而且可以灵活地适应不同的文件名格式和数据处理需求。在实际应用中,可以根据具体情况修改代码,以满足特定的业务需求。









