使用 Pandas 数据帧中的值替换外部文件中的特定值，并跳过某些字段

聖光之護

发布时间：2025-08-20 17:40:15

226人浏览过

来源于php中文网

原创

使用 pandas 数据帧中的值替换外部文件中的特定值，并跳过某些字段

本文介绍如何使用 Pandas 数据帧中的数据，选择性地更新外部文件中的特定数值，并跳过某些字段的替换。我们将通过示例代码，详细讲解如何使用正则表达式和 Pandas 库实现这一功能，帮助读者理解并应用到实际场景中，从而高效地处理文本文件中的数据替换任务。

在处理文本文件时，有时需要根据 Pandas 数据帧中的数据来更新文件中的特定数值。然而，并非所有数值都需要更新，可能需要跳过某些字段。以下是如何实现这一目标的详细步骤和示例代码。

1. 理解问题

假设有一个文本文件，其中包含多个数据块，每个数据块包含 i、j 和 k 等字段。目标是使用 Pandas 数据帧中的值，仅更新某些数据块中的 i 和 k 字段，而保持 j 字段不变。

2. 解决方案概述

该解决方案的核心是使用正则表达式来匹配需要替换的字段，并使用 Pandas 数据帧中的相应值进行替换。关键在于构建正确的正则表达式，以便仅匹配需要替换的字段。另外，将文件内容按块分割，针对特定块进行替换，避免影响其他数据。

3. 代码实现

以下是实现该功能的 Python 代码：

AIBox 一站式AI创作平台

AIBox365一站式AI创作平台，支持ChatGPT、GPT4、Claue3、Gemini、Midjourney等国内外大模型

下载

import re
import pandas as pd

# 示例数据帧
data = {'i': ['unit1', 1000, -3000, -2000, 900],
        'k': ['unit3', 84, 60, 195, 209]}
df = pd.DataFrame(data)

idx = 2  # 要替换的数据帧的行索引
to_replace = 'B'  # 要替换的数据块的标识符

# 读取输入文件
with open('input_file.txt', 'r') as f_in:
    file_content = f_in.read()

# 将文件内容按块分割
blocks = re.split(r'\n\n', file_content)

# 构建替换后的内容
output_blocks = []
for block in blocks:
    if block.startswith(to_replace):
        # 构建正则表达式
        s = df.loc[idx]
        pat = r'\b(%s)\b(\s*=\s*)(\d+)' % '|'.join(s.index)

        # 执行替换
        replaced_block = re.sub(pat, lambda m: fr'{m.group(1)}{m.group(2)}{s.loc[m.group(1)]}',
                                 block, flags=re.M | re.S)
        output_blocks.append(replaced_block)
    else:
        output_blocks.append(block)

# 将替换后的内容连接起来
output_content = '\n\n'.join(output_blocks)

# 写入输出文件
with open('output_file.txt', 'w') as f_out:
    f_out.write(output_content)

print("替换完成！")

4. 代码解释

导入必要的库: 导入 re (正则表达式) 和 pandas 库。
定义变量:
- idx: 指定要从 DataFrame 中提取的行的索引。
- to_replace: 指定要替换的数据块的起始标识符。
读取文件: 使用 open() 函数以读取模式打开输入文件，并读取其内容。
分割数据块: 使用 re.split('\n\n', f_in.read()) 将文件内容分割成多个数据块。\n\n 是一个正则表达式，用于匹配两个连续的换行符，这通常用于分隔文件中的不同数据块。
构建正则表达式:
- s = df.loc[idx] 从 DataFrame 中选择索引为 idx 的行。
- pat = r'\b(%s)\b(\s*=\s*)(\d+)' % '|'.join(s.index) 构建正则表达式。
  - \b: 匹配单词边界，确保只匹配完整的单词。
  - (%s): 匹配 DataFrame 的列名（例如 'i' 或 'k'），并将其捕获到第一个分组中。'|'.join(s.index) 将 DataFrame 的列名连接成一个字符串，用 | 分隔，表示“或”的关系。
  - (\s*=\s*): 匹配等号，并允许等号前后有零个或多个空格，将其捕获到第二个分组中。
  - (\d+): 匹配一个或多个数字，将其捕获到第三个分组中。
执行替换:
- re.sub(pat, lambda m: fr'{m.group(1)}{m.group(2)}{s.loc[m.group(1)]}', block, flags=re.M | re.S) 使用正则表达式替换数据块中的匹配项。
  - lambda m: fr'{m.group(1)}{m.group(2)}{s.loc[m.group(1)]}' 是一个匿名函数，用于定义替换逻辑。对于每个匹配项，它使用 DataFrame 中对应列的值替换匹配的数字。
    - m.group(1): 匹配的列名（例如 'i' 或 'k'）。
    - m.group(2): 匹配的等号和空格。
    - s.loc[m.group(1)]: DataFrame 中对应列的值。
  - flags=re.M | re.S 设置正则表达式的标志。
    - re.M: 多行模式，使 ^ 和 $ 匹配每一行的开头和结尾。
    - re.S: 单行模式，使 . 匹配所有字符，包括换行符。
写入文件: 使用 open() 函数以写入模式打开输出文件，并将替换后的内容写入文件。

5. 示例输入文件 (input_file.txt)

A       first = 4 | 1_3_5_4        Name1
labelToSkip
i = 1000000 j = -3 k = -15
end

B       first = 4 | 9_2_2_4        Name2
labelToSkip
i = 150000 j = -3 k = -20
end

6. 示例输出文件 (output_file.txt)

A       first = 4 | 1_3_5_4        Name1
labelToSkip
i = 1000000 j = -3 k = -15
end

B       first = 4 | 9_2_2_4        Name2
labelToSkip
i = -3000 j = -3 k = 60
end

7. 注意事项