本文介绍一种高效、安全的 csv 行级“移动”策略：读取原始 csv，将满足条件的行写入“已用”文件，其余行保留至新临时文件，最后原子化替换原文件，实现逻辑删除与归档一体化。
本文介绍一种高效、安全的 csv 行级“移动”策略：读取原始 csv，将满足条件的行写入“已用”文件，其余行保留至新临时文件，最后原子化替换原文件，实现逻辑删除与归档一体化。
在数据批处理场景中（如任务队列消费、邮件发送、订单分发），常需将已处理的记录从源 CSV 中“移出”，既保留操作痕迹（存入 used.csv），又确保后续流程只处理未使用数据。Python 标准库 csv 模块本身不支持原地行删除，但可通过“读—分流—覆盖”的三步模式安全实现该需求。
核心思路是：不修改原文件，而是构建两个输出流——一个专用于归档已用行，另一个用于重建精简后的源数据。整个过程避免内存全量加载（适用于大文件）、无需第三方依赖，且具备良好的可扩展性。
以下是一个完整、生产就绪的示例代码，假设我们按某列（如第 2 列 status）判断是否“已使用”，并将匹配行移入 used.csv，剩余行写回原文件：
import csv
import shutil
import os
def move_used_rows(
input_path: str,
used_path: str,
condition_func: callable,
has_header: bool = True
):
"""
将满足 condition_func 的行移至 used_path，其余行覆盖写入 input_path
:param input_path: 原始 CSV 路径
:param used_path: 已用行归档路径
:param condition_func: 接收 row(list) 返回 bool 的判定函数，True 表示“已用”
:param has_header: 是否含表头（决定是否分流表头）
"""
# 创建临时文件路径（避免同名冲突）
temp_path = input_path + ".tmp"
with open(input_path, newline="", encoding="utf-8") as f_in, \
open(used_path, "w", newline="", encoding="utf-8") as f_used, \
open(temp_path, "w", newline="", encoding="utf-8") as f_temp:
reader = csv.reader(f_in)
writer_used = csv.writer(f_used)
writer_temp = csv.writer(f_temp)
# 处理表头
if has_header:
header = next(reader)
writer_used.writerow(header)
writer_temp.writerow(header)
# 分流数据行
for row in reader:
if condition_func(row):
writer_used.writerow(row)
else:
writer_temp.writerow(row)
# 原子化替换：用 temp 替换原文件（确保数据一致性）
shutil.move(temp_path, input_path)
# ✅ 使用示例：将 department == "Marketing" 的行移入 used.csv
move_used_rows(
input_path="data.csv",
used_path="used.csv",
condition_func=lambda row: len(row) > 1 and row[1] == "Marketing",
has_header=True
)
print("✅ 处理完成：已用行已归档至 'used.csv'，原文件 'data.csv' 已更新为剩余数据。")关键注意事项：
- ✅ 编码兼容性：显式指定 encoding="utf-8" 避免中文乱码（Windows 默认 ANSI 易出错）；
- ✅ 原子性保障：使用 .tmp 临时文件 + shutil.move()，防止中断导致原文件损坏；
- ✅ 内存友好：逐行读写，不将整个 CSV 加载进内存，适合 GB 级文件；
- ⚠️ 列索引安全：condition_func 中应加入 len(row) > N 防御性检查，避免 IndexError；
- ⚠️ 并发风险：若多进程同时操作同一 CSV，需额外加锁（如 filelock 库），本方案默认单线程安全。
该方法本质是“重写式删除”，虽非真正意义上的磁盘行删除，但在应用层语义上完全等价于“移动 + 删除”，且比就地编辑更可靠、更易调试。配合日志记录或计数器（如统计本次移动行数），即可构建健壮的数据流水线归档机制。
