0

0

如何安全高效地逐行迁移文本文件内容

心靈之曲

心靈之曲

发布时间:2025-12-27 11:14:16

|

809人浏览过

|

来源于php中文网

原创

如何安全高效地逐行迁移文本文件内容

本文介绍一种安全、高效的文件行迁移方案,解决原代码因频繁打开/关闭文件及错误循环条件导致的程序冻结问题,并提供更优的二进制流式处理方法。

原始代码存在多个关键缺陷:首先,while range(len(lines)) != 0 是逻辑错误——range(n) 永远不等于 0,导致无限循环;其次,每次迭代都重复打开/读取/重写 file1.txt,不仅性能极差,还极易因文件句柄未正确关闭或读写竞争引发异常(如 Windows 下的“Permission denied”);最后,逐行操作在大文件场景下 I/O 开销巨大,且未处理空行、编码异常、文件不存在等边界情况。

更合理的设计应遵循 “一次打开、流式处理、原子操作” 原则。若目标仅为完整迁移(非严格逐行实时处理),推荐使用标准库 shutil.copyfile() 或 shutil.move():

import shutil

# 一行完成复制 + 清空源文件(等效于“迁移”)
shutil.copyfile("file1.txt", "file2.txt")
with open("file1.txt", "w", encoding="utf-8-sig") as f:
    pass  # 清空文件

但若需严格按行迁移(例如需在每行处理后插入日志、校验或暂停),应避免反复读写源文件。以下为健壮的纯 Python 实现(无需额外导入):

企业网站管理系统YothCMS 1.0 修正版
企业网站管理系统YothCMS 1.0 修正版

YothCMS是由 石家庄优斯科技有限公司开发的一套完全开源建站系统,主要面向企业进行快速的建造简洁,高效,易用,安全的公司企业网门户站,稍具技术的开发人员就能够使用本系统以最低的成本、最少的人力投入在最短的时间内架设一个功能齐全、性能优越的公司企业网站。YothCMS是基于ASP+Access开发的一款轻巧高效的网站内容管理系统,提供了新闻管理模块,产品管理模块,文件管理模块。在使用过程中可以轻

下载
SOURCE = "file1.txt"
TARGET = "file2.txt"

# 1. 先读取全部内容(适用于中小文件)
try:
    with open(SOURCE, "r", encoding="utf-8-sig") as src:
        lines = src.readlines()
except FileNotFoundError:
    print(f"源文件 {SOURCE} 不存在")
    exit(1)

# 2. 追加写入目标文件
with open(TARGET, "a", encoding="utf-8-sig") as tgt:
    for line in lines:
        tgt.write(line)

# 3. 安全清空源文件(替代逐行删除)
with open(SOURCE, "w", encoding="utf-8-sig") as src:
    pass  # 立即截断为零长度

⚠️ 重要注意事项

  • 大文件慎用 readlines():若文件超百 MB,建议改用流式分块处理(如答案中提供的二进制 read(CHUNK) 方案),避免内存溢出;
  • 编码一致性:显式指定 encoding="utf-8-sig" 可兼容带 BOM 的 UTF-8 文件,但二进制模式("rb"/"wb")完全规避编码问题,适合无格式迁移;
  • 原子性保障:清空源文件前确保目标写入成功(可添加 try/except 和临时文件备份);
  • 权限与锁:在多进程环境,需考虑文件锁(如 portalocker 库),但本例单线程无需额外处理。

总结:优先使用 shutil 等成熟工具;自定义实现时,务必减少文件 I/O 次数、验证输入、明确资源生命周期——这才是避免“程序冻结”的根本之道。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

104

2023.09.25

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1410

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1161

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

832

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

461

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2361

2023.08.08

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

1

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号