0

0

Python多线程调用同一个函数_Python多线程共享函数调用安全方法

煙雲

煙雲

发布时间:2026-01-22 20:03:09

|

264人浏览过

|

来源于php中文网

原创

函数本身线程安全,但访问共享可变状态(如全局变量、类属性)会导致竞态;需用Lock同步、threading.local隔离或避免共享。

python多线程调用同一个函数_python多线程共享函数调用安全方法

多线程调用同一个函数本身是安全的,但函数内部操作可能不安全

Python 中,多个线程调用同一个函数(比如 def process_data(x): return x * 2)完全没问题——函数对象是不可变的,代码段共享无冲突。真正出问题的是函数里访问了**共享可变状态**:全局变量、类实例属性、模块级缓存、文件句柄等。这时候不加控制就会出现竞态条件,比如计数器漏加、字典写入覆盖、列表 append 错乱。

常见错误现象:counter 本该从 0 加到 100,最后却是 87;results.append(item) 后发现 len(results) 小于预期;日志里同一时间打出两条“开始处理”,但只有一条“处理完成”。

  • 纯计算型函数(无副作用、不读写外部状态)天然线程安全,无需额外措施
  • 只要函数内修改了任何跨线程可见的变量,就必须考虑同步
  • threading.local() 可为每个线程提供独立副本,适合保存上下文数据(如请求 ID、数据库连接)

用 threading.Lock 保护临界区是最直接的方案

当必须读写共享资源(如全局列表、计数器、配置字典)时,threading.Lock 是最常用也最易理解的同步机制。它确保同一时刻只有一个线程能执行被包裹的代码块。

import threading

counter = 0 lock = threading.Lock()

def increment(): global counter with lock: # 进入临界区 temp = counter counter = temp + 1 # 模拟非原子操作

注意:锁必须作用在所有访问该资源的地方,包括读和写;否则只锁写不锁读,仍可能读到中间状态。另外,避免在锁内做耗时操作(如网络请求、大文件读写),否则会严重拖慢其他线程。

立即学习Python免费学习笔记(深入)”;

  • 不要用 lock.acquire() + try/finally 手动释放——容易遗漏 release(),优先用 with lock:
  • 嵌套加锁可能导致死锁,尤其在调用链深、锁粒度粗时;尽量缩小临界区范围
  • 如果只是读多写少,可考虑 threading.RLock(可重入锁),但多数场景 Lock 更轻量

避免共享状态才是更健壮的解法

比起给处处加锁,更好的思路是让线程之间根本不共享可变数据。这往往意味着重构函数签名或调用方式。

多墨智能
多墨智能

多墨智能 - AI 驱动的创意工作流写作工具

下载

例如,把依赖全局 config_dict 的函数改成显式传参:process(item, config);把往全局 results 列表追加结果,改为每个线程返回独立结果,由主线程合并。

  • 使用 concurrent.futures.ThreadPoolExecutor.map() 时,函数应设计为纯函数,返回值由 executor 自动收集
  • 若需中间状态,可用 threading.local() 创建线程私有存储:local_data = threading.local(),然后在线程内设 local_data.cache = {}
  • 对简单聚合(如求和、计数),可用 queue.Queue 替代全局变量:各线程 put 结果,主线程 get 并累加

asyncio 不等于多线程,混用容易踩坑

看到“并发”就下意识用多线程,常忽略 Python 的 GIL 和实际 I/O 特性。CPU 密集任务用多线程收益极低;而真正耗时的网络/磁盘操作,用 asyncio + await 通常更高效、更易管理共享状态(因为协程在单线程内切换,没有真正的并行,很多竞争问题自然消失)。

但要注意:一旦在 async 函数里调用了阻塞式库(如旧版 requeststime.sleep),或误把 threading.Lock 用在协程中(它不是 awaitable),就会卡住整个事件循环。

  • CPU 密集型任务优先考虑 multiprocessing,而非 threading
  • 需要线程安全又想用 async?把阻塞调用用 loop.run_in_executor() 托管给线程池
  • asyncio.Lock 是协程友好的锁,用于 await lock.acquire() 场景,不能和 threading.Lock 混用

函数是否线程安全,从来不由“被调用多少次”决定,而取决于它是否碰了共享可变状态。最容易被忽略的,是那些看起来“只读”的操作——比如对一个全局字典做 if key in shared_dict:shared_dict[key] = value,这其实是典型的检查后赋值(check-then-act)竞态,中间可能已被其他线程删掉该 key。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

772

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

661

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

764

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

679

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1345

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

549

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

730

2023.08.11

菜鸟裹裹入口以及教程汇总
菜鸟裹裹入口以及教程汇总

本专题整合了菜鸟裹裹入口地址及教程分享,阅读专题下面的文章了解更多详细内容。

0

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 13万人学习

Django 教程
Django 教程

共28课时 | 3.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号