0

0

Python 中实现“每个进程绑定 N 个 CPU 核心”的多进程调度方案

聖光之護

聖光之護

发布时间:2026-01-16 21:35:01

|

656人浏览过

|

来源于php中文网

原创

Python 中实现“每个进程绑定 N 个 CPU 核心”的多进程调度方案

python 的 `multiprocessing.pool` 本身不支持直接指定“每进程分配 n 个 cpu 核心”,但可通过合理计算进程数、结合 `psutil` 或 `os.sched_setaffinity` 手动绑定 cpu 核心,实现近似效果。本文详解原理、安全计算方式与实用示例。

标准 multiprocessing.Pool 的第一个参数 processes 表示启动的进程数量,而非对每个进程的资源配额。操作系统负责将这些进程调度到可用核心上,但默认不保证独占或绑定——这意味着多个进程可能竞争同一核心,导致实际并行度下降或 NUMA 不均衡。

要实现“每个工作进程独占 N 个核心”的语义(即软性资源隔离),关键在于两点:

  1. 控制总进程数,确保 总核心数 ≥ 进程数 × N;
  2. 在子进程中显式绑定 CPU 亲和性(CPU affinity),防止 OS 调度器跨核迁移。

✅ 正确做法示例(推荐使用 psutil + multiprocessing.Pool 初始化):

Pokecut
Pokecut

AI图片编辑处理工具,拥有超过50多种AI功能

下载
import multiprocessing as mp
import psutil
import os

def worker_init(n_cores_per_worker: int):
    """子进程初始化:绑定当前进程到 n_cores_per_worker 个空闲核心"""
    # 获取所有逻辑核心索引
    all_cores = list(range(psutil.cpu_count(logical=True)))
    # 简单策略:按进程 ID 分片(需配合固定进程数)
    pid = os.getpid()
    core_start = (pid % (len(all_cores) // n_cores_per_worker)) * n_cores_per_worker
    assigned_cores = all_cores[core_start : core_start + n_cores_per_worker]

    # 绑定(仅 Linux/macOS;Windows 需用其他方式如 job objects)
    try:
        psutil.Process().cpu_affinity(assigned_cores)
    except (NotImplementedError, AttributeError):
        pass  # Windows 不支持或未安装 psutil

def func(x):
    return x ** 2

if __name__ == "__main__":
    TOTAL_CORES = psutil.cpu_count(logical=True)  # 例如 16
    N_CORES_PER_PROCESS = 2
    RESERVED_CORES = 2  # 为主进程等预留核心(可设为 0)

    # 安全计算最大工作进程数:向下取整,避免超订
    max_workers = max(1, (TOTAL_CORES - RESERVED_CORES) // N_CORES_PER_PROCESS)

    with mp.Pool(
        processes=max_workers,
        initializer=worker_init,
        initargs=(N_CORES_PER_PROCESS,)
    ) as pool:
        results = pool.map(func, range(10000))

    print(f"Using {max_workers} workers, each bound to {N_CORES_PER_PROCESS} cores.")

⚠️ 注意事项:

立即学习Python免费学习笔记(深入)”;

  • cpu_affinity() 仅在 Linux/macOS 且 psutil ≥ 5.7.0 下可靠生效;Windows 上需借助 win32process.SetProcessAffinityMask(需 pywin32)或进程组管理。
  • 绑定核心前建议调用 psutil.cpu_count(logical=False) 获取物理核心数,避免超线程干扰(尤其对 CPU 密集型任务)。
  • 若任务本身是 Python 多线程(如含 threading 或 concurrent.futures.ThreadPoolExecutor),需额外注意 GIL 与线程调度冲突,此时更推荐纯进程级隔离。
  • multiprocessing.Pool 不提供原生“N 核/进程”接口,所谓 cool_new_pool 是概念抽象,真实工程中应通过组合控制(进程数 + 亲和性 + 资源预估)达成目标。

? 总结:没有银弹,但有稳健解法。核心逻辑是——用数学约束进程数,用系统调用约束调度行为。只要明确硬件资源边界、预留余量、并在子进程启动时固化 CPU 亲和性,即可在 Python 生态中高效模拟“N 核每进程”的并行模型。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1848

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

614

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2357

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

763

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

376

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

27

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

28

2026.01.21

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

44

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.3万人学习

Git 教程
Git 教程

共21课时 | 4.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号