Python怎么获取CPU核心数_os与multiprocessing获取CPU核心数

Python中获取CPU核心数主要用os.cpu_count()和multiprocessing.cpu_count()，后者更可靠，建议优先使用。

Python获取CPU核心数，主要通过

os

multiprocessing

os.cpu_count()

multiprocessing.cpu_count()

os模块获取CPU核心数和multiprocessing模块获取CPU核心数。

为什么需要知道CPU核心数？

知道CPU核心数，可以帮助我们更好地进行并行计算，充分利用CPU资源，提高程序运行效率。比如，在处理大量数据时，可以将任务分配到多个核心上同时进行，缩短处理时间。这在数据分析、机器学习等领域尤为重要。

os.cpu_count()

和

multiprocessing.cpu_count()

的区别

虽然这两个函数都能获取CPU核心数，但它们在实现方式和适用场景上有所不同。

立即学习“Python免费学习笔记（深入）”；

• os.cpu_count()

  ：这个函数通常依赖于操作系统提供的接口来获取CPU核心数。在某些情况下，如果操作系统无法提供准确的信息，它可能会返回

  None

  。

• multiprocessing.cpu_count()

  ：这个函数通常更加可靠，它会尝试多种方法来获取CPU核心数，包括读取系统文件、调用系统API等。即使在

  os.cpu_count()

  返回

  None

  的情况下，它也可能返回正确的结果。

实际上，在大多数情况下，这两个函数返回的结果是一样的。但是，为了确保程序的健壮性，建议优先使用

multiprocessing.cpu_count()

import os
import multiprocessing

cpu_count_os = os.cpu_count()
cpu_count_mp = multiprocessing.cpu_count()

print(f"os.cpu_count(): {cpu_count_os}")
print(f"multiprocessing.cpu_count(): {cpu_count_mp}")

# 示例：如果os.cpu_count()返回None，则使用multiprocessing.cpu_count()
if cpu_count_os is None:
    cpu_count = multiprocessing.cpu_count()
    print(f"os.cpu_count()返回None，使用multiprocessing.cpu_count(): {cpu_count}")
else:
    cpu_count = cpu_count_os
    print(f"最终使用的CPU核心数: {cpu_count}")

如何利用CPU核心数进行并行计算？

知道了CPU核心数，就可以利用它来进行并行计算，提高程序的运行效率。Python提供了

multiprocessing

MiniMax Agent

MiniMax平台推出的Agent智能体助手

下载

import multiprocessing
import time

def worker(num):
    """工作进程函数"""
    print(f"Worker {num} started")
    time.sleep(2)  # 模拟耗时操作
    print(f"Worker {num} finished")

if __name__ == "__main__":
    start_time = time.time()
    num_cores = multiprocessing.cpu_count()
    print(f"CPU核心数: {num_cores}")

    processes = []
    for i in range(num_cores):
        p = multiprocessing.Process(target=worker, args=(i,))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

    end_time = time.time()
    print(f"所有进程完成，耗时: {end_time - start_time:.2f}秒")

这段代码创建了多个进程，每个进程执行

worker

worker

遇到

os.cpu_count()

返回

None

怎么办？

正如前面提到的，

os.cpu_count()

None

1. 使用

   multiprocessing.cpu_count()

   ： 这是最简单也是最推荐的方法。

   multiprocessing.cpu_count()

   通常更加可靠，即使

   os.cpu_count()

   返回

   None

   ，它也可能返回正确的结果。

2. 读取系统文件： 在Linux系统中，可以尝试读取

   /proc/cpuinfo

   文件来获取CPU核心数。

   def get_cpu_count_from_proc():
       """从/proc/cpuinfo获取CPU核心数"""
       try:
           with open('/proc/cpuinfo') as f:
               cpu_info = f.readlines()
           count = 0
           for line in cpu_info:
               if 'processor' in line:
                   count += 1
           return count
       except FileNotFoundError:
           return None
   
   cpu_count = get_cpu_count_from_proc()
   if cpu_count is not None:
       print(f"从/proc/cpuinfo获取的CPU核心数: {cpu_count}")
   else:
       print("无法获取CPU核心数")

   这种方法只适用于Linux系统，并且需要读取文件的权限。

3. 使用第三方库： 有一些第三方库，比如

   psutil

   ，也可以用来获取CPU核心数。

   import psutil
   
   cpu_count = psutil.cpu_count(logical=False)  # 获取物理核心数
   print(f"使用psutil获取的CPU物理核心数: {cpu_count}")
   
   cpu_count_logical = psutil.cpu_count(logical=True)  # 获取逻辑核心数
   print(f"使用psutil获取的CPU逻辑核心数: {cpu_count_logical}")

   psutil

   提供了更多的CPU信息，比如物理核心数、逻辑核心数等。

总的来说，获取CPU核心数是一个相对简单的问题，但需要注意一些细节，以确保程序的健壮性和可靠性。优先使用

multiprocessing.cpu_count()