0

0

深入了解linux系统—— 进程池

雪夜

雪夜

发布时间:2025-07-05 09:14:13

|

815人浏览过

|

来源于php中文网

原创

前言:

本篇博客所涉及到的代码以同步到本人gitee:进程池· 迟来的grown/linux - 码云 - 开源中国

一、池化技术

在之前的学习中,多多少少都听说过池,例如内存池,线程池等等。

那这些池到底是干什么的呢?池又指的是什么呢?

这种思想就好比在vector动态数组扩容一样,是按照2或者1.5倍进行扩容,这样减少开辟空间的开销从而提高效率。

二、进程池原理

我们也了解了进程间通信——管道,可以实现进程之间的通信技术;那现在我们可不可以利用父进程管理所有的子进程,并且让子进程去完成某些任务呢?

深入了解linux系统—— 进程池

那进程池又是什么东西呢?

池化技术是预先创建资源,通过复用来提升系统性能和资源利用率。

这里子进程要执行任务,如果这里父进程要传输信息给子进程时再去创建进程,子进程执行完任务之后就退出;这势必存储非常多的系统调用,而系统调用也是有成本的。那这里我们就可以预先创建多个子进程,让这些子进程等待父进程传输信息;执行完任务后继续等待父进程传输信息。

这样我们预先创建进程,让这些进程执行任务而不是在要执行任务时再创建进程;并且执行完任务的子进程还可以继续完成下一个任务,这样通过复用进程来通过系统性能和进制资源的利用率。

三、进程池实现

了解了进程池原理,现在来看它应该如何去实现:

首先,我们要预先创建一个进程池,并把它管理起来。其次,父进程要通过传输信息来控制子进程完成不同的任务;父进程就要发送信息,子进程就要接受信息并执行任务最后,进程池能够被创建出来,当然也要能够被释放(销毁)。1. 描述进程池

我们要预先创建一个进程池,并且要将它管理起来;那就要像将这个进程池描述出来;如何描述并管理这个进程池呢?

这里我们要实现的本质还是要进行父子进程间通信,要让父进程发信息来控制子进程;

先描述

那站着父进程的角度:

所以就可以设计一个channel类用来描述一个管道文件;那这个类具有哪些属性呢?

wfd:父进程中写端的文件描述符pid:管道文件对应子进程的pid,后续用来回收子进程代码语言:javascript代码运行次数:0运行复制
<code class="javascript">class channel{public:    channel(int wfd, int pid)        : _wfd(wfd), _pid(pid)    {    }    ~channel() {}private:    int _wfd;    int _pid;};</code>

再组织

一个父进程它要创建多个管道文件也就是多个子进程,就要将这些子进程管理起来;

所以,这里可以设计一个channel_manage类来讲管道文件channel管理起来。

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">class channel_manage{public:    channel_manage()    {    }    ~channel_manage()    {    }private:    std::vector<channel> _channels;};</code>

描述进程池

在进程池中,一定是存在上面的组织管道文件channel_manage,因为我们要对其进行管理;

在进程池中还可能存在其他信息:进程负载情况,进程状态等等。

这里就只记录进程的数量。

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">class channel_pool{public:    const int NUM = 5; // 进程池中进程数量    channel_pool()        : _processnum(NUM)    {}    ~channel_pool()    {}private:    channel_manage _cm;    int _processnum;};</code>
2. 初始化进程池

描述出了进程池channel_pool,现在我们能够根据这个channel_pool创建出一个进程池对象,但是创建出来的这个进程池对象里面什么是都没有,一个进程都没有。

所以,我们就要对进程池进行初始化:那如何初始化呢?(这里暂定进程池中进程个数为5个)

简单来说初始化进程池时就要将所有的子进程创建出来,那创建完子进程,子进程应该做什么呢,父进程又该做什么呢?

这里创建子进程就是为了让子进程完成某个任务,所以创建子进程之后(记得关闭不用的文件描述符),就让子进程等待父进程发送信息;在子进程接受到信息之后再去完成任务。而创建完子进程之后,父进程关闭不用的文件描述符,然后就要在_cm中新增一个管道文件channel对象。

channelchannel_manage中,所以channel_manage就要通过新增channel对象的方法。

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">//这里只显示新增方法和成员变量class channel_manage{public:    void _insert(int wfd, int pid)    {        _channels.emplace_back(wfd,pid);    }private:    std::vector<channel> _channels;};class channel_pool{public:    void work(int rfd){};//任务方法    void _init()    {        for(int i = 0;i<_processnum;i++)        {            int fd[2];            int n = pipe(fd);            if(n < 0)            {                std::cerr<<"pipe failed"<<std::endl;                exit(1);            }            //创建子进程            int id = fork();            if(id < 0)            {                std::cerr<<"fork failed"<<std::endl;                exit(1);            }            else if(id == 0)            {                //child                close(fd[1]);//关闭写端                _work(fd[0]);//等到父进程发送信息                close(fd[0]);                exit(1);            }            //parent            close(fd[0]);            //在_cm中新增channel对象            _cm._insert(fd[1],id);        }    }private:    channel_manage _cm;    int _processnum;};</code>
3. 子进程接受信息

完成了上述操作,现在进程池被创建出来,也被初始化了。

这里子进程是直到管道文件的文件描述符的就是fd[0];所以子进程就要在fd[0]文件描述符对应的管道文件中读取数据,然后根据读取到的数据来执行不同的任务。

那父子之间发送什么样的信息呢?

这里就采用一个整数对应一个任务,让父进程发送一个整数给子进程。

子进程读取数据:

中解商务通
中解商务通

实时捕捉 一旦访问者打开您的网站,系统会立即显示,这时您就可以查看用户的信息,如:来自搜索引擎关键词、友情链接或直接访问;访问者的IP地址,所在地区,正在访问哪个网页;以及访问者使用的操作系统、浏览器、显示器屏幕分辨率颜色深度等。 主动出击 变被动为主动,可以主动邀请访问者进行洽谈勾通,帮助客户深入了解您的企业和产品,同时获得对方的采购意向、联系方式等信息。 互动交流 主动销售和在线客服合二为一,

下载
读取数据失败就返回-1;写端退出就返回0;返回值大于0 :表示读取到的实际字节数。(当读取到的字节数不等于4,就表示不是按照int读取的,就指读取到一个位置信息)。代码语言:javascript代码运行次数:0运行复制
<code class="javascript">    void work(int rfd)    {        while (true)        {            int massage = 0;            int n = read(rfd, &massage, sizeof(massage));            if (n < 0)            {                std::cerr << "read failed" << std::endl;                exit(1);            }            else if (n == 0)            {                std::cout << "exit, because write exit" << std::endl;                break;            }            else if (n != 4)            {                std::cout << "unkonw massage : " << massage << std::endl;            }            // 读取成功,执行任务            std::cout << "receive massage : " << massage << std::endl;        }    }</code>
4. 父进程发送信息

实现子进程接受信息,现在来看父进程发送信息;如何发送呢?

这里父进程发送信息无非就以下三个问题:

给哪一个进程发送信息?发送什么信息?如何发送信息?

选择一个进程发送信息

发送什么信息?

如何发送信息

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">class channel{public:    bool _send(int taskcode)    {        int n = write(_wfd, &taskcode, sizeof(taskcode));        if (n < 0)        { // 写入失败            std::cerr << "write failed" << std::endl;            return false;        }        // 写入成功        return true;    }private:    int _wfd;    int _pid;};class channel_manage{public:    channel &select()    {        auto &ret = _channels[_next];        _next++;        _next %= _channels.size();        return ret;    }private:    std::vector<channel> _channels;    int _next = 0;};class channel_pool{public:    void send(int taskcode)    {        // 选择一个进程        auto &c = _cm._select();        // 任务码由上层调用决定        // 发送信息        c._send(taskcode);    }private:    channel_manage _cm;    int _processnum;};</code>

到这里,进程池就可以大致的运行起来了,这里简单测试一下

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">//test.cc#include "channelpool.hpp"int main(){    srand((int)time(nullptr));    channel_pool cp;    cp._init();    cp.Print(); // 输出进程池中的所有进程信息    while (1)    {        int taskcode = rand() % 5;        cp.send(taskcode);        std::cout << std::endl;        sleep(1);    }    return 0;}</code>

深入了解linux系统—— 进程池

进程池也是能够正常运行,子进程也能够接受到父进程发送的信息。

5. 回收进程池资源

做完上述的内容,这里的进程池就大致可以运行起来;

但是现在还缺少一个步骤,那就是回收进程池的资源。

如何回收进程池的资源呢?

首先,要关闭父进程中所有的管道文件的文件描述符。其次就是父进程等待子进程退出,回收子进程。

_wfd文件描述符、_pid子进程pid都封装在channel中;

如何关闭管道文件,如何等待子进程退出,这都要channel来提供。

而我们想要通过进程池对象调用回收函数,那channel_manage也要提供对应的关闭文件和等待子进程退出的函数。

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">class channel{public:    void _close()    {        close(_wfd);    }    void _wait()    {        wait(nullptr);    }private:    int _wfd;    int _pid;};class channel_manage{public:    void _close()    {        for (auto &channel : _channels)        {            channel._close();            std::cout << "关闭管道文件 : " << channel.getname() << std::endl;        }    }    void _wait()    {        for (auto &channel : _channels)        {            channel._wait();            std::cout << "等待子进程退出 : " << channel.getname() << std::endl;        }    }private:    std::vector<channel> _channels;    int _next = 0;};class channel_pool{public:    void _quit()    {        //关闭所有w端文件        _cm._close();        //回收子进程        _cm._wait();    }private:    channel_manage _cm;    int _processnum;};</code>

这里就发送一次信息然后退出,测试一下:

代码语言:javascript代码运行次数:0运行复制
<code class="javascript">//test.cc#include "channelpool.hpp"int main(){    srand((int)time(nullptr));    channel_pool cp;    cp._init();    cp.Print(); // 输出进程池中的所有进程信息    int cnt = 1;    while (cnt--)    {        int taskcode = rand() % 5;        cp.send(taskcode);        std::cout << std::endl;    }    cp._quit();    sleep(10);    return 0;}</code>

深入了解linux系统—— 进程池
四、隐藏的问题

在上述的代码中存在一个隐藏的问题:

现在来看如果这样回收进程池资源:

代码语言:javascript代码运行次数:0运行复制
<code class="javascript"> class channel{public:    void _close()    {        close(_wfd);    }    void _wait()    {        wait(nullptr);    }private:    int _wfd;    int _pid;};class channel_manage{public:    void _quit()    {        for (auto &channel : _channels)        {            channel._close();            std::cout << "关闭管道文件 : " << channel.getname() << std::endl;            channel._wait();            std::cout << "等待子进程退出 : " << channel.getname() << std::endl;        }    }private:    std::vector<channel> _channels;    int _next = 0;};class channel_pool{public:    void _quit()    {        //关闭所有w端文件        _cm._close();        //回收子进程        _cm._wait();    }private:    channel_manage _cm;    int _processnum;};</code>

这样关闭一个写端,等待一个子进程退出。

深入了解linux系统—— 进程池

我们会发现,程序卡到了这里,这是为什么呢?

这样父进程在创建子进程时,这个子进程的文件描述符表中是存储前面创建的管道文件的w端;这样我们调用channel类的_close就只关闭了父进程的w端,在其他进程中还存在管道文件的w端。这样子进程就会阻塞到read出,等待w端关闭,而父进程就等待子进程退出,这样程序就卡在了这样。

深入了解linux系统—— 进程池
而第一个创建的子进程,文件描述符4指向自己的w端,然后被关闭了。第二个创建的子进程,4指向第一个子进程对应管道文件的w端。第三个创建的子进程,4指向第一个子进程管道文件的w端,5指向第二个子进程对应管道文件的w端。…

这样,在回收进程池的资源时,关闭父进程第一个子进程的w端,此时第二、第三…个子进程的文件描述符中都存在第一个子进程对应管道文件的w端。

解决方法:

在回收进程池资源时,从最后一个被创建的子进程开始回收。 因为一个子进程中只存在比自己创建的早的子进程的w端;所以最后一个被创创建的子进程的w端只有父进程存在。 在创建子进程时,关闭比该子进程创建早的子进程的w端。

对于第一种方法这里就不演示了,来看第二种方法

对于第二种方法可能存在疑问:子进程和父进程是同时执行的,那子进程不会把自己的w段关闭吗?那不就同一个文件描述符关闭2次了吗?

实现第二种方法也很简单,只需在创建子进程之后,让子进程调用一次channel_massage_close函数即可。

这里就不演示了。

到这里,本篇文章内容就结束了

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1010

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

611

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

334

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

235

2025.08.29

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

Golang channel原理
Golang channel原理

本专题整合了Golang channel通信相关介绍,阅读专题下面的文章了解更多详细内容。

261

2025.11.14

golang channel相关教程
golang channel相关教程

本专题整合了golang处理channel相关教程,阅读专题下面的文章了解更多详细内容。

351

2025.11.17

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1564

2023.06.21

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
麻省理工大佬Python课程
麻省理工大佬Python课程

共34课时 | 5.5万人学习

【web前端】Node.js快速入门
【web前端】Node.js快速入门

共16课时 | 2.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号