0

0

C++如何实现带依赖关系的任务图执行?(DAG调度引擎)

冰火之心

冰火之心

发布时间:2026-02-24 15:43:45

|

254人浏览过

|

来源于php中文网

原创

用 std::shared_ptr 管理强依赖(如上游结果),std::weak_ptr 管理结构依赖(如前驱边),避免循环引用;拓扑排序需显式计算入度并正确初始化零入度队列;并发读写结果时优先用 std::shared_mutex 提升吞吐;任务执行应走线程池+std::packaged_task,避免频繁创建 std::thread。

c++如何实现带依赖关系的任务图执行?(dag调度引擎)

怎么用 std::shared_ptrstd::weak_ptr 管理任务节点生命周期?

DAG 中节点之间互相引用(比如后继节点存前驱,前驱又存后继),裸指针或 std::unique_ptr 会直接导致循环引用、内存泄漏。必须用 std::shared_ptr 持有“强依赖”关系(如执行时需要访问的上游结果),用 std::weak_ptr 持有“结构依赖”关系(如拓扑排序所需的边)。

  • 节点类里:用 std::vector<:weak_ptr>> predecessors</:weak_ptr> 存前驱,避免增加引用计数
  • 执行逻辑中:调用 lock() 获取临时 std::shared_ptr,检查是否为空再读取结果
  • 错误现象:不加 weak_ptr,整个图构建完后所有节点引用计数 ≥2,析构不触发
  • 示例:
    struct TaskNode {
      std::vector<std::weak_ptr<TaskNode>> predecessors;
      std::function<void()> work;
      std::shared_ptr<std::any> result;
    };
    

拓扑排序失败但没报错?检查入度更新和零入度队列初始化

很多实现卡在“某几个任务永远不启动”,表面看是调度器卡住,实际是拓扑排序阶段漏清入度或重复入队。

  • 初始化时:每个节点的入度必须显式计算,不能靠运行时动态推导;遍历所有边,对 edge.from → edge.to,执行 indegree[edge.to]++
  • 零入度队列:只把入度为 0 的节点 push 进去,且仅一次;不要在循环中反复扫描全部节点找入度 0 的
  • 常见坑:边存储用 std::vector<:pair int>></:pair> 但节点 ID 是指针或 shared_ptr,比较失效导致入度没加对
  • 兼容性注意:如果节点可动态增删,每次变更后必须重算入度,不能复用旧状态

并发执行时结果读取崩溃?std::shared_mutexstd::mutex 更合适

多个下游任务可能同时读同一个上游结果,而上游只写一次。用独占锁会严重串行化读操作。

Img.Upscaler
Img.Upscaler

免费的AI图片放大工具

下载
  • 写结果时(上游执行完):用 std::shared_mutex::lock()
  • 读结果时(下游执行前):用 std::shared_mutex::lock_shared()
  • 错误现象:只用 std::mutex,5 个下游全阻塞在同一个锁上,吞吐掉一半以上
  • 性能影响:实测在 8 核机器上,读多写少场景下,shared_mutex 比普通 mutex 吞吐高 3–4 倍
  • 注意:C++17 起才有 std::shared_mutex;低于 C++17 可用 boost::shared_mutex,但需额外链接

为什么不能直接用 std::thread 拉起任务?优先走线程池 + std::packaged_task

DAG 节点数量可能远超系统线程数,频繁创建/销毁 std::thread 开销大,还容易触发 OS 线程数限制(尤其 Windows 默认 2000 左右)。

立即学习C++免费学习笔记(深入)”;

  • 必须用固定大小线程池,比如用 std::queue<:packaged_task>></:packaged_task> 做任务队列
  • 每个节点包装成 std::packaged_task,投递到池中;完成时通过 std::future 通知下游
  • 容易踩的坑:
    • 把 lambda 直接传给 std::thread,捕获了局部 shared_ptr,线程还没跑完函数就返回,导致悬空
    • 线程池没设最大并发数,突发大量叶子节点触发数百线程,调度反成瓶颈
  • 示例关键片段:
    auto task = std::make_shared<std::packaged_task<void()>>([node]{ node->execute(); });
    pool.enqueue([task]{ (*task)(); });
    

复杂点在于:节点执行时机受上游 completion signal、线程池空闲度、结果读取锁竞争三重影响,任何一环没对齐,就会出现“该跑没跑”或“跑完不通知”。别迷信自动拓扑——得亲手 trace 几个节点的 indegree 变化和 weak_ptr::lock() 返回值。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
edge是什么浏览器
edge是什么浏览器

Edge是一款由Microsoft开发的网页浏览器,是Windows 10操作系统中默认的浏览器,其目标是提供更快、更安全、更现代化的浏览器体验。本专题为大家提供edge浏览器相关的文章、下载、课程内容,供大家免费下载体验。

1596

2023.08.21

IE浏览器自动跳转EDGE如何恢复
IE浏览器自动跳转EDGE如何恢复

ie浏览器自动跳转edge的解决办法:1、更改默认浏览器设置;2、阻止edge浏览器的自动跳转;3、更改超链接的默认打开方式;4、禁用“快速网页查看器”;5、卸载edge浏览器;6、检查第三方插件或应用程序等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

393

2024.03.05

如何解决Edge打开但没有标题的问题
如何解决Edge打开但没有标题的问题

若 Microsoft Edge 浏览器打开后无标题(窗口空白或标题栏缺失),可尝试以下方法解决: 重启 Edge:关闭所有窗口,重新启动浏览器。 重置窗口布局:右击任务栏 Edge 图标 → 选择「最大化」或「还原」。 禁用扩展:进入 edge://extensions 临时关闭插件测试。 重置浏览器设置:前往 edge://settings/reset 恢复默认配置。 更新或重装 Edge:检查最新版本,或通过控制面板修复

1006

2025.04.24

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

850

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

581

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

294

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

210

2025.08.29

javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

183

2023.11.23

Golang 运行与部署实战:从本地到云端
Golang 运行与部署实战:从本地到云端

《Golang 运行与部署实战》围绕 Go 应用从开发完成到稳定上线的完整流程展开,系统讲解编译构建、环境配置、日志与配置管理、容器化部署以及常见运维问题处理。结合真实项目场景,拆解自动化构建与持续部署思路,帮助开发者建立可靠的发布流程,提升服务稳定性与可维护性。

1

2026.02.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.1万人学习

C 教程
C 教程

共75课时 | 4.9万人学习

C++教程
C++教程

共115课时 | 19.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号