0

0

如何在Java中使用ForkJoinTask处理海量数据累加_RecursiveTask与RecursiveAction拆分实战

P粉602998670

P粉602998670

发布时间:2026-03-16 14:36:12

|

316人浏览过

|

来源于php中文网

原创

累加计算必须用RecursiveTask,因其返回结果;RecursiveAction无返回值,无法获取累加结果。阈值宜设1000~5000,优先用commonPool(),避免subList并发问题。

如何在java中使用forkjointask处理海量数据累加_recursivetask与recursiveaction拆分实战

RecursiveTask vs RecursiveAction:选错就白忙活

累加计算必须用 RecursiveTask,不是因为“看起来更高级”,而是它返回结果——RecursiveAction 不返回任何值,强行在 compute() 里写 return sum 会编译失败。常见错误是照着并行遍历例子抄,把累加逻辑塞进 RecursiveAction,最后发现主线程根本拿不到结果。

  • RecursiveTask<Long>:适用于需要汇总子任务结果的场景(如求和、最大值、计数)
  • RecursiveAction:只做副作用操作,比如批量更新数据库、写文件、打日志
  • 泛型类型必须和 compute() 返回值严格一致,return (int)sumRecursiveTask<Long> 会触发类型擦除陷阱,运行时可能抛 ClassCastException

拆分阈值(threshold)设多少才不拖慢性能

阈值不是越大越好,也不是越小越好。设成 1 意味着每个数字都新建一个子任务,线程调度开销压倒计算收益;设成 100 万又退化成单线程遍历。实测在 JDK 8–17、普通服务器上,对纯数值累加,阈值取 1000 ~ 5000 区间最稳。

  • 数据局部性好(如数组连续内存)→ 阈值可稍大(5000
  • 数据分散或含对象引用(如 List<BigDecimal>)→ 阈值建议 1000 起步
  • ForkJoinPool.commonPool().getParallelism() 查当前并行度,阈值应 ≈ 总数据量 ÷ 并行度 × 2~3,避免大量空闲线程等任务

别直接 new ForkJoinPool():commonPool 够用且省心

90% 的累加场景用 ForkJoinPool.commonPool() 就行。自己 new ForkJoinPool(4) 看似可控,实际容易踩两个坑:一是忘记 shutdown() 导致线程泄漏;二是并行度设错,比如设成 1 却以为能并发。

  • 除非要隔离任务(比如后台统计不能影响 HTTP 请求线程池),否则不要自建池
  • 修改 commonPool 并行度要用系统属性:-Djava.util.concurrent.ForkJoinPool.common.parallelism=8,代码里调 setParallelism() 无效
  • invoke() 启动任务,别用 fork()/join() 手动管理,后者易漏 join() 导致结果丢失

数组切片别用 subList:ArrayList.subList() 是假切片

ArrayListsubList(start, end) 返回的是视图,底层仍指向原数组——多个子任务并发修改会冲突;更糟的是,如果原列表后续被扩容,所有 subList 实例瞬间失效,抛 ConcurrentModificationException

社研通
社研通

文科研究生的学术加速器

下载

立即学习Java免费学习笔记(深入)”;

  • 正确做法:传原始数组 + left/right 下标,累加时用 for (int i = left; i
  • 若必须用集合,先转成数组:Long[] arr = list.toArray(new Long[0]),再按索引切
  • 千万别在 compute() 里反复调 list.size()——它可能被其他线程改,结果非预期

递归拆分本身不难,难的是边界判断和数据结构选择。数组下标越界、共享集合被并发修改、阈值误设成常量 1——这些地方一松懈,跑出来的结果要么错,要么比单线程还慢。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1071

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

617

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

335

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

235

2025.08.29

treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

550

2023.12.01

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

30

2025.12.22

深入理解算法:高效算法与数据结构专题
深入理解算法:高效算法与数据结构专题

本专题专注于算法与数据结构的核心概念,适合想深入理解并提升编程能力的开发者。专题内容包括常见数据结构的实现与应用,如数组、链表、栈、队列、哈希表、树、图等;以及高效的排序算法、搜索算法、动态规划等经典算法。通过详细的讲解与复杂度分析,帮助开发者不仅能熟练运用这些基础知识,还能在实际编程中优化性能,提高代码的执行效率。本专题适合准备面试的开发者,也适合希望提高算法思维的编程爱好者。

45

2026.01.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

4

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.5万人学习

C# 教程
C# 教程

共94课时 | 11.5万人学习

Java 教程
Java 教程

共578课时 | 83.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号