博客
关于我
ForkJoinPool的工作原理和使用
阅读量:422 次
发布时间:2019-03-06

本文共 1524 字,大约阅读时间需要 5 分钟。

ForkJoinPool是一种线程池,它通过将大任务拆分成多个小任务来提高执行效率。在实际应用中,尤其当任务数量众多或单个任务执行时间较长时,拆分任务是非常重要的优化策略。

以下是一个简单的例子来说明ForkJoinPool的工作原理:

初始化一个ForkJoinPool:

static ForkJoinPool pool = new ForkJoinPool(3, ForkJoinPool.defaultForkJoinWorkerThreadFactory, null, true);

创建一个模拟网站的数据集合:

static ArrayList
list = new ArrayList<>();list.add("www.baidu.com");// 添加更多测试数据

通过ForkJoinTask提交任务:

ForkJoinTask
task = pool.submit(new Work(list, 0, list.size()));System.out.println(task.get());

实现拆分逻辑的RecursiveTask:

static class Work extends RecursiveTask
{ List
list; int start; int end; Work(List
list, int start, int end) { this.list = list; this.start = start; this.end = end; } @Override protected String compute() { int count = end - start; if (count <= 10) { for (int i = start; i < end; i++) { result += doRequest(list.get(i), i); } } else { ForkJoinTask
task1 = submit(task, start, start + 5); ForkJoinTask
task2 = submit(task, start + 5, end); return compute(task1).concat(compute(task2)); } return result; }}

执行逻辑分为三个主要步骤:

  • 任务拆分:当任务规模较大时,ForkJoinPool会将其拆分成多个小任务。每个小任务通常处理10个或更少的元素,以确保拆分后的任务规模适中。

  • 任务执行:拆分后的小任务会被分配到ForkJoinPool中的工作线程执行。每个工作线程独立处理其任务,并使用RecursiveTask的compute方法进行递归执行。

  • 结果合并:执行完成后,每个小任务的结果会被合并到一个最终的结果中。ForkJoinPool确保结果合并的顺序与任务执行顺序一致。

  • 通过这种方式,ForkJoinPool能够高效地处理大量任务或大任务,显著提升整体执行效率。

    转载地址:http://uoiuz.baihongyu.com/

    你可能感兴趣的文章
    Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
    查看>>
    NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
    查看>>
    NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
    查看>>
    NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
    查看>>
    NIH发布包含10600张CT图像数据库 为AI算法测试铺路
    查看>>
    NIO ByteBuffer实现原理
    查看>>
    Nio ByteBuffer组件读写指针切换原理与常用方法
    查看>>
    NIO Selector实现原理
    查看>>
    nio 中channel和buffer的基本使用
    查看>>
    NIO基于UDP协议的网络编程
    查看>>
    NISP一级,NISP二级报考说明,零基础入门到精通,收藏这篇就够了
    查看>>
    Nitrux 3.8 发布!性能全面提升,带来非凡体验
    查看>>
    NI笔试——大数加法
    查看>>
    NLog 自定义字段 写入 oracle
    查看>>
    NLP 基于kashgari和BERT实现中文命名实体识别(NER)
    查看>>
    NLP 项目:维基百科文章爬虫和分类【01】 - 语料库阅读器
    查看>>
    NLP_什么是统计语言模型_条件概率的链式法则_n元统计语言模型_马尔科夫链_数据稀疏(出现了词库中没有的词)_统计语言模型的平滑策略---人工智能工作笔记0035
    查看>>
    NLP学习笔记:使用 Python 进行NLTK
    查看>>
    NLP问答系统:使用 Deepset SQUAD 和 SQuAD v2 度量评估
    查看>>