taskflow

taskflow

现代C++并行和异构任务编程库Taskflow

Taskflow是一个C++任务编程库,专注于并行和异构计算。它通过简洁的API支持静态和动态任务图构建、条件执行和GPU加速。Taskflow提供可视化和分析工具,有助于程序优化。该库在性能和可扩展性方面表现优异,适用于各类并行计算场景,已在学术和工业项目中得到应用。

Taskflow并行编程任务图异步编程GPU加速Github开源项目

Taskflow <img align="right" width="10%" src="https://yellow-cdn.veclightyear.com/2b54e442/87170130-10b6-46d0-8dda-cbf48c1546dc.png">

<!--[![Linux 构建状态](https://travis-ci.com/taskflow/taskflow.svg?branch=master)](https://travis-ci.com/taskflow/taskflow)-->

Ubuntu macOS Windows 维基 TFProf 引用

Taskflow 帮助您使用现代 C++ 快速编写并行和异构任务程序

为什么选择 Taskflow?

在处理复杂的并行工作负载时,Taskflow 比许多现有的任务编程框架更快、更具表现力,并且更容易集成。

Taskflow 让您能够快速实现任务分解策略,结合了常规和不规则的计算模式,并配合高效的工作窃取调度器来优化您的多线程性能。

静态任务子流任务
<img align="right" src="https://yellow-cdn.veclightyear.com/2b54e442/6dbd64d7-b086-4d9b-9b96-4519b4274dde.svg" width="100%">

Taskflow 支持条件任务,让您能够在相互依赖的任务之间快速做出控制流决策,实现循环和条件,这在使用现有工具时往往很难实现。

条件任务

Taskflow 可组合。您可以通过组合模块化和可重用的块来创建大型并行图,这些块在单独的范围内更容易优化。

Taskflow 组合

Taskflow 支持异构任务,让您能够利用 CPU-GPU 协同计算的能力来加速各种科学计算应用。

并发 CPU-GPU 任务

Taskflow 提供了用于分析 Taskflow 程序所需的可视化和工具。

Taskflow 分析器

我们致力于为并行计算领域的学术和工业研究项目提供可信赖的开发支持。查看谁在使用 Taskflow以及用户对我们的评价:

查看快速演示并访问文档以了解更多关于 Taskflow 的信息。 技术细节可参考我们的 [IEEE TPDS 论文][TPDS21]。

开始您的第一个 Taskflow 程序

以下程序(simple.cpp)创建了四个任务 ABCD,其中 ABC 之前运行,DBC 之后运行。 当 A 完成时,BC 可以并行运行。 在 Compiler Explorer (godbolt) 上实时尝试!

#include <taskflow/taskflow.hpp> // Taskflow 是仅头文件的库 int main(){ tf::Executor executor; tf::Taskflow taskflow; auto [A, B, C, D] = taskflow.emplace( // 创建四个任务 [] () { std::cout << "TaskA\n"; }, [] () { std::cout << "TaskB\n"; }, [] () { std::cout << "TaskC\n"; }, [] () { std::cout << "TaskD\n"; } ); A.precede(B, C); // A 在 B 和 C 之前运行 D.succeed(B, C); // D 在 B 和 C 之后运行 executor.run(taskflow).wait(); return 0; }

Taskflow 是仅头文件的库,无需安装。 要编译程序,请克隆 Taskflow 项目并 告诉编译器包含 头文件

~$ git clone https://github.com/taskflow/taskflow.git # 只需克隆一次 ~$ g++ -std=c++20 examples/simple.cpp -I. -O2 -pthread -o simple ~$ ./simple TaskA TaskC TaskB TaskD

可视化您的第一个 Taskflow 程序

Taskflow 自带一个内置的分析器, TFProf, 让您能够在易于使用的基于 Web 的界面中分析和可视化 taskflow 程序。

# 运行程序时启用环境变量 TF_ENABLE_PROFILER ~$ TF_ENABLE_PROFILER=simple.json ./simple ~$ cat simple.json [ {"executor":"0","data":[{"worker":0,"level":0,"data":[{"span":[172,186],"name":"0_0","type":"static"},{"span":[187,189],"name":"0_1","type":"static"}]},{"worker":2,"level":0,"data":[{"span":[93,164],"name":"2_0","type":"static"},{"span":[170,179],"name":"2_1","type":"static"}]}]} ] # 将分析 json 数据粘贴到 https://taskflow.github.io/tfprof/

除了执行图外,您还可以将图导出为 DOT 格式, 并使用多个免费的 GraphViz 工具进行可视化。

// 通过 std::cout 将 taskflow 图导出为 DOT 格式
taskflow.dump(std::cout); 
<p align="center"><img src="https://yellow-cdn.veclightyear.com/2b54e442/963e5186-2725-4cd3-a965-0613aeb9fa35.svg"></p>

表达任务图并行性

Taskflow 为用户提供了静态和动态任务图构建能力, 使其能够在嵌入图内控制流的任务图中表达端到端的并行性。

  1. 创建子流图
  2. 在任务图中集成控制流
  3. 将任务卸载到 GPU
  4. 组合任务图
  5. 启动异步任务
  6. 执行 Taskflow
  7. 利用标准并行算法

创建子流图

Taskflow 支持动态任务,让您可以从任务的执行中创建子流图 以实现动态并行性。 以下程序在任务 B 中生成一个任务依赖图。

tf::Task A = taskflow.emplace([](){}).name("A"); tf::Task C = taskflow.emplace([](){}).name("C"); tf::Task D = taskflow.emplace([](){}).name("D"); tf::Task B = taskflow.emplace([] (tf::Subflow& subflow) { tf::Task B1 = subflow.emplace([](){}).name("B1"); tf::Task B2 = subflow.emplace([](){}).name("B2"); tf::Task B3 = subflow.emplace([](){}).name("B3"); B3.succeed(B1, B2); // B3 在 B1 和 B2 之后运行 }).name("B"); A.precede(B, C); // A 在 B 和 C 之前运行 D.succeed(B, C); // D 在 B 和 C 之后运行
<p align="center"><img src="https://yellow-cdn.veclightyear.com/2b54e442/a64857c1-9b3e-4b43-9522-367e41dd5bdd.svg"></p>

在任务图中集成控制流

Taskflow 支持条件任务,让您能够在相互依赖的任务之间 快速做出控制流决策,以在端到端任务图中实现循环 和条件。

tf::Task init = taskflow.emplace([](){}).name("init"); tf::Task stop = taskflow.emplace([](){}).name("stop"); // 创建一个返回随机二进制值的条件任务 tf::Task cond = taskflow.emplace( [](){ return std::rand() % 2; } ).name("cond"); init.precede(cond); // 创建一个反馈循环 {0: cond, 1: stop} cond.precede(cond, stop);
<p align="center"><img src="https://yellow-cdn.veclightyear.com/2b54e442/bcee6a89-ab4f-4257-89c1-c0bd4518c8ad.svg"></p>

将任务卸载到 GPU

Taskflow 支持 GPU 任务,让您能够利用 CPU-GPU 协同计算的能力,使用 CUDA 加速各种科学计算应用。

__global__ void saxpy(size_t N, float alpha, float* dx, float* dy) { int i = blockIdx.x*blockDim.x + threadIdx.x; if (i < n) { y[i] = a*x[i] + y[i]; } } tf::Task cudaflow = taskflow.emplace([&](tf::cudaFlow& cf) { // 数据复制任务 tf::cudaTask h2d_x = cf.copy(dx, hx.data(), N).name("h2d_x"); tf::cudaTask h2d_y = cf.copy(dy, hy.data(), N).name("h2d_y"); tf::cudaTask d2h_x = cf.copy(hx.data(), dx, N).name("d2h_x"); tf::cudaTask d2h_y = cf.copy(hy.data(), dy, N).name("d2h_y"); // 带有启动 saxpy 内核参数的内核任务 tf::cudaTask saxpy = cf.kernel( (N+255)/256, 256, 0, saxpy, N, 2.0f, dx, dy ).name("saxpy"); saxpy.succee <p align="center"><img src="https://yellow-cdn.veclightyear.com/2b54e442/776d5f51-defc-4154-bdfa-61c85b1c7379.svg"></p> ## 启动异步任务 Taskflow 支持*异步*任务。 您可以异步启动任务以动态探索任务图并行性。 ```cpp tf::Executor executor; // 直接从执行器创建异步任务 std::future<int> future = executor.async([](){ std::cout << "异步任务返回1\n"; return 1; }); executor.silent_async([](){ std::cout << "异步任务不返回\n"; }); // 创建具有动态依赖关系的异步任务 tf::AsyncTask A = executor.silent_dependent_async([](){ printf("A\n"); }); tf::AsyncTask B = executor.silent_dependent_async([](){ printf("B\n"); }, A); tf::AsyncTask C = executor.silent_dependent_async([](){ printf("C\n"); }, A); tf::AsyncTask D = executor.silent_dependent_async([](){ printf("D\n"); }, B, C); executor.wait_for_all();

执行 Taskflow

执行器提供了几种线程安全的方法来运行 taskflow。 您可以运行一次 taskflow、多次运行或直到满足停止条件为止。 这些方法是非阻塞的,返回 tf::Future<void> 让您查询执行状态。

// 运行 taskflow 一次 tf::Future<void> run_once = executor.run(taskflow); // 等待此次运行完成 run_once.get(); // 运行 taskflow 四次 executor.run_n(taskflow, 4); // 运行 taskflow 五次 executor.run_until(taskflow, [counter=5](){ return --counter == 0; }); // 阻塞执行器直到所有提交的 taskflow 完成 executor.wait_for_all();

利用标准并行算法

Taskflow 定义了算法,让您可以使用标准 C++ 语法快速表达常见的并行模式, 例如并行迭代、并行归约和并行排序。

// 标准并行 CPU 算法 tf::Task task1 = taskflow.for_each( // 并行将每个元素赋值为100 first, last, [] (auto& i) { i = 100; } ); tf::Task task2 = taskflow.reduce( // 并行归约一系列项 first, last, init, [] (auto a, auto b) { return a + b; } ); tf::Task task3 = taskflow.sort( // 并行排序一系列项 first, last, [] (auto a, auto b) { return a < b; } ); // 标准并行 GPU 算法 tf::cudaTask cuda1 = cudaflow.for_each( // 在 GPU 上将每个元素赋值为100 dfirst, dlast, [] __device__ (auto i) { i = 100; } ); tf::cudaTask cuda2 = cudaflow.reduce( // 在 GPU 上归约一系列项 dfirst, dlast, init, [] __device__ (auto a, auto b) { return a + b; } ); tf::cudaTask cuda3 = cudaflow.sort( // 在 GPU 上排序一系列项 dfirst, dlast, [] __device__ (auto a, auto b) { return a < b; } );

此外,Taskflow 提供了可组合的图形构建块,让您能够 高效实现常见的并行算法,如并行流水线。

// 创建一个流水线,通过三个串行阶段传播五个令牌 tf::Pipeline pl(num_parallel_lines, tf::Pipe{tf::PipeType::SERIAL, [](tf::Pipeflow& pf) { if(pf.token() == 5) { pf.stop(); } }}, tf::Pipe{tf::PipeType::SERIAL, [](tf::Pipeflow& pf) { printf("阶段 2: 输入缓冲区[%zu] = %d\n", pf.line(), buffer[pf.line()]); }}, tf::Pipe{tf::PipeType::SERIAL, [](tf::Pipeflow& pf) { printf("阶段 3: 输入缓冲区[%zu] = %d\n", pf.line(), buffer[pf.line()]); }} ); taskflow.composed_of(pl) executor.run(taskflow).wait();

支持的编译器

要使用 Taskflow,您只需要一个支持 C++17 的编译器:

  • GNU C++ 编译器至少 v8.4 版本,使用 -std=c++17
  • Clang C++ 编译器至少 v6.0 版本,使用 -std=c++17
  • Microsoft Visual Studio 至少 v19.27 版本,使用 /std:c++17
  • AppleClang Xcode 版本至少 v12.0,使用 -std=c++17
  • Nvidia CUDA 工具包和编译器 (nvcc) 至少 v11.1 版本,使用 -std=c++17
  • Intel C++ 编译器至少 v19.0.1 版本,使用 -std=c++17
  • Intel DPC++ Clang 编译器至少 v13.0.0 版本,使用 -std=c++17 和 SYCL20

Taskflow 适用于 Linux、Windows 和 Mac OS X。

尽管 %Taskflow 主要支持 C++17,但您可以通过 -std=c++20 启用 C++20 编译 以实现更好的性能,这得益于新的 C++20 特性。

了解更多关于 Taskflow 的信息

访问我们的项目网站文档 以了解更多关于 Taskflow 的信息。要参与其中:

CppCon20 技术讲座MUC++ 技术讲座
<img align="right" src="https://yellow-cdn.veclightyear.com/2b54e442/75ee52b4-6640-441a-9b17-b690f4203911.jpg" width="100%">

我们致力于支持并行和异构计算领域的学术和工业研究项目的可信开发。 如果您正在使用 Taskflow,请引用我们在 2021 年 IEEE TPDS 上发表的以下论文:

更重要的是,我们感谢所有 Taskflow 贡献者以及 以下赞助 Taskflow 项目的组织!

<!-- --><!-- --><!-- --><!-- -->
<img src="https://yellow-cdn.veclightyear.com/2b54e442/46d9eeb8-f420-4a13-9cf0-6e26e2256585.png"><img src="https://yellow-cdn.veclightyear.com/2b54e442/61e07628-cd93-42ae-b0ba-c31ac4945d3a.png"><img src="https://yellow-cdn.veclightyear.com/2b54e442/6bb06c17-3f9c-463c-b18b-59f4e35d7b7b.png"><img src="https://yellow-cdn.veclightyear.com/2b54e442/f3dd4b2d-fa29-4644-85af-170a25f8d4f2.png">
<img src="https://yellow-cdn.veclightyear.com/2b54e442/47e071eb-80c4-4179-998b-a974cc8600f8.png">

许可证

Taskflow 采用 MIT 许可证。 您完全可以自由地重新分发您从 Taskflow 衍生的作品。


编辑推荐精选

TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台,广泛适用于电商广告、企业培训与社媒宣传,让全球企业与个人创作者无需拍摄剪辑,就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能,助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手,复杂任务高效处理

AI办公助手,复杂任务高效处理。办公效率低?扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作,覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应,生活工作无缝切换,提升50%效率!

蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
下拉加载更多