redun

项目介绍：redun

redun 是一个以有效性和表达力为目标的工作流框架，基于广受欢迎的 Python 编程语言构建而成。redun 的创新在于，它认为直接编写数据流是过于限制性的，这导致许多现代高级语言中常见的抽象概念（如控制流、组合性、递归、高阶函数等）被剥夺了。redun 的关键在于，它能够将工作流表达为惰性表达式，并通过调度器评估这些表达式，实现自动并行化、缓存和数据谱系记录。

redun 的主要特性

惰性表达式定义工作流：redun 通过惰性表达式定义工作流，这些表达式在被评估时会生成动态有向无环图（DAG），从而能够实现复杂的数据流。
增量计算：对数据和代码变化具有反应性，能够自动更新计算结果。
多种计算后端支持：工作流任务可以在多种计算后端执行，如线程、进程、AWS 批量任务、Spark 任务等。
数据变更检测：通过文件哈希，在内存数值和外部数据源（如文件和对象存储）中检测数据变化。
代码变更检测：通过对 Python 函数进行哈希并与历史调用图进行比较，检测代码变化。
中央结果缓存：缓存过往的中间结果并在各个工作流中重用。
数据谱系记录与查询：过往调用图可以用作数据谱系记录，并可用于调试和审计。

redun 的应用场景

由于 redun 采用了通用的工作流定义方式，它非常适合用于实现多种应用场景下的工作流，例如：

生物信息学
化学信息学
网络或 API 数据提取
普通数据科学
及其他更多领域

使用示例

以下是一个使用 redun 编译 C 程序的小例子。示例中，每个任务中可以进行各种数据处理，比如读写 CSV、数据框、数据库和调用 API。

# make.py

import os
from typing import Dict, List

from redun import task, File

redun_namespace = "redun.examples.compile"

@task()
def compile(c_file: File) -> File:
    os.system(f"gcc -c {c_file.path}")
    return File(c_file.path.replace(".c", ".o"))

@task()
def link(prog_path: str, o_files: List[File]) -> File:
    o_files=" ".join(o_file.path for o_file in o_files)
    os.system(f"gcc -o {prog_path} {o_files}")
    return File(prog_path)

@task()
def make_prog(prog_path: str, c_files: List[File]) -> File:
    o_files = [compile(c_file) for c_file in c_files]
    prog_file = link(prog_path, o_files)
    return prog_file

files = {"prog": [File("prog.c"), File("lib.c")], "prog2": [File("prog2.c"), File("lib.c")]}

@task()
def make(files : Dict[str, List[File]] = files) -> List[File]:
    progs = [make_prog(prog_path, c_files) for prog_path, c_files in files.items()]
    return progs