bpftime：快速用户空间Uprobe和系统调用钩子及扩展的eBPF运行时

bpftime是一个功能齐全、高性能的用户空间eBPF运行时。它提供快速的Uprobe和系统调用钩子功能：用户空间uprobe比内核uprobe快10倍！并且可以安全高效地以编程方式钩住进程的所有系统调用。

📦 主要特性
🔨 快速开始
🔌 示例和用例
⌨️ Linux Plumbers 23演讲
📖 幻灯片
📚 Arxiv预印本

查看我们在eunomia.dev上的文档！

主要特性

• 基于二进制重写的Uprobe和系统调用钩子：在用户空间运行eBPF程序，将它们附加到Uprobe和系统调用跟踪点：**无需手动插桩或重启！**可以安全高效地使用eBPF用户空间运行时来跟踪或改变函数的执行，钩住或过滤进程的所有系统调用。
• 性能：与内核uprobe和uretprobe相比，Uprobe开销最高可提升10倍。
• 进程间eBPF映射：在共享用户空间内存中实现用户空间eBPF映射，用于汇总聚合或控制平面通信。
• 兼容性：使用clang和libbpf等现有eBPF工具链开发用户空间eBPF，无需任何修改。支持通过BTF实现CO-RE，并提供用户空间主机函数访问。
• JIT支持：受益于跨平台eBPF解释器和由LLVM驱动的高速JIT/AOT编译器。还包括用C语言手工制作的x86 JIT，适用于资源受限的环境。VM可以像ubpf一样构建为独立库。
• 无需插桩：可以将eBPF运行时注入到任何正在运行的进程中，无需重启或手动重新编译。
• 与内核eBPF一起运行：可以从内核加载用户空间eBPF，并使用内核eBPF映射与内核eBPF程序（如kprobe和网络过滤器）协作。

组件

• vm：eBPF VM和JIT，您可以选择bpftime LLVM JIT和基于ubpf的简单JIT/解释器。它可以构建为独立库并集成到其他项目中。API类似于ubpf。
• runtime：eBPF的用户空间运行时，包括系统调用服务器和代理、将eBPF程序附加到Uprobe和系统调用跟踪点，以及共享内存中的eBPF映射。
• daemon：一个守护进程，使用户空间eBPF能够与内核配合工作并与内核uprobe兼容。监控和修改内核eBPF事件和系统调用，从内核加载用户空间eBPF。

快速开始

使用bpftime，您可以使用熟悉的工具（如clang和libbpf）构建eBPF应用程序，并在用户空间执行它们。例如，malloc eBPF程序使用uprobe跟踪malloc调用，并使用哈希映射聚合计数。

您可以参考eunomia.dev/bpftime/documents/build-and-test了解如何构建项目，或使用来自GitHub packages的容器镜像。

要开始，您可以构建并运行一个基于libbpf的eBPF程序，从bpftime cli开始：

make -C example/malloc # 构建eBPF程序示例
bpftime load ./example/malloc/malloc

在另一个shell中，运行带有eBPF的目标程序：

$ bpftime start ./example/malloc/victim
Hello malloc!
malloc called from pid 250215
continue malloc...
malloc called from pid 250215

您还可以动态地将eBPF程序附加到正在运行的进程：

$ ./example/malloc/victim & echo $! # pid是101771
[1] 101771
101771
continue malloc...
continue malloc...

然后附加到它：

$ sudo bpftime attach 101771 # 您可能需要以root身份运行make install
Inject: "/root/.bpftime/libbpftime-agent.so"
Successfully injected. ID: 1

您可以看到原始程序的输出：

$ bpftime load ./example/malloc/malloc
...
12:44:35 
        pid=247299      malloc calls: 10
        pid=247322      malloc calls: 10

或者，您也可以直接在内核eBPF中运行我们的示例eBPF程序，以查看类似的输出。这可以作为bpftime如何与内核eBPF兼容工作的示例。

$ sudo example/malloc/malloc
15:38:05
        pid=30415       malloc calls: 1079
        pid=30393       malloc calls: 203
        pid=29882       malloc calls: 1076
        pid=34809       malloc calls: 8

有关更多详细信息，请参阅eunomia.dev/bpftime/documents/usage。

示例和用例

⚠️ 注意：bpftime正在积极开发中，尚不建议用于生产环境。有关详细信息，请参阅我们的路线图。我们非常希望听到您的反馈和建议！请随时开启问题或联系我们。

有关更多示例和详细信息，请参阅eunomia.dev/bpftime/documents/examples/网页。

示例包括：

• eBPF程序的最小示例。
• eBPF Uprobe/USDT跟踪和系统调用跟踪：
  • sslsniff用于跟踪SSL/TLS未加密数据。
  • opensnoop用于跟踪文件打开系统调用。
  • 更多bcc/libbpf-tools。
  • 使用bpftrace命令或脚本运行。
• 错误注入：使用bpf_override_return更改函数行为。
• 将eBPF LLVM JIT/AOT vm用作独立库。
• 使用DPDK的用户空间XDP eBPF

深入探讨

工作原理

bpftime支持两种模式：

仅在用户空间运行

左：原始内核eBPF | 右：bpftime

在此模式下，bpftime可以在没有内核的用户空间运行eBPF程序，因此可以移植到低版本的Linux甚至其他系统，并且无需root权限即可运行。它依赖于用户空间验证器来确保eBPF程序的安全性。

与内核eBPF一起运行

在此模式下，bpftime可以与内核eBPF一起运行。它可以从内核加载eBPF程序，并使用内核eBPF映射与内核eBPF程序（如kprobes和网络过滤器）协作。

插桩实现

当前的钩子实现基于二进制重写，底层技术受到以下启发：

• 用户空间函数钩子：frida-gum
• 系统调用钩子：zpoline和pmem/syscall_intercept。 这个钩子可以很容易地替换为其他DBI方法或框架，或者在未来添加更多的钩子机制。

有关详细信息，请参阅我们的草稿arxiv论文bpftime: 用于Uprobe、系统调用和内核-用户交互的用户空间eBPF运行时。

性能基准测试

用户空间uprobe与内核uprobes相比性能如何？

探针/跟踪点类型	内核（纳秒）	用户空间（纳秒）
Uprobe	3224.172760	314.569110
Uretprobe	3996.799580	381.270270
系统调用跟踪点	151.82801	232.57691
手动插桩	不可用	110.008430

它可以像内核uprobe一样附加到正在运行的进程中的函数上。

LLVM JIT/AOT与其他eBPF用户空间运行时、原生代码或wasm运行时相比性能如何？

在所有测试中，bpftime的LLVM JIT始终展示出卓越的性能。它们在整数计算（如log2_int所示）、复杂数学运算（如prime所示）和内存操作（如memcpy和strcmp所示）方面都表现出很高的效率。虽然它们在整体性能上领先，但每个运行时都有其独特的优势和劣势。这些洞察对用户在为特定用例选择最合适的运行时时非常有价值。

有关我们如何评估和详细信息，请参见github.com/eunomia-bpf/bpf-benchmark。

哈希映射或环形缓冲区与内核相比（待完成）

有关详细的性能基准测试，请参见benchmark目录。

与内核eBPF运行时比较

• bpftime允许您使用clang和libbpf构建eBPF程序，并直接在此运行时中运行它们。我们已经用third_party/libbpf中的libbpf版本进行了测试。不需要特定的libbpf或clang版本。
• 某些内核辅助函数和kfuncs可能在用户空间不可用。
• 它不支持直接访问内核数据结构或函数，如task_struct。

有关更多详细信息，请参阅eunomia.dev/bpftime/documents/available-features。

构建和测试

有关详细信息，请参阅eunomia.dev/bpftime/documents/build-and-test。

路线图

bpftime正在不断发展，未来还有更多功能：

• 基于LLVM的eBPF AOT编译器。
• 更多示例和用例：
  • 用户空间eBPF网络
  • 热补丁用户空间应用程序
  • 错误注入和过滤系统调用
  • 热补丁并使用iouring批处理系统调用
  • 等等...
• 更多映射类型和分布式映射支持。
• 更多程序类型支持。

敬请期待这个前景广阔的项目的更多发展！您可以在GitHub上找到bpftime。

许可证

本项目采用MIT许可证。

联系和引用

有任何问题或对未来发展的建议吗？欢迎开issue或联系 yunwei356@gmail.com！

我们的arxiv预印本：https://arxiv.org/abs/2311.07923

@misc{zheng2023bpftime,
      title={bpftime: userspace eBPF Runtime for Uprobe, Syscall and Kernel-User Interactions}, 
      author={Yusheng Zheng and Tong Yu and Yiwei Yang and Yanpeng Hu and XiaoZheng Lai and Andrew Quinn},
      year={2023},
      eprint={2311.07923},
      archivePrefix={arXiv},
      primaryClass={cs.OS}
}

致谢

eunomia-bpf社区由中国科学院软件研究所的PLCT实验室赞助。

感谢其他赞助商和讨论帮助构建这个项目：来自帝国理工学院的Marios Kogias教授，来自华南理工大学的赖晓铮教授，来自西安邮电大学的陈立军教授，来自清华大学NISL实验室的李琦教授，以及LPC 23 eBPF赛道的Linux eBPF维护者们。