Axodox-MachineLearning: 纯C++实现的Stable Diffusion和ControlNet

Axodox-MachineLearning: 纯C++实现的AI图像生成库

在人工智能和计算机图形学快速发展的今天，Axodox-MachineLearning为开发者带来了一个强大而灵活的工具。这个开源项目提供了一个纯C++实现的Stable Diffusion库，不仅包含了原始的txt2img、img2img和修复功能，还支持ControlNet等先进特性。让我们深入了解这个项目的特点和潜力。

纯C++实现，性能出众

Axodox-MachineLearning的最大特点就是其纯C++实现。这意味着它完全摆脱了Python依赖，整个图像生成过程在单一进程中完成，具有竞争力的性能表现。这种实现方式使得部署变得极其简单，仅需几个可执行文件、库文件和模型权重即可。

对于实时图形应用和游戏开发者来说，这是一个极具吸引力的特性。C++作为这些领域的主流语言，Axodox-MachineLearning可以无缝集成到现有项目中，无需处理复杂的语言交互问题。

ControlNet支持，创意无限

Axodox-MachineLearning不仅实现了基本的Stable Diffusion功能，还支持ControlNet。ControlNet允许使用输入图像来引导图像生成过程，大大增强了创作的可控性和灵活性。例如：

1. 使用OpenPose估计器和OpenPose条件的ControlNet，可以通过指定姿势来引导img2img生成，产生更好的结果。
2. 利用HED边缘检测和边缘条件的ControlNet，可以将图像风格改变为类似漫画插图的效果，同时保持原有布局不变。
3. 使用深度估计器和深度图条件的ControlNet，可以生成不同的角色，但保持原始设置不变。

这些功能为创意工作者提供了强大的工具，使得AI辅助创作变得更加精确和可控。

特征提取器

除了核心的图像生成功能，Axodox-MachineLearning还提供了GPU加速的特征提取器实现：

• 姿势估计：使用OpenPose从图像中提取人体骨骼
• 深度估计：使用MiDAS从单张图像估计每个像素的深度
• 边缘检测：使用Holistically-Nested Edge Detection从图像中提取边缘

这些特征提取器为ControlNet提供了重要的输入，也可以单独用于其他计算机视觉任务。

技术细节

Axodox-MachineLearning使用ONNX格式存储图像生成所需的数学模型。这些ONNX模型通过ONNX runtime执行，支持多种平台（Windows、Linux、MacOS、Android、iOS、WebAssembly等）和执行提供程序（如NVIDIA CUDA / TensorRT、AMD ROCm、Apple CoreML、Qualcomm QNN、Microsoft DirectML等）。

项目提供了名为Unpaint的示例集成，展示了如何将库集成到简单的WinUI基础用户界面中。开发者可以从Microsoft Store下载这个免费应用，评估解决方案的性能特征。

开源和许可

Axodox-MachineLearning采用MIT许可证，这意味着开发者可以自由地使用、修改和分发代码。然而，值得注意的是，如果计划将模型集成到产品中，请确保检查原始模型的许可证。

集成和使用

将Axodox-MachineLearning集成到项目中相对简单。预构建版本可以从NuGet获取，名称为Axodox.MachineLearning，支持添加到Visual Studio C++项目（包括桌面和UWP项目）的x64平台。

基本集成步骤包括：

1. 将Axodox.Common和Axodox.MachineLearning包添加到项目中
2. 确保项目仅使用x64平台
3. 将编译器设置为C++20
4. 添加包含语句：#include "Include/Axodox.MachineLearning.h"
5. 参考示例代码集成管道

未来展望

虽然当前的代码库和NuGet包主要针对Windows和DirectML，但只有少量代码使用了Windows特定的API。这意味着，将来可能会以最小的努力将库移植到其他平台。

Axodox-MachineLearning为C++开发者提供了一个强大的工具，使他们能够轻松地将最先进的AI图像生成技术集成到自己的应用中。无论是游戏开发、图形设计软件还是其他创意工具，这个库都为开发者打开了无限可能性的大门。

随着AI技术的不断发展，我们可以期待Axodox-MachineLearning在未来会支持更多的模型和功能。对于那些希望在自己的C++项目中探索AI图像生成的开发者来说，Axodox-MachineLearning无疑是一个值得关注和尝试的项目。

无论您是经验丰富的C++开发者，还是刚开始探索AI图像生成的新手，Axodox-MachineLearning都为您提供了一个极具吸引力的起点。随着更多开发者加入并贡献到这个项目中，我们可以期待看到更多令人兴奋的应用和创新。现在，就让我们一起拥抱AI驱动的创意世界，看看Axodox-MachineLearning能为我们带来什么样的惊喜吧！