frugally-deep:在C++中轻松使用Keras模型的轻量级库

在现代软件开发中,机器学习和深度学习技术正在发挥越来越重要的作用。许多开发者使用Python和Keras等框架来构建和训练复杂的神经网络模型。然而,在生产环境中部署这些模型时,开发者经常需要将其集成到C++等高性能语言编写的应用程序中。这就产生了一个问题:如何在不引入大量复杂依赖的情况下,在C++中高效地运行Keras模型?

frugally-deep项目为这个问题提供了一个优雅的解决方案。它是一个轻量级的、仅包含头文件的C++库,允许开发者在C++应用程序中轻松加载和运行Keras模型,而无需链接TensorFlow或其他庞大的深度学习框架。

frugally-deep的主要特性

frugally-deep具有以下几个突出的特点:

纯C++实现: frugally-deep完全用现代C++编写,不依赖于Python或其他语言的运行时。
仅头文件: 作为一个仅包含头文件的库,frugally-deep极易集成到现有的C++项目中。
最小依赖: 该库只依赖于FunctionalPlus、Eigen和json三个同样是仅头文件的库。
支持复杂模型: 不仅支持顺序模型,还支持使用Keras函数式API创建的具有复杂拓扑结构的计算图。
小巧高效: 相比链接完整的TensorFlow,使用frugally-deep可以显著减小最终二进制文件的大小。
CPU友好: 该库专注于CPU上的高效运行,非常适合边缘计算和嵌入式系统等场景。

如何使用frugally-deep

使用frugally-deep的典型工作流程如下:

使用Keras/Python构建、训练和测试你的深度学习模型。
使用model.save('model.keras')将模型保存为单个文件。
使用frugally-deep提供的convert_model.py脚本将Keras模型转换为frugally-deep专用的JSON格式。
在C++代码中,使用fdeep::load_model()加载模型,然后调用model.predict()进行推理。

以下是一个简单的示例,展示了如何在C++中使用frugally-deep加载和运行Keras模型:

#include <fdeep/fdeep.hpp>

int main()
{
    const auto model = fdeep::load_model("fdeep_model.json");
    const auto result = model.predict(
        {fdeep::tensor(fdeep::tensor_shape(static_cast<std::size_t>(4)),
        std::vector<float>{1, 2, 3, 4})});
    std::cout << fdeep::show_tensors(result) << std::endl;
}

frugally-deep支持的层类型

frugally-deep支持大多数常用的Keras层类型,包括但不限于:

卷积层: Conv1D, Conv2D, SeparableConv2D, DepthwiseConv2D
池化层: MaxPooling1D/2D/3D, AveragePooling1D/2D/3D, GlobalMaxPooling1D/2D/3D, GlobalAveragePooling1D/2D/3D
激活函数: ReLU, LeakyReLU, ELU, SELU, Sigmoid, Softmax, Tanh等
其他常用层: Dense, Flatten, BatchNormalization, Dropout等

此外,frugally-deep还支持多输入多输出模型、残差连接、共享层等高级特性,使其能够处理各种复杂的神经网络架构。

frugally-deep的优势

与直接在C++中使用TensorFlow相比,frugally-deep提供了以下优势:

更小的二进制文件: 由于不需要链接完整的TensorFlow库,使用frugally-deep的应用程序通常具有更小的文件大小。
更简单的部署: 不需要安装TensorFlow及其依赖项,大大简化了部署过程。
更好的跨平台兼容性: frugally-deep可以轻松编译为32位或64位可执行文件,适用于各种平台。
内存效率: 该库在进行卷积操作时避免了额外的大块内存分配,有助于减少内存占用。
CPU优化: 虽然frugally-deep不使用GPU,但它在单个CPU核心上的性能表现良好,并且可以通过并行运行多个预测来充分利用多核CPU。

frugally-deep logo

安装和使用

frugally-deep的安装非常简单,你可以通过多种方式将其集成到你的C++项目中:

使用CMake: 你可以使用CMake轻松地将frugally-deep集成到你的项目中。详细的安装步骤可以在项目的INSTALL.md文件中找到。
手动集成: 你也可以直接下载frugally-deep的源代码,并将其include目录添加到你的项目中。
使用包管理器: frugally-deep支持通过Conan、vcpkg等C++包管理器进行安装。