neural-fortran

一个并行深度学习框架。 在这里阅读相关论文。

• 特性
• 入门
  • 使用fpm构建
  • 使用CMake构建
• 示例
• API文档
• 贡献
• 致谢
• 相关项目

特性

• 密集（全连接）和卷积神经网络的训练和推理
• 随机梯度下降优化器：经典、动量、Nesterov动量、RMSProp、Adagrad、Adam、AdamW
• 十多种激活函数及其导数
• 损失函数和评估指标：二次、均方误差、皮尔逊相关系数等
• 从Keras HDF5 (.h5)文件加载密集和卷积模型
• 基于数据的并行性

可用层

层类型	构造函数名	支持的输入层	输出数组的秩	前向传播	反向传播
输入	input	不适用	1, 3	不适用	不适用
密集（全连接）	dense	input1d, flatten	1	✅	✅
卷积（2维）	conv2d	input3d, conv2d, maxpool2d, reshape	3	✅	✅(*)
最大池化（2维）	maxpool2d	input3d, conv2d, maxpool2d, reshape	3	✅	✅
展平	flatten	input3d, conv2d, maxpool2d, reshape	1	✅	✅
重塑（1维到3维）	reshape	input1d, dense, flatten	3	✅	✅

(*) 关于MNIST数据集上CNN训练不收敛的问题，请参见Issue #145。

入门

获取代码：

git clone https://github.com/modern-fortran/neural-fortran
cd neural-fortran

依赖项

必需的依赖项有：

• Fortran编译器
• HDF5 （必须由操作系统包管理器提供或自行从源代码构建）
• functional-fortran、 h5fortran、 json-fortran （均由neural-fortran的构建系统处理，无需手动安装）
• fpm或 CMake用于构建代码

可选的依赖项有：

• OpenCoarrays（用于GFortran的并行执行）
• BLAS、MKL或类似库（用于卸载matmul和dot_product调用）
• curl（用于下载测试和示例数据集）

经测试的编译器包括：

• gfortran-9.4.0
• ifort-2021.4
• ifx-2021.4

使用fpm构建

串行模式构建

使用gfortran，以下命令将创建neural-fortran的优化构建：

fpm build \
  --profile release \
  --flag "-I$HDF5INC -L$HDF5LIB"

HDF5现在是必需的依赖项，所以你必须为fpm提供它。 上述命令假设环境变量HDF5INC和HDF5LIB分别设置为HDF5安装的include和库路径。

如果你使用Conda，以下说明适用：

conda create -n nf hdf5
conda activate nf
fpm build --profile release --flag "-I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -Wl,-rpath -Wl,$CONDA_PREFIX/lib"
fpm test --profile release --flag "-I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -Wl,-rpath -Wl,$CONDA_PREFIX/lib"

并行模式构建

如果你使用GFortran并想要以并行方式运行neural-fortran，你必须首先安装OpenCoarrays。安装完成后，使用编译器包装器caf和cafrun分别进行构建和并行执行：

fpm build \
  --compiler caf \
  --profile release \
  --flag "-I$HDF5INC -L$HDF5LIB"

使用fpm进行测试

fpm test \
  --profile release \
  --flag "-I$HDF5INC -L$HDF5LIB"

目前，你需要为fpm test指定与fpm build相同的编译器标志，以便fpm知道应该使用相同的构建配置。

有关fpm的更多信息，请参见Fortran Package Manager。

使用CMake构建

串行模式构建

mkdir build
cd build
cmake .. -DSERIAL=1
make

测试和示例将在bin/目录中构建。

并行模式构建

如果你使用GFortran并想要以并行方式运行neural-fortran，你必须首先安装OpenCoarrays。安装完成后，使用编译器包装器caf和cafrun分别进行构建和并行执行：

FC=caf cmake ..
make
cafrun -n 4 bin/mnist # 在4个核心上运行MNIST示例

使用不同的编译器构建

如果你想使用不同的编译器（如Intel Fortran）进行构建，请将HDF5_ROOT环境变量设置为Intel HDF5构建的根路径，并在执行cmake时指定FC：

FC=ifort cmake ..

用于neural-fortran的并行构建，或

FC=ifort cmake .. -DSERIAL=1

用于串行构建。

使用BLAS或MKL构建

要使用外部BLAS或MKL库进行matmul调用，请像这样运行cmake：

cmake .. -DBLAS=-lblas

其中-DBLAS的值应指向所需的BLAS实现，该实现必须在链接路径中可用。 此选项目前仅适用于gfortran。

以调试模式构建

要启用调试标志进行构建，请键入：

cmake .. -DCMAKE_BUILD_TYPE=debug

使用CMake运行测试

键入：

ctest

来运行测试。

在你的项目中使用neural-fortran

你可以使用这里提供的CMake模块在配置项目时查找或获取此项目的安装。这个模块确保无论neural-fortran如何包含在项目中，始终生成neural-fortran::neural-fortran目标。

你可以在包含子项目之前设置适当的选项来配置neural-fortran。

以下内容应添加到你的目录的CMake文件中：

if(NOT TARGET "neural-fortran::neural-fortran")
  find_package("neural-fortran" REQUIRED)
endif()

示例

了解如何使用neural-fortran的最简单方法是查看示例，按复杂度递增的顺序：

1. simple：近似简单的常数数据关系
2. sine：近似正弦函数
3. dense_mnist：使用密集（全连接）网络进行手写数字识别（MNIST数据集）
4. cnn_mnist：在MNIST数据集上训练CNN
5. dense_from_keras：从Keras HDF5文件创建预训练的密集模型并运行推理
6. cnn_from_keras：从Keras HDF5文件创建预训练的卷积模型并运行推理
7. get_set_network_params：获取和设置网络的超参数

这些示例还展示了应用程序中应使用的公共API的范围，即来自nf模块的任何内容。

示例3-6依赖curl来下载所需的数据集，因此请确保您的系统上已安装它。大多数Linux操作系统默认都有它。在任何给定目录中，第一次运行示例时才会下载数据集。

如果您使用Windows操作系统或由于任何其他原因没有curl，请直接下载mnist.tar.gz并在运行示例程序的目录中解压。

API文档

API文档可以使用FORD生成。假设您的系统上已安装FORD，从neural-fortran顶级目录运行以下命令生成API文档：

ford ford.md

生成的API文档将位于doc/html目录中。在浏览器中打开doc/html/index.html即可阅读。

贡献

这个贡献指南简要描述了代码组织。如果您想为neural-fortran贡献新功能，阅读它可能会有所帮助。

致谢

感谢所有为neural-fortran做出贡献的开源贡献者： awvwgk、 ggoyman、 ivan-pi、 jacobwilliams、 jvdp1、 jvo203、 milancurcic、 pirpyn、 rouson、 rweed、 Spnetic-5 和scivision。

neural-fortran中卷积网络和Keras HDF5适配器的开发由NASA戈达德航天中心与迈阿密大学的合同资助。 优化器的开发得到了2023年谷歌编程之夏项目对Fortran-lang的支持。

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/deed86b7-ab97-4753-b674-f0dc75d9c63a.png" alt="NASA标志"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8bdd18c9-68db-43dd-9065-17b7c351505b.png" alt="GSoC标志">

相关项目

• Jordan Ott 开发的 Fortran Keras Bridge (FKB) 提供了一个 Python 桥接器，连接旧版（v0.1.0）neural-fortran 风格的保存文件和 Keras 的 HDF5 模型。从 v0.9.0 版本开始，neural-fortran 使用纯 Fortran 实现了 FKB 的全部功能集，并且还支持卷积网络的训练和推理。

• Peter Ukkonen 开发的 rte-rrtmgp-nn 是基于旧版（v0.1.0）neural-fortran 的实现，它优化了密集层的内存布局以及前向和后向传播，以提高速度并在 GPU 上运行。

• 推理引擎是由伯克利实验室的计算机语言和系统软件（CLaSS）小组开发的。

影响

Neural-fortran 已在十多项已发表的研究中成功应用。您可以在这里查看所有引用它的论文。