spago

Spago 项目介绍

项目概述

Spago 是一个纯 Go 语言编写的机器学习库，专为支持自然语言处理（NLP）相关的神经网络架构而设计。这个项目通过其自包含的轻量级计算图，实现从训练到推理的整个过程都变得易于理解和操作。Spago 的目标是创建一个极简的机器学习框架，意在通过生成独立可执行文件来消除生产环境中对 Python 的依赖。

项目特点

Spago 包含以下主要特性：

自动微分：通过动态 define-by-run 执行实现。
前馈层：如线性、Highway、卷积层等。
循环层：如 LSTM、GRU、BiLSTM 等。
注意力层：包括自注意力、多头注意力等。
梯度下降优化器：提供 Adam、RAdam、RMS-Prop、AdaGrad、SGD 等。
Gob 兼容的神经模型：用于序列化。

开发者反思

Spago 项目开始于对 Go 语言和深度学习基础的重新探索。项目以其独特的异步计算图和简洁的编码风格成为了一个值得投入的工程。然而，在不断变化的 AI 领域中，尤其对于需要在 GPU 上进行大量计算的情况，Spago 需要更大的投入才能有效竞争。尽管没有能力继续积极维护和发展这个项目，作者 Matteo Grella 仍对这段经历充满感激，并对支持 Spago 的社区表达了感谢。

使用指南

基础要求

要使用 Spago，需要安装 Go 1.21 或更高版本。可以通过以下命令获取该库：

go get -u github.com/nlpodyssey/spago

入门示例

Spago 提供了一些内置神经模型的实现，LSTM 是一个不错的入门例子。下面是一个计算两个变量和的简单示例：

package main

import (
	"fmt"
	"log"

	"github.com/nlpodyssey/spago/ag"
	"github.com/nlpodyssey/spago/mat"
)

func main() {
	type T = float32

	a := mat.Scalar(T(2.0), mat.WithGrad(true))
	b := mat.Scalar(T(5.0), mat.WithGrad(true))
	c := ag.Add(a, b)

	fmt.Printf("c = %v (float%d)\n", c.Value(), c.Value().Item().BitSize())

	c.AccGrad(mat.Scalar(T(0.5)))

	if err := ag.Backward(c); err != nil {
		log.Fatalf("error during Backward(): %v", err)
	}

	fmt.Printf("ga = %v\n", a.Grad())
	fmt.Printf("gb = %v\n", b.Grad())
}