Beta9: 开放式无服务器GPU云平台

Beta9:开启无服务器GPU云计算新时代 🚀

在人工智能和机器学习快速发展的今天,对高性能计算资源的需求与日俱增。然而,为AI应用配置和管理GPU资源往往是一项复杂而耗时的任务。Beta9应运而生,它是一个开创性的开源项目,旨在为开发者提供简单易用的无服务器GPU云计算平台。本文将深入探讨Beta9的特性、工作原理以及如何使用这一强大工具来加速您的AI开发流程。

Beta9的核心特性

Beta9作为一个开放式的无服务器GPU云平台,具有以下几个突出特点:

在云端GPU上运行Python函数: Beta9允许开发者轻松将Python函数部署到云端的GPU资源上,无需复杂的基础设施管理。
自动扩展资源: 平台能够根据工作负载的需求自动增加或减少计算资源,确保最佳的资源利用率。
灵活性: Beta9支持在公有云或私有硬件上运行工作负载,为用户提供了极大的部署灵活性。
为AI优化: 该平台专为AI工作负载设计,支持在分布式存储中存储模型权重,并能以超快的速度进行无服务器冷启动,部署自定义模型。
开源: Beta9是一个开源项目,这意味着社区可以参与其开发,并根据特定需求进行定制。

Beta9的工作原理

Beta9的设计目标是快速启动远程无服务器容器。为了实现这一目标,它采用了几项关键技术:

自定义懒加载镜像格式: Beta9使用名为CLIP的自定义镜像格式,该格式基于S3/FUSE实现懒加载,大大提高了容器启动速度。
基于Redis的快速容器调度引擎: 这使得Beta9能够快速高效地管理和调度容器资源。
基于内容寻址的存储: 用于缓存镜像和文件,提高了资源访问速度。
自定义runc容器运行时: 优化了容器的运行效率。

如何使用Beta9

1. 使用Beam Cloud(推荐方式)

最快速可靠的入门方式是注册Beam Cloud托管服务。新用户可以免费使用10小时,之后按使用量付费。

2. 开源部署(进阶用户)

对于希望自行部署的用户,Beta9提供了本地运行或在现有Kubernetes集群中使用Helm chart部署的选项。

本地开发设置

安装必要工具:
```
make setup
```
设置SDK环境:
```
make setup-sdk
```
使用SDK: 请参考SDK readme获取详细使用说明。

Beta9的实际应用案例

无服务器推理端点

Beta9允许开发者轻松创建无服务器的推理端点。以下是一个使用vLLM库部署语言模型的简单示例:

from beta9 import Image, endpoint

@endpoint(
    cpu=1,
    memory="16Gi",
    gpu="T4",
    image=Image(
        python_packages=[
            "vllm==0.4.1",
        ],  # 这些依赖将安装在远程容器中
    ),
)
def predict():
    from vllm import LLM

    prompts = ["The future of AI is"]
    llm = LLM(model="facebook/opt-125m")
    output = llm.generate(prompts)[0]

    return {"prediction": output.outputs[0].text}

部署到云端:

$ beta9 deploy app.py:predict --name llm-inference

并行工作负载处理

Beta9还支持将工作负载分发到数百个容器中并行处理:

from beta9 import function

@function(cpu=1, memory=128)
def square(i: int):
    return i**2

def main():
    numbers = list(range(100))
    squared = []

    # 为列表中的每个项目运行一个远程容器
    for result in square.map(numbers):
        squared.append(result)

异步任务队列

对于需要后台处理的任务,Beta9提供了异步任务队列功能:

from beta9 import task_queue, Image

@task_queue(
    cpu=1.0,
    memory=128,
    gpu="T4",
    image=Image(python_packages=["torch"],
    keep_warm_seconds=1000,
)
def multiply(x):
    result = x * 2
    return {"result": result}

# 手动将任务插入队列
multiply.put(x=10)