Lepton AI

一个简化AI服务构建的Python框架

<a href="https://lepton.ai/">主页</a> • <a href="https://dashboard.lepton.ai/playground">API Playground</a> • <a href="https://github.com/leptonai/examples">示例</a> • <a href="https://lepton.ai/docs/">文档</a> • <a href="https://lepton.ai/references">CLI 参考</a> • <a href="https://twitter.com/leptonai">推特</a> • <a href="https://leptonai.medium.com/">博客</a>

LeptonAI Python库让您可以轻松地从Python代码构建AI服务。主要特性包括：

Python化的抽象Photon, 让您可以通过几行代码将研究和建模代码转化成服务。
简单的抽象，能够像 HuggingFace 一样用几行代码启动模型。
预构建的常用模型示例如Llama、SDXL、Whisper等。
包含诸如自动批处理、后台任务等AI定制功能。
客户端能够像本地Python函数一样自动调用您的服务。
Python化的配置信息，可以在云环境中轻松部署。

使用单线代码开始

安装库：

pip install -U leptonai

这会安装 leptonai Python库, 以及命令行接口 lep。然后，您可以用一行代码启动一个HuggingFace模型，例如gpt2：

lep photon runlocal --name gpt2 --model hf:gpt2

如果您有权限访问Llama2模型（在这里申请访问）且您有合适大小的GPU，可以用：

# 提示：您也可以用 `-n` 和 `-m` 来简写
lep photon runlocal -n llama2 -m hf:meta-llama/Llama-2-7b-chat-hf

（确保使用Llama2的-hf版本，它兼容huggingface的pipelines。）

然后，您可以用以下代码访问服务：

from leptonai.client import Client, local
c = Client(local(port=8080))
# 打印文档
print(c.run.__doc__)
print(c.run(inputs="I enjoy walking with my cute dog"))

完全托管的Llama2模型和CodeLlama模型可以在playground找到。

许多标准的HuggingFace pipelines都得到了支持 - 了解更多细节请查看文档。并非所有HuggingFace模型都得到了支持，因为其中许多包含自定义代码并非标准pipelines。如果您发现有流行模型希望得到支持，请提出问题或提交PR。

查看更多示例

您可以在示例库中找到更多示例。例如，启动Stable Diffusion XL模型：

git clone git@github.com:leptonai/examples.git
cd examples

lep photon runlocal -n sdxl -m advanced/sdxl/sdxl.py

一旦服务运行了，您可以用以下代码访问它：

from leptonai.client import Client, local

c = Client(local(port=8080))

img_content = c.run(prompt="a cat launching rocket", seed=1234)
with open("cat.png", "wb") as fid:
    fid.write(img_content)

或者访问挂载的Gradio UI http://localhost:8080/ui。检查 README文件获取更多细节。

完全托管的SDXL托管在https://dashboard.lepton.ai/playground/sdxl 可以通过API访问。

编写您自己的photons

编写您的photon很简单：编写一个Python Photon类，并用@Photon.handler装饰函数。只要您的输入和输出可以被JSON序列化，您就可以开始。例如，以下代码启动一个简单的回显服务：

# my_photon.py
from leptonai.photon import Photon

class Echo(Photon):
    @Photon.handler
    def echo(self, inputs: str) -> str:
        """
        一个简单的示例，返回原始输入。
        """
        return inputs

然后，您可以用以下命令启动服务：

lep photon runlocal -n echo -m my_photon.py

然后，您可以用以下代码使用您的服务：

from leptonai.client import Client, local

c = Client(local(port=8080))

# 打印可用路径
print(c.paths())
# 打印c.echo的文档。您也可以在Jupyter中用 `c.echo?`。
print(c.echo.__doc__)
# 实际调用echo。
c.echo(inputs="hello world")