Astra 助手 API 服务

创建助手

这是一个与最新的OpenAI助手API v2（支持流式传输）完全兼容的服务，支持持久化对话线程、文件、向量存储、助手、信息检索、函数调用等功能，使用AstraDB（DataStax基于Apache Cassandra和jvector提供的数据库即服务）。

支持数十种第三方LLM提供商（甚至本地模型）用于完成和嵌入（由LiteLLM提供支持）。

您可以使用我们托管的Astra助手服务，或者自行托管开源API服务器。

客户端入门

要构建使用Astra助手服务的应用程序，请使用您喜欢的包管理器安装astra-assistants Python库。astra-assistants的代码可以在clients/目录下找到：

poetry add astra_assistants

注册Astra并获取管理员API令牌：

设置您的环境变量（根据您想要使用的LLM而定），请参考.env.bkp文件示例：

#!/bin/bash

# AstraDB -> https://astra.datastax.com/ --> tokens --> administrator user --> generate
export ASTRA_DB_APPLICATION_TOKEN=""

# OpenAI模型 - https://platform.openai.com/api-keys --> 创建新的密钥
export OPENAI_API_KEY=""

# Groq模型 - https://console.groq.com/keys
export GROQ_API_KEY=""

# Anthropic claude模型 - https://console.anthropic.com/settings/keys
export ANTHROPIC_API_KEY=""

# Gemini模型 -> https://makersuite.google.com/app/apikey
export GEMINI_API_KEY=""

# Perplexity模型 -> https://www.perplexity.ai/settings/api  --> 生成
export PERPLEXITYAI_API_KEY=""
# Cohere 模型 -> https://dashboard.cohere.com/api-keys
export COHERE_API_KEY=""

# Bedrock 模型 -> https://docs.aws.amazon.com/bedrock/latest/userguide/setting-up.html
export AWS_REGION_NAME=""
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""

# vertexai 模型 https://console.cloud.google.com/vertex-ai
export GOOGLE_JSON_PATH=""
export GOOGLE_PROJECT_ID=""

# ... 所有模型请参见 .env.bkp 文件

然后导入并修补你的客户端：

from openai import OpenAI
from astra_assistants import patch
client = patch(OpenAI())

系统将使用你的令牌代表你创建一个名为 assistant_api_db 的数据库。注意，这意味着第一个请求将挂起，直到你的数据库准备就绪（可能需要几分钟）。这只会发生一次。

现在你可以创建一个助手了

assistant = client.beta.assistants.create(
  instructions="你是一位个人数学家教。当被问到数学问题时，编写并运行代码来回答问题。",
  model="gpt-4-1106-preview",
  tools=[{"type": "retrieval"}]
)

默认情况下，该服务使用 AstraDB 作为数据库/向量存储，并使用 OpenAI 进行嵌入和聊天完成。

第三方 LLM 支持

得益于 litellm，我们现在支持许多第三方模型用于嵌入和完成。使用 api-key 和 embedding-model 头传递你的服务 API 密钥。

你可以传递不同的模型，只需确保在你的环境中有正确的相应 API 密钥。

model="gpt-4-1106-preview"
#model="gpt-3.5-turbo"
#model="cohere_chat/command-r"
#model="perplexity/mixtral-8x7b-instruct"
#model="perplexity/llama-3-sonar-large-32k-online"
#model="anthropic.claude-v2"
#model="gemini/gemini-1.5-pro-latest"
#model = "meta.llama2-13b-chat-v1"

assistant = client.beta.assistants.create(
    name="数学家教",
    instructions="你是一位个人数学家教。简明扼要地回答问题，一句话或更少。",
    model=model,
)

对于第三方嵌入模型，我们在 client.files.create 中支持 embedding_model：

file = client.files.create(
    file=open(
        "./test/language_models_are_unsupervised_multitask_learners.pdf",
        "rb",
    ),
    purpose="assistants",
    embedding_model="text-embedding-3-large",
)

要使用 poetry 运行示例，在此目录中创建一个包含你的密钥的 .env 文件并运行：

poetry install

创建你的 .env 文件并添加你的密钥：

cp .env.bkp .env

然后

poetry run python examples/python/chat_completion/basic.py

poetry run python examples/python/retrieval/basic.py

poetry run python examples/python/streaming_retrieval/basic.py

poetry run python examples/python/function_calling/basic.py

自行运行

Docker

使用 Docker，首先从 Docker Hub 拉取镜像

docker pull datastax/astra-assistants

或者如果你不想要最新版本，可以拉取特定版本：

docker pull datastax/astra-assistants:v0.2.12

然后运行（-p 将你的 Docker 端口 8080 映射到主机端口 8080）：

docker run -p 8080:8080 datastax/astra-assistants

使用 poetry 在本地运行

或者使用 poetry 在本地运行：

poetry install

poetry run python run.py

使用 docker-compose 与 ollama 集成

或者使用 docker-compose 与 ollama 集成

cd examples/ollama/gpu # 或 examples/ollama/cpu 仅使用 CPU，对于 GPU 你需要 docker-toolkit

docker-compose up -d

在使用之前，你需要将想要的模型拉取到 ollama

curl http://localhost:11434/api/pull -d '{ "name": "deepseek-coder-v2" }'

你的助手客户端应该通过设置 OLLAMA_API_BASE_URL 路由到 ollama 容器。如果你使用 docker-compose，OLLAMA_API_BASE_URL 应该设置为 http://ollama:11434。如果你在本地主机上使用 ollama，可以将其设置为 http://localhost:11434