bce-qianfan-sdk

百度千帆大模型平台 SDK 项目介绍

简介

百度千帆大模型平台 SDK（以下简称千帆 SDK）是一个用于访问和操作百度千帆大模型平台的大模型工具链。它旨在通过简单优雅的解决方案，帮助开发者快速集成 AI 工作流和原生 AI 应用。千帆 SDK 的核心功能可分为三个主要方面：大模型推理、大模型训练以及通用和扩展能力。

• 大模型推理：提供一言（ERNIE）系列和其他开源大模型的推理接口，支持对话、补全和向量化等功能。
• 大模型训练：支持完整的大模型训练流程，包括数据准备、模型精调或预训练、及模型托管等。
• 通用与扩展：包含 Prompt 管理、调试工具、客户端集成等，同时提供千帆平台特色的扩展功能。

安装与使用

千帆 SDK 目前支持多种编程语言，包括 Python、Go、Java 和 JavaScript 等。以下是关于如何在 Python 中安装和使用千帆 SDK 的指引：

如何安装

千帆 Python SDK 可以通过 PyPI 安装，需 Python 版本为 3.7.0 或以上：

pip install 'qianfan[dataset_base]'

在安装完成后，用户可以通过以下代码在项目中引入和使用千帆 SDK：

import qianfan

更多关于安装的选项和详细步骤，请参见官方文档。

快速使用

在开始使用千帆 SDK 之前，用户需要通过 百度智能云控制台 - 安全认证 获取 Access Key 和 Secret Key。一旦获取到这些凭证，用户就可以使用 SDK 调用千帆平台的各种功能：

import os
import qianfan

os.environ["QIANFAN_ACCESS_KEY"] = "你的Access Key"
os.environ["QIANFAN_SECRET_KEY"] = "你的Secret Key"

chat = qianfan.ChatCompletion()
resp = chat.do(messages=[{"role": "user", "content": "你好，千帆"}])

print(resp["result"])

功能导览

大模型推理

千帆 SDK 提供了多种大模型的推理能力，比如：

• Chat 对话：与大模型进行自然语言的对话互动。
• Completion 续写：文本自动补全。
• Embedding 向量化：将文字转化为向量表示。
• Plugin 插件调用：调用第三方插件接口。
• Text2Image 文生图：生成图像。
• Image2Text 图生文：从图像中提取文字。
• Reranker 重排序：对排序任务进行优化。

大模型推理通过简单的 API 接口可实现异步、流式和批量操作，详细信息可以参考官方文档的推理服务部分。

大模型训练

千帆 SDK 提供了对大模型进行专业定制化训练的能力，从而更好地满足具体业务需求。训练流程一般包括以下步骤：准备数据 -> 开始训练 -> 模型评估 -> 部署服务。用户可以通过 Dataset 模块加载和处理数据，并使用 Trainer 模块来执行训练任务。

通用与扩展工具

SDK 支持多种通用开发工具，包括：

• Prompt 管理：管理和优化提示。
• 命令行工具：可以直接在命令行中与千帆平台进行交互。

在 SDK 提供的广泛 API 生态下，开发者可以根据需要灵活地调用各项服务。

联系与反馈

如在使用过程中遇到问题或有任何建议，用户可以通过以下方式联系我们：

• GitHub issues
• 百度智能云工单
• 千帆 SDK 官方微信群

希望千帆 SDK 能帮助大家在 AI 领域中更高效、更便捷地实现目标！