懂AI
GenAIExamples

GenAIExamples

简化生成式AI应用部署和测试的开源框架

GenAIExamples是一个专注于生成式AI应用的开源框架，提供简化的部署、测试和扩展功能。该项目兼容Docker和Kubernetes，支持包括Gaudi和Xeon在内的多种硬件平台。框架包含ChatQnA、DocSum等多个应用实例，支持Python、Docker Compose和Kubernetes等多种部署方式。内置的性能评估工具便于比较不同硬件配置的性能表现。

GenAIExamples生成式AI部署方法微服务组件硬件平台Github开源项目
访问官网GitHub文档
<div align="center">

生成式人工智能示例

版本 许可证

<div align="left">

简介

基于GenAIComps的生成式人工智能示例提供了简化的部署、测试和扩展性。所有示例都完全兼容Docker和Kubernetes，支持多种硬件平台，如Gaudi、Xeon和其他硬件。

架构

GenAIComps是一个基于服务的工具，包括大语言模型、嵌入、重排等微服务组件。利用这些组件，可以构建GenAIExample中的各种示例，包括ChatQnA、DocSum等。

GenAIInfra是OPEA容器化和云原生套件的一部分，能够在云中快速高效地部署GenAIExamples。

GenAIEval测量GenAIExamples的服务性能指标，如吞吐量、延迟和准确性。该功能帮助用户轻松比较不同硬件配置的性能。

入门指南

GenAIExamples提供灵活的部署选项，以满足不同用户的需求，实现在各种环境中的高效使用和部署。以下简要概述了三种主要方法：Python启动、Docker Compose和Kubernetes。

用户可以根据设置的便捷性、可扩展性需求以及运行环境选择最合适的方法。

部署指南

默认情况下，部署基于已发布的Docker镜像，详细信息请查看Docker镜像列表。您也可以按照说明构建自己的镜像。

先决条件

  • 对于基于Docker Compose的部署，您应该已安装Docker Compose。参考Docker Compose安装。
  • 对于基于Kubernetes的部署，我们提供了3种方式，从最简单的清单到功能强大的基于GMC的部署。
    • 您应该有一个可用的Kubernetes集群。如果没有，可以参考K8s安装来部署一个。
    • （可选）如果您想尝试GMC，应该将GMC安装到您的Kubernetes集群中。更多信息请参考GMC安装。
    • （可选）如果您想使用Helm Charts部署，应该安装Helm（版本 >= 3.15）。更多信息请参考Helm安装指南。

部署示例

用例Docker Compose<br/>在Xeon上部署Docker Compose<br/>在Gaudi上部署使用GMC的Kubernetes使用清单的Kubernetes使用Helm Charts的Kubernetes
ChatQnA[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/ChatQnA/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/ChatQnA/docker/gaudi/README.md[使用GMC的ChatQnA](https://github.com/opea-project/GenAIExamples/blob/main/ChatQnA/kubernetes/README.md[使用清单的ChatQnA](https://github.com/opea-project/GenAIExamples/blob/main/ChatQnA/kubernetes/manifests/README.md使用Helm Charts的ChatQnA
CodeGen[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/CodeGen/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/CodeGen/docker/gaudi/README.md[使用GMC的CodeGen](https://github.com/opea-project/GenAIExamples/blob/main/CodeGen/kubernetes/README.md[使用清单的CodeGen](https://github.com/opea-project/GenAIExamples/blob/main/CodeGen/kubernetes/manifests/README.md使用Helm Charts的CodeGen
CodeTrans[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/CodeTrans/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/CodeTrans/docker/gaudi/README.md[使用GMC的CodeTrans](https://github.com/opea-project/GenAIExamples/blob/main/CodeTrans/kubernetes/README.md[使用清单的CodeTrans](https://github.com/opea-project/GenAIExamples/blob/main/CodeTrans/kubernetes/manifests/README.md使用Helm Charts的CodeTrans
DocSum[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/DocSum/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/DocSum/docker/gaudi/README.md[使用GMC的DocSum](https://github.com/opea-project/GenAIExamples/blob/main/DocSum/kubernetes/README.md[使用清单的DocSum](https://github.com/opea-project/GenAIExamples/blob/main/DocSum/kubernetes/manifests/README.md使用Helm Charts的DocSum
SearchQnA[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/SearchQnA/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/SearchQnA/docker/gaudi/README.md[使用GMC的SearchQnA](https://github.com/opea-project/GenAIExamples/blob/main/SearchQnA/kubernetes/README.md不支持不支持
FaqGen[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/FaqGen/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/FaqGen/docker/gaudi/README.md[使用GMC的FaqGen](https://github.com/opea-project/GenAIExamples/blob/main/FaqGen/kubernetes/README.md不支持不支持
翻译[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/Translation/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/Translation/docker/gaudi/README.md[使用GMC的翻译](https://github.com/opea-project/GenAIExamples/blob/main/Translation/kubernetes/README.md不支持不支持
AudioQnA[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/AudioQnA/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/AudioQnA/docker/gaudi/README.md[使用GMC的AudioQnA](https://github.com/opea-project/GenAIExamples/blob/main/AudioQnA/kubernetes/README.md不支持不支持
VisualQnA[Xeon说明](https://github.com/opea-project/GenAIExamples/blob/main/VisualQnA/docker/xeon/README.md[Gaudi说明](https://github.com/opea-project/GenAIExamples/blob/main/VisualQnA/docker/gaudi/README.md[使用GMC的VisualQnA](https://github.com/opea-project/GenAIExamples/blob/main/VisualQnA/kubernetes/README.md不支持不支持

支持的示例

查看此处了解支持的示例、模型、硬件等详细信息。

附加内容

编辑推荐精选

博思AIPPT

博思AIPPT

AI一键生成PPT，就用博思AIPPT！

博思AIPPT，新一代的AI生成PPT平台，支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等，内置海量精美PPT模板，涵盖商务、教育、科技等不同风格，同时针对每个页面提供多种版式，一键自适应切换，完美适配各种办公场景。

热门AI工具AI办公办公工具智能排版AI生成PPT博思AIPPT海量精品模板AI创作
潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

AI助手热门AI工具AI创作AI辅助写作讯飞绘文内容运营个性化文章多平台分发
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

下拉加载更多