懂AI
aiges

aiges

简化AI模型部署与服务化的开源工具

AIGES是Athena Serving Framework的核心组件，为AI开发者提供通用封装工具。它支持快速部署AI模型和引擎，集成网络、分发策略和数据处理等辅助系统。采用云原生架构，AIGES加速AI模型云服务化并确保稳定性。开发者可专注于模型逻辑，轻松实现高效部署、升级、扩展和监控。

AIGESAI服务引擎模型部署云原生Python插件Github开源项目
访问官网GitHubHugging Face论文文档

AI服务引擎

<!-- markdownlint-disable MD033 -->

<span class="badge-placeholder">分支</span> <span class="badge-placeholder">星标</span> <span class="badge-placeholder">构建状态</span> <span class="badge-placeholder">GitHub发布</span> <span class="badge-placeholder">GitHub贡献者</span> <span class="badge-placeholder">许可证: Apache2.0</span>

<!-- markdownlint-restore -->

官方文档

👉👉👉点击进入

背景

AIGES是Athena Serving Framework中的核心组件，它是一个为AI能力开发者打造的AI算法模型、引擎的通用封装工具。 您可以通过集成AIGES，快速部署AI算法模型、引擎，并托管于Athena Serving Framework，即可使用网络、分发策略、数据处理等配套辅助系统。 Athena Serving Framework致力于加速AI算法模型、引擎云服务化，并借助云原生架构，为云服务的稳定提供多重保障。 您无需关注底层基础设施及服务化相关的开发、治理和运维，即可高效、安全地对模型、引擎进行部署、升级、扩缩、运营和监控。

新功能！！！

👉👉👉快速了解Cgo模式和GRPC模式的区别

整体架构

图片

使用工作流(AthenaServing)

图片

特性

☑ 支持模型推理成RPC服务(Serving框架会转成HTTP服务)

☑ 支持C代码推理

☑ 支持Python代码推理

☑ 支持once(非流式)推理、流式推理

☑ 支持配置中心，服务发现

☑ 支持负载均衡配置

☑ 支持HTTP/GRPC服务

☑ Cgo模式/GRPC模式切换 [go和python通信方式]

SDK

👉👉👉Python

AI协议

参见: 👉👉👉ase-proto

准备环境

请选用Python 3.9+版本 也可以下载我们的docker镜像

以下流程可在容器环境中进行 (无需gpu):

docker run -itd --name mnist2 -p 1889:1888 public.ecr.aws/iflytek-open/aiges-gpu:10.1-1.17-3.9.13-ubuntu1804-v3.0-alpha11 bash

您也可以自己准备环境，直接下载二进制文件在您自己的任何环境上运行aiges。

0. 安装sdk

pip3 install aiges==0.5.0 -i https://pypi.python.org/simple

1. 下载加载器

  1. wget https://github.com/iflytek/aiges/releases/download/v3.0-alpha11/aiges_3.0-alpha11_linux_amd64.tar.gz

初始化python wrapper项目

通过aiges创建一个名为mnist的项目

python3 -m aiges create -n mnist

2. 初始项目结构

root# tree mnist/
mnist/
├── Dockerfile
├── README.md
├── requirements.txt
└── wrapper
    ├── test_data
    │   └── test.png
    └── wrapper.py

3. 解压加载器 [docker提供的镜像默认有AIservice，您可以用下述命令更新最新的AIservice二进制文件]

tar zxvf aiges_3.0-alpha11_linux_amd64.tar.gz -C mnist

首次执行:

root@505a3a0e670c:/home/aiges# ./AIservice
加载器运行方法:

- 本地模式运行
1: ./AIservice -init  , 初始化配置文件 aiges.toml (若存在，则不会替换)
2: ./AIservice -m=0 , 仅用于本地模式运行
3: ./AIservice -mnist , 下载mnistdemo
- 配置中心模式 (开源计划删除)
- 更多参数选项: 请执行 ./AIservice -h

此时项目结构如下

➜  mnist git:(master) ✗ tree -L 3 .
.
├── AIservice
├── Dockerfile
├── include
│   ├── type.h
│   └── wrapper.h
├── library
│   ├── libahsc.so
│   ├── libIce.so.34
│   └── libIceUtil.so.34
├── README.md
├── requirements.txt
└── wrapper
    ├── test_data
    │   └── test.png
    └── wrapper.py

4 directories, 11 files

4. 配置PythonGrpc模式 初始化aiges配置

按顺序执行以下命令:

  • export AIGES_PLUGIN_MODE=python

  • ./AIservice -init 【会在当前目录下生成一个 aiges.toml】

  • ./AIservice -m 0 -c aiges.toml -s svcName

启动引擎，此时结果如下:【注意svcName必须和aiges的section对应，当前默认就是svcName】

root@012d31456c50:/home/aiges/mnist# ./AIservice -m 0 -c aiges.toml  -s svcName
2022/11/15 18:22:01 widgetpy.go:26: Starting Using Python :
config.toml version:
2022/11/15 18:22:01 utils.NewLocalLog success. -> LOGLEVEL:debug, FILENAME:./log/aiges.log, MAXSIZE:3, MAXBACKUPS:3, MAXAGE:3
2022/11/15 18:22:01 host2ip->ip:0.0.0.0,port:5090
2022/11/15 18:22:01 finderSwitch:0,finderSwitchErr:<nil>
2022/11/15 18:22:01 about to deal with hermes.
2022/11/15 18:22:02 NewSessionManager success.
2022/11/15 18:22:02 NewSidGenerator success.
2022/11/15 18:22:02 fn:AbleTrace,able:false
2022/11/15 18:22:02 about to deal finder.
2022/11/15 18:22:02 about to deal metrics.
2022/11/15 18:22:02 metrics is disable
2022/11/15 18:22:02 about to deal rateLimiter.
2022/11/15 18:22:02 about to deal vCpuManager.
2022/11/15 18:22:02 about to deal bvtVerifier.
2022/11/15 18:22:02 namespace not set, use default
2022/11/15 18:22:02 bvt is disable
header pass list: []
2022-11-15T18:22:02.476+0800 [WARN]  python-plugin: plugin configured with a nil SecureConfig
2022-11-15T18:22:02.477+0800 [DEBUG] python-plugin: starting plugin: path=/bin/sh args=[sh, -c, "/usr/bin/env python -m aiges.serve"]
2022-11-15T18:22:02.478+0800 [DEBUG] python-plugin: plugin started: path=/bin/sh pid=126
2022-11-15T18:22:02.478+0800 [DEBUG] python-plugin: waiting for RPC address: path=/bin/sh
2022-11-15T18:22:02.653+0800 [DEBUG] python-plugin: using plugin: version=1
2022-11-15T18:22:02.655+0800 [DEBUG] python-plugin.stdio: received EOF, stopping recv loop: err="rpc error: code = Unimplemented desc = Method not found!"
2022-11-15T18:22:02.656+0800 [DEBUG] python-plugin.sh:  root:wrapperInit:107 - INFO:  Importing module from wrapper.py: wrapper
2022-11-15T18:22:02.657+0800 [DEBUG] python-plugin.sh:  root:wrapperInit:119 - ERROR:  module 'wrapper' has no attribute 'Wrapper'
2022/11/15 18:22:02 grpc.go:20: Call WrapperInit Failed...ret: 30001

这是因为我们的wrapper还未准备好

5. 编写推理逻辑wrapper，以mnist项目为例

下载mnist demo:

  • ./AIservice -mnist

默认会下载 https://github.com/iflytek/aiges_demo.git 项目，并解压到当前目录 aiges_demo

如果此命令长时间没有反应，可能是因为GFW问题，可手动下载 https://github.com/iflytek/aiges_demo/archive/refs/tags/v1.0.0.zip

unzip解压到当前aiges_demo目录中即可【注意手动解压可能嵌套了一层aiges_demo_1.0.0目录】。

删除当前mnist下默认生成的wrapper目录，替换上述的demo

  • rm -r wrapper
  • cp -ra aiges_demo/mnist/wrapper/ ./
  • cp -ra aiges_demo/mnist/requirements.txt mnist/
  • pip install -r requirements.txt
  • export AIGES_PLUGIN_MODE=python
  • export PYTHONPATH=/home/aiges/mnist/wrapper
  • 再次运行引擎 ./AIservice -m 0 -c aiges.toml -s svcName

标准输出如下:

2022/11/15 21:26:29 widgetpy.go:26: Starting Using Python :
config.toml version:
2022/11/15 21:26:29 utils.NewLocalLog success. -> LOGLEVEL:debug, FILENAME:./log/aiges.log, MAXSIZE:3, MAXBACKUPS:3, MAXAGE:3
2022/11/15 21:26:29 host2ip->ip:0.0.0.0,port:5090
2022/11/15 21:26:29 finderSwitch:0,finderSwitchErr:<nil>
2022/11/15 21:26:29 about to deal with hermes.
2022/11/15 21:26:30 NewSessionManager success.
2022/11/15 21:26:30 NewSidGenerator success.
2022/11/15 21:26:30 fn:AbleTrace,able:false
2022/11/15 21:26:30 about to deal finder.
2022/11/15 21:26:30 about to deal metrics.
2022/11/15 21:26:30 metrics is disable
2022/11/15 21:26:30 about to deal rateLimiter.
2022/11/15 21:26:30 about to deal vCpuManager.
2022/11/15 21:26:30 about to deal bvtVerifier.
2022/11/15 21:26:30 namespace not set, use default
2022/11/15 21:26:30 bvt is disable
header pass list: []
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:	export GIN_MODE=release
 - using code:	gin.SetMode(gin.ReleaseMode)
[GIN-debug] GET    /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] POST   /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] PUT    /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] PATCH  /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] HEAD   /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
2022-11-15T21:26:30.116+0800 [警告]  python插件：插件配置了空的安全配置
2022-11-15T21:26:30.116+0800 [调试] python插件：启动插件：路径=/bin/sh 参数=[sh, -c, "/usr/bin/env python -m aiges.serve"]
[GIN-debug] OPTIONS /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] DELETE /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] CONNECT /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] TRACE  /v1/svcName               --> github.com/xfyun/aiges/httproto.(*Server).ginHandler.func1 (3个处理程序)
[GIN-debug] GET    /test.json                --> github.com/xfyun/aiges/httproto.getDemo (3个处理程序)
2022-11-15T21:26:30.116+0800 [调试] python插件：插件已启动：路径=/bin/sh 进程ID=1081
2022-11-15T21:26:30.116+0800 [调试] python插件：等待RPC地址：路径=/bin/sh
[GIN-debug] GET    /swagger/*any             --> github.com/swaggo/gin-swagger.CustomWrapHandler.func1 (3个处理程序)
2022-11-15T21:26:30.242+0800 [调试] python插件：使用插件：版本=1
2022-11-15T21:26:30.244+0800 [调试] python插件.stdio：收到EOF，停止接收循环：错误="rpc错误：代码 = 未实现 描述 = 未找到方法！"
2022-11-15T21:26:30.245+0800 [调试] python插件.sh:  root:wrapperInit:107 - 信息：  从wrapper.py导入模块：wrapper
2022-11-15T21:26:31.642+0800 [调试] python插件.sh:  root:_check_path:151 - 警告：  <class 'FileNotFoundError'>
2022-11-15T21:26:31.643+0800 [调试] python插件.sh:  root:wrapperInit:112 - 信息：  用户Wrapper创建成功..开始调用用户初始化函数...
2022-11-15T21:26:31.643+0800 [调试] python插件.sh:  root:wrapperInit:85 - 信息：  正在初始化...
2022-11-15T21:26:31.666+0800 [调试] python插件.sh:  root:wrapperSchema:141 - 信息：  进入warpperSchema ...
2022-11-15T21:26:31.672+0800 [调试] python插件.sh:  root:test_value:233 - 警告：  test_data/0.png不存在..请检查
2022-11-15T21:26:31.672+0800 [调试] python插件.sh:  root:schema:434 - 信息：  生成Schema...
aiService.Init: 初始化成功！
2022/11/15 21:26:31 准备x.run
2022/11/15 21:26:31 准备初始化拦截器
2022/11/15 21:26:31 成功初始化拦截器
2022/11/15 21:26:31 准备调用grpc.NewServer(opts...),最大接收:4194304,最大发送:4194304
2022/11/15 21:26:31 准备调用utils.RegisterXsfCallServer(x.grpcserver, srv)
2022/11/15 21:26:31 准备调用reflection.Register(x.grpcserver)
2022/11/15 21:26:31 准备执行userCallback
2022/11/15 21:26:31 处理UserHighPriority
2022/11/15 21:26:31 处理UserNormalPriority
2022/11/15 21:26:31 处理UserLowPriority
2022/11/15 21:26:31 准备调用x.grpcserver.Serve
2022/11/15 21:26:31 准备检查grpc服务([::]:5090)是否已启动
2022/11/15 21:26:31 grpc服务器([::]:5090)成功启动
2022/11/15 21:26:31 bvtVerifierInst已禁用,忽略...
2022/11/15 21:26:31 准备调用finderadapter.Register([::]:5090)
2022/11/15 21:26:31 准备执行fc延迟实例
2022/11/15 21:26:31 准备调用fc延迟任务
2022/11/15 21:26:31 阻塞等待grpcserver.Serve

默认监听http端口是：1888，可以从aiges.toml文件中查看

### 5. Postman调试

* API地址：http://youIP:1888/v1/svcName [具体地址可以访问 http://youIP:1888 swagger查看]

* POST请求方式：body部分
```json
{
	"header":{
		"appid":"123456",
		"uid":"39769795890",
		"did":"SR082321940000200",
		"imei":"8664020318693660",
		"imsi":"4600264952729100",
		"mac":"6c:92:bf:65:c6:14",
		"net_type":"wifi",
		"net_isp":"中国移动",
		"status":3,
		"res_id":""
	},
	"parameter":{
		"svcName":{
			"result":{
				"encoding":"utf8",
				"compress":"原始",
				"format":"纯文本",
                "data_type": "文本"
			}
		}
	},
	"payload":{
		"img":{
			"encoding":"jpg",
			"status":3,
"图片":"iVBORw0KGgoAAAANSUhEUgAAAOEAAADgCAYAAAD17wHfAAANa0lEQVR4Xu3dr29USxyG8VpUExQOhcGRIAkGU1OFh/+gCZI/AEdSWdMEj0A2QW+CQyFRyAYFloS9eTf5hsm7c2a295w9c34844hPgnrvdbbvPzrYzc87J5eXl9uLiYvvmzRsAI3r9+vV2s9lsTxTgyckJgAZubm62JyrSDwAYx+fPn4kQaGkX4ePHj/cOABgHIyHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0BgRAo0RIdAYEQKNESHQGBECjREh0NguwsePH+8dADAORkKgMSIEGiNCoDEiBBojQqAxIgQaI0KgMSIEGiNCoDEiBBojQqCxRUT49OnT7YsXL7KeP3++1ed3fX29vbq6ynr37l3V27dvs3Ts/Px8++TJk05am/vw4cNOp6ene58T1mMRESq2ly9fdrq8vNxuNpvdJ5vz8ePH7YcPHzpFwGnI6X97/fr19tmzZ7vgcxTio0ePOt2/f3/vc8J6LD5CjVKK0MP7PxHmpBHmECFqiHCACF+9erUXX4oIUUKEA0TISIg+iHCACEsjIRGihgiJEI0tIkI92c/OzrIUqKYRbm5uOik0j8sp5BwdU+yaavC4iAyHWESEGsm+ffuW9fXr1+3t7e32z58/29+/fx/Fr1+/tj9//uyk+//x40cnTZ/4C8Na6AmodxNd9AKpF1PNtfr8a/Dnw9wsIkJ9M/2JnVIkf//+bab2AqAXiy9fvqySXiT1Itrl06dPu3caik2LMnL8+TA3i4/w+/fvk4hQjyFn7RGKh0eEM0SE8+bhEeEMEeG8eXhEOENEOG8eHhHOEBHOm4dHhDOkCEvTAHqiexhjSiOMKY30T0WoaYoSf+Km/P+dE49QUxIeok9R+HSFPx/mZhERXlxc7O3/S2lC3b+xqdJkvGi+ym+T0hfRn1wpjcZ6keji84opharbl9Q+xrHFO44u/v+n9Pn518O/Nu/fv9/tCc3Rns579+7tPSfmZBER6tXQ9/AFrabR2xmF2kVL29LbxGbgoGVpfpuUQvWlbimFWBqpNVL66Jkq3XaMkV6Pr0SheDzhkM+vRi90CtFfHGPFEhFOgH4u8B31KUXkr6ApRerL3VLaJeG3CYpQTwQPL6W3XKWQahGVbnvI7fvy6FyMhl2Ps2+E+hoqwhyFSIQTQITl2/fl0bk0QkeEdUR4QISl2xPhvwgdER6GCA+IkJFwP7xchOnox0h4OCIkwiqPzqUjob8VFSIsW0SEsZ/Q4wuKyE9VmFKkur1+Syr+99Lt9bWrTWFop4D/aj7lTzpX+u2j+P8/Nr0I+OeU6hth/HY0ogv6N78dnQhtmn3w4EGn0oZb0XG/zV1un67m0AtC+meM0ulu/5RCL420MVLHi0JO7fZ9+ZSM04uYf15Bn7vmCn2lUMqjcwpO9+OPS5gnxMFKT5SY5/RTY8TpMWo780vzpEPwZWJOL1L6/HL0+LQiSLH5CHnoOwGNeHqh8fhD6Ws7B0Q4Aj1JFFKOzr5d+5lWo7H+vxx97Nrt+/IXBhen8MjR50+EZUQ4AiIkwpJdhFoQ6wcwHCIkwhJGwhEQIRGWEOEIiJAIS4hwBGNEWJon7ct/W+oUoT+uoM9fEXp4d4kwpihy9NwlQlTpS
VJSm4eM2LrUbt+XPn6JXgQUYy5Y/b4hVs108RVAKUWqUVAjrn/s4F/vuSFC9KYQfJI+nayvrerRiqJUeuJmTfRrlNf9+IuPxGg7Z0SI3vpGGNHlRIQKzt/Kpz93zhkRordjR6ileUQIFBw7QkZCoIII+yFC9EaE/RAheot5ypirTP+uY5pq8PBKEcapEvV33ZafCbF6/qT3ALTzXcH4VEOobeqNzdEh/h0bp2Nts09PBH+8c0OEqFJsvtE56LjOgF5allaL0Dcpp/SWNu5nqYgQVYdEqNj8tBuhFqH/HOmIEKtHhMdFhKgiwuMiQlQR4XERIaqI8LiIEFU+JeDTA8eOUNul/DEtCRGiSiFoT1/QeUZFf9exmAvUSYDvShH6/sCUJvyXMCFfQoSo0oS5X3g16JhWt/joloo5xDjZb/p3xavJ+JIl7BksIUJU6fnh8d01wi61CHViYyLE6h07wrgOfQ4RAifHj9DDc0SI1WsZISMhcHL8CHk7SoSo0Pk9/bqMQc+dWoQ+LeFTFBGh/swhQiyezi3qT/yg1Sq60rA218ZmWxcxddGFPD3eoNHU9yi6JewZLCFC7GLTxLif3j5OcR874/XWMcejcxpJdR/aZe90H/541oYIsQvE4/MIPTzn4XmESz6Ddl9ECCJsjAjRNEKtDfXHszZEiN4RenSOCMuIEL0jrIVIhGVEiN0cnf/WMmgvXy1Cj87p+UWE3YgQu32BPn+XTsbXLuSpucLNZpOlvYYKbckn7+2LCLF7u+jL0dJlabUIdeJfPZFyFKJGPL9P/EOE2I2EHt8xIvRTYyzlDNp9ESGIsLFdhPrB3A9gPYiwLUZCEGFjRAgibIwIMViEPj0h2gZFhGVEuAL+pPcALi8v90awEJc98wn6dKL+48ePu2mOHD23tOrGHxP+IcIV8PA8wtpFPrVp1+NLI3z//n1x1Q0T8mVEuAIe3l0jrI2EGklL60+JsIwIV8DDu2uEh4yERPj/EeEKeHhDR1gaCfVLGSIsI8IV8PDGjJCRsI4IV8DDI8JpIUJsr6+v98ILmuc7JMI4c5rj7WgdEa6AJuP1Pc7RXJ5GQQXlJ+aNaBqitBImnYzXx9D9+D7BECMu8ohwBfT99ZUw6YqY2hm0FZsm7XP0BNIFQjpGhGVEuAIRYbpjPv03EbZFhCuQi5CRcBqIcAWIcNqIcAWIcNqIcAVK1xfUsVqEmoLQEyVHgWoKxO8ThyPCBdA2Ip8kDzqmUDQX2EWbdn1+MJ0n1ALt2BvoFLLux2+OYM9gCREugCI4Pz/P0rHb29u90S2l2PwyRlxdN6LrSpHo0GNi/4hwAQ6N0JechUMi7FqWJjpVvj8mHI4IF4AI540IF4AI540IF4AI540IF4AI540IF0C/pfTz/AX9VlPXF6xF2EXHNe1AhOvlH8OlXZnRtq8AAAAASUVORK5CYII=
LaVOvYsvRMSJsiwgnIKYCcnRcI1ZpHrA2Ga85RoXmZ+GOy6Npv6BC872KgQiPiwgnQLH56BN0vHbe0Bp9fxXa2dnZHp0CI+4HbRDhBIwRYQTnXr58SYSNEeEEtI5Q56Hxx4TxEOEEtI6QkbAtIpwAIlw3IpwAIlw3IpyBvhFqOiKCy+FnwraIcATaAR/zfk7HtXm2tFWpNg+oyXzN92lvodOeQ60NLu3OZx6wLSIcQS1CRVRa1VKLUBGXLuLJ281pI8IRHBKhh0eE60GEIyBClBDhCIgQJUQ4AiJECRGOgAhRQoQjiMuK+dSA6HjfqyopwgguhwinjQhHoNUqfi7PoPN9xlygX6AzeHRO+wW1VclXwwS9APhjwnQQ4Qi0KkUT57GJNqWRSqOdh3UX+tga7TQp73QK+7iYKKaJCEegCD2+oSPU0jMFl0OE00aEIyBClBDhCIgQJUQ4AiJECRGOgAhRQoQjiAh9/i4Q4boR4QBKAeiYrv9X2qp0yFxgCRHOGxEOQPNxz58/39FVbdM/dUwrWkqT8bUVMTVEOG9EOICIUOG5WoSHnEG7hgjnjQgHQITogwgHQITogwgHQITogwgHcNcIFV76JxGuGxEOQAF4fEHHFGFEF9J/E+G6EeEAtGdP+wJzXr16tfsiKxbFluNROV0EVPOMOYo4Nu4qRKeRmAinjQgHoNh8FUzQ11ZX0/Ww7iJ22OfomO5Hp8pQdBFjGiUn9502IhxALcLNZrMX1l3cJcIcIpw2IhwAEaKPXYT6ucEP4HBTijD3syERThsj4QCIEH0Q4QCIEH0Q4QCOHWFpG5SOpRHmMEUxbUQ4gL4RKiQf4dKRTh9DG4M155ijn+k12ik2FycYxnQR4QD6RqjQ/MKgQRcP1ZI4v08sBxEO4NgR6uzaGun8FPqBn/nmjQgHQITogwgHQITogwgHQITogwgHQITogwgHUIpQarsoFKFiy9E0BREuGxEOQJt3dQ3CHAWkr6+uIdildGJg0SoYhVbijwnzQYRAY0QINEaEQGNECDRGhEBjRAg0RoRAY4rwP1Ov0CXSgGK4AAAAAElFTkSuQmCC

}

}

}

返回响应
```bash
{
    "header": {
        "code": 0,
        "sid": "0d9115af-0c6b-4526-a539-05b3c8aa9cfa",
        "status": 3
    },
    "payload": {
        "result": {
            "compress": "raw",
            "encoding": "utf8",
            "format": "plain",
            "seq": "0",
            "status": "3",
            "text":"{\"result\": 7, \"msg\": \"识别结果为数字: 7\"}"
        }
    }
}

6. 使用swagger调试mnist

当前默认集成了swagger 2.0，用于OpenAPI 3.0。

启动后访问:

http://<你的IP地址>:1888

如下图所示:

图片

点击"Try it out"！你可以复制上述postman部分的body进行请求。

图片2

可以看到识别结果已返回

  • 至此，独立的aiges加载器已完成基本运行

由于这是alpha版本，经过裁剪并刚刚合并了HTTP接口部分，许多功能还不完善，但基本可以托管能力

目前已知问题:

  • Python进程退出未做处理，需要跟随父进程自动退出

  • 部分运行异常暂时没时间处理

联系我们

  • 关注:

科大讯飞

  • 联系方式:

微信

注意备注来源: 开源

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力，做PPT更简单！

咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台，公文写作神器

AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK，助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK，它为开发者提供了与 OpenAI 模型交互的高效工具，支持工具调用、结果处理、追踪等功能，涵盖多种应用场景，如研究助手、财务研究等，能显著提升开发效率，让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具，支持从文本描述、单张图片或多视角图片生成 3D 模型，具备快速形状生成能力，可生成带纹理的高质量 3D 模型，适用于多个领域，为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目，涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作，如创建文件和目录、设置布局等，同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景，能够提高系统的性能和可靠性，是分布式存储领域的优质解决方案。

下拉加载更多