Codegen

Salesforce codegen，THUDM/ChatGLM-6B 带网络服务器

从 https://github.com/salesforce/CodeGen 分支而来

增加了网络服务器支持

现在支持 THUDM/ChatGLM-6B

在线演示

https://gitclone.com/aiit/chat/

Visual Studio Code 扩展

https://github.com/git-cloner/codegeeker

参考

https://zhuanlan.zhihu.com/p/598982945 做一个生产级别的类似ChatGPT的聊天机器人<br> https://www.zhihu.com/zvideo/1596160335995641856 基于gpt-j-6b的聊天机器人<br> https://zhuanlan.zhihu.com/p/594946225 在亚马逊aws的云主机上搭建gpt-j-6b模型<br> https://zhuanlan.zhihu.com/p/588616069 做一个类似github copilot的免费代码生成器<br> https://zhuanlan.zhihu.com/p/620233511 清华ChatGLM-6B模型实践<br> https://zhuanlan.zhihu.com/p/620070973 ColossalAI推理实践<br> https://zhuanlan.zhihu.com/p/619954588 Chinese-LLaMA-Alpaca实践<br> https://zhuanlan.zhihu.com/p/624286959 FastChat部署与流式调用实践

使用方法

克隆代码

git clone https://gitclone.com/github.com/git-cloner/codegen

安装

1.安装Nvidia显卡和驱动

2.安装conda

3.初始化虚拟环境

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
#pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

下载模型

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

作为网络服务器运行

conda activate codegen
python codegen.py

测试

发送POST请求到：http://127.0.0.1:5001/codegen 或直接发送POST请求到：https://gitclone.com/aiit/codegen

使用Salesforce codegen

输入参数：{"context":"def hello_world():","maxlength":128}

返回参数： { "result": "\n print("Hello world")\n hello_world()\n ", "time": 1.9620850095525384 }

使用THUDM/ChatGLM-6B

输入参数：{"context":"写一个python版的数组排序","maxlength":128}