gpt-j-api

项目简介：gpt-j-api 🦜

gpt-j-api 是一个用来与 GPT-J 语言模型及其变体进行交互的 API 项目。用户可以通过两种方式使用和测试这个强大的语言模型：

• 利用 Streamlit Web 应用程序，其网址为 http://api.vicgalle.net:8000/
• 访问官方文档详尽说明的 API，网址为 http://api.vicgalle.net:5000/docs

开放 API 接口 🔓

此项目提供了一些无需认证的公开 API 接口，供用户方便地进行文本处理及分类操作。

GPT-J 文本生成 🤖

用户可以通过 POST /generate/ 接口请求生成文本。

多语言零样本文本分类 🌍

用户可以通过 POST /classify/ 接口进行跨语言文本分类。

如何使用 API 🔥

用户可以通过几种简单的方式调用 API：

• Python 代码调用：

  文本生成示例：

  import requests
  
  context = ("In a shocking finding, scientist discovered a herd of unicorns living "
             "in a remote, previously unexplored valley, in the Andes Mountains. "
             "Even more surprising to the researchers was the fact that the unicorns spoke perfect English.")
  
  payload = {
      "context": context,
      "token_max_length": 512,
      "temperature": 1.0,
      "top_p": 0.9,
  }
  response = requests.post("http://api.vicgalle.net:5000/generate", params=payload).json()
  print(response)

  零样本分类示例：

  import requests
  
  payload = {
      "sequence": "The movie started slow, but in the end was absolutely amazing!",
      "labels": "positive,neutral,negative"
  }
  response = requests.post("http://api.vicgalle.net:5000/classify", params=payload).json()
  print(response)

• Bash 命令调用：

  使用命令行通过 curl 调用生成文本：

  curl -X 'POST' \
    'http://api.vicgalle.net:5000/generate?context=In%20a%20shocking%20finding%2C%20scientists%20discovered%20a%20herd%20of%20unicorns%20living%20in%20a%20remote%2C%20previously%20unexplored%20valley%2C%20in%20the%20Andes%20Mountains.%20Even%20more%20surprising%20to%20the%20researchers%20was%20the%20fact%20that%20the%20unicorns%20spoke%20perfect%20English.&token_max_length=512&temperature=1&top_p=0.9' \
    -H 'accept: application/json' \
    -d ''

API 服务器的部署

此项目可以在 TPU VM 上运行，支持 v2-8 和 v3-8 型号。部署步骤如下：

1. 安装项目所需的依赖项及获取模型权重：

   python3 -m pip install -r requirements.txt
   wget https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd
   sudo apt install zstd
   tar -I zstd -xf step_383500_slim.tar.zstd
   rm step_383500_slim.tar.zstd
   

2. 运行服务：

   python3 serve.py
   

3. 此后，可以通过访问 http://localhost:5000/docs 来使用 API。

部署 Streamlit 仪表盘

运行以下命令以启动 Streamlit 仪表盘：

python3 -m streamlit run streamlit_app.py --server.port 8000

联系方式

如有请求或疑问，可以联系 vgallegoalcala at gmail dot com。

项目赞助者 🦄

特别感谢以下赞助此项目的人员：

• Aspie96

致谢 ✨

感谢 TPU Research Cloud 的支持。