tiger

项目介绍：TigerLab 开源 LLM 工具包

TigerLab 是一个专为大型语言模型（LLM）开发设计的开源工具包，旨在帮助用户创建安全且可靠的语言应用程序。它包含一系列工具和功能，可以实现检索增强生成（RAG）、模型微调和人工智能安全测量。

AI 安全报告

TigerLab 提供了人工智能安全报告服务，用户可以在 TigerLab.ai 提交他们的 LLM 和聊天机器人，以获取安全性评估。通过这种方式，用户可以确保他们的模型在使用中更加安全和可靠。

亮点功能演示

演示 1 - 增强检索功能

此演示展示了如何使用基于嵌入的检索（EBR）、检索增强生成（RAG）和生成增强检索（GAR）来处理查询。该功能使用了 BERT 进行嵌入，FAISS 进行索引，以及 text-davinci-003 进行文本生成。演示视频连接

演示 2 - 微调 Llama2 和 DistilBERT

此演示展示了如何通过 TigerTune 微调和评估文本生成与分类模型。示例中微调了 Llama2 和 DistilBERT。演示视频连接

技术栈

• TigerRAG: 提供嵌入式检索、检索增强生成和生成增强检索功能，以便更好地回答用户查询。
• TigerTune: 一个 Python SDK，支持文本生成和分类模型的微调、推断和评估。
• TigerDA: 数据扩充工具包，支持使用微调（基于指令的）GPT2 来进行数据生成扩充。未来还将推出基于扰动的扩充器。
• TigerArmor: AI 安全工具包，包含度量、数据集和评估工具，用于测量 LLMs 的 AI 安全性。

项目设置指南

为了开始使用这个项目，用户需要完成 API 令牌的设置。从 OpenAI 的官网获取 API 令牌，然后将其添加到环境变量中。例如：export OPENAI_API_KEY=<你的API密钥>。

安装步骤

1. 克隆代码库

   git clone https://github.com/tigerlab-ai/tiger.git

2. 安装 TigerRAG

   cd tiger/TigerRAG
   pip install .

3. 安装 TigerTune

   cd tiger/TigerTune
   pip install --upgrade -e .

4. 安装 TigerDA

   cd tiger/TigerDA
   pip install --upgrade -e .

项目路线图

TigerLab 的未来发展方向包括增加对 TigerTune 的模型支持、在 TigerDA 中添加基于扰动的扩充器、发布 GPT 文本补全模型比较，以及推出 AI 安全数据集众包计划等。

如何参与贡献

TigerLab 欢迎社区的参与和贡献。对 BUG 修复和新功能请求，可通过 GitHub 提交 issue。

TigerLab 的开发者相信，这些努力将在未来语言建模中扮演关键角色，帮助组织定制 AI 系统以满足特定的知识产权和安全要求，并引领 AI 精密性和安全性的新纪元。