beyondllm

<div align="center"> <h1 align="center">BeyondLLM</h1> <h2 align="center">构建 - 快速实验 - 评估 - 可观察性</h2>

缩略图

<p>Beyond LLM 提供了一个用于检索增强生成（RAG）系统的实验、评估和部署的一体化工具包，通过自动化集成、可定制的评估指标以及对各种大型语言模型（LLMs）的支持，简化了流程，以满足特定需求，最终旨在降低 LLM 产生幻觉的风险并提高可靠性。</p> <i><a href="https://discord.gg/4aWV7He2QU">👉 加入我们的 Discord 社区！</a></i> </div>

在 Google Colab 上尝试快速演示：

快速安装

pip install beyondllm

快速入门指南 - 与 YouTube 视频聊天

在这个快速入门指南中，我们将演示如何使用 Beyond LLM 创建一个与 YouTube 视频聊天的 RAG 应用程序，只需不到 8 行代码。这 8 行代码包括：

获取自定义数据源
检索文档
生成 LLM 响应
评估嵌入
评估 LLM 响应

方法一：使用默认 LLM 和嵌入

使用 Beyond LLM 在不到 5 行代码内构建自定义 RAG。

from beyondllm import source,retrieve,generator
import os
os.environ['GOOGLE_API_KEY'] = "您的 Google API 密钥："

data = source.fit("https://www.youtube.com/watch?v=oJJyTztI_6g",dtype="youtube",chunk_size=512,chunk_overlap=50)
retriever = retrieve.auto_retriever(data,type="normal",top_k=3)
pipeline = generator.Generate(question="视频提到了什么工具？",retriever=retriever)

print(pipeline.call())

方法二：使用自定义 LLM 和嵌入

Beyond LLM 支持各种嵌入和 LLM，这是检索增强生成中两个非常重要的组件。

from beyondllm import source,retrieve,embeddings,llms,generator
import os
from getpass import getpass
os.environ['OPENAI_API_KEY'] = getpass("您的 OpenAI API 密钥：")

data = source.fit("https://www.youtube.com/watch?v=oJJyTztI_6g",dtype="youtube",chunk_size=1024,chunk_overlap=0)
embed_model = embeddings.OpenAIEmbeddings()
retriever = retrieve.auto_retriever(data,embed_model,type="normal",top_k=4)
llm = llms.ChatOpenAIModel()
pipeline = generator.Generate(question="视频提到了什么工具？",retriever=retriever,llm=llm)

print(pipeline.call()) #AI 响应
print(retriever.evaluate(llm=llm)) #评估嵌入
print(pipeline.get_rag_triad_evals()) #评估 LLM 响应

输出

上下文中提到的工具叫做 Jupiter，它是一个旨在简化复杂数据科学主题学习的 AI 导师。用户可以通过登录 AI Planet，免费访问任何课程，然后以各种风格（如电影情节的形式）向 Jupiter 请求解释主题。Jupiter 旨在让 AI 教育对每个人都更加易于获取和互动。

命中率：1.0
平均倒数排名：1.0

上下文相关性得分：8.0
答案相关性得分：7.0
基于事实得分：7.666666666666667

可观察性

"可观察性"有助于跟踪闭源模型的延迟和成本监控。BeyondLLM 提供了"Observer"，目前可监控 OpenAI LLM 模型的性能。

from beyondllm import source,retrieve,generator, llms, embeddings
from beyondllm.observe import Observer
import os

os.environ['OPENAI_API_KEY'] = 'sk-****'

Observe = Observer()
Observe.run()

llm=llms.ChatOpenAIModel()
embed_model = embeddings.OpenAIEmbeddings()

data = source.fit("https://www.youtube.com/watch?v=oJJyTztI_6g",dtype="youtube",chunk_size=512,chunk_overlap=50)
retriever = retrieve.auto_retriever(data,embed_model,type="normal",top_k=4)

pipeline = generator.Generate(question="视频提到了什么工具？",retriever=retriever, llm=llm)
pipeline = generator.Generate(question="这个工具用来做什么？",retriever=retriever, llm=llm)
pipeline = generator.Generate(question="我如何将这个工具用于自己的用途？",retriever=retriever, llm=llm)