ragas

ragas：LLM应用评估的终极工具包

ragas是一个专门用于评估和优化大型语言模型(LLM)应用的强大工具包。它旨在帮助开发者告别耗时且主观的评估方法，转而使用数据驱动的高效评估工作流程。

主要特性

ragas具有以下几个突出的特点：

1. 客观指标：ragas提供了基于LLM和传统方法的精确评估指标，可以全面衡量LLM应用的性能。

2. 测试数据生成：它能够自动创建全面的测试数据集，涵盖各种场景，解决了测试数据缺乏的问题。

3. 无缝集成：ragas可以与流行的LLM框架(如LangChain)和主要的可观察性工具完美配合。

4. 构建反馈循环：开发者可以利用生产数据持续改进LLM应用。

安装和快速入门

安装ragas非常简单，可以通过pip直接安装：

pip install ragas

使用ragas评估RAG(检索增强生成)系统只需要几行代码：

from ragas.metrics import LLMContextRecall, Faithfulness, FactualCorrectness
from langchain_openai.chat_models import ChatOpenAI
from ragas.llms import LangchainLLMWrapper

evaluator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
metrics = [LLMContextRecall(), FactualCorrectness(), Faithfulness()]
results = evaluate(dataset=eval_dataset, metrics=metrics, llm=evaluator_llm)

测试数据集生成

如果缺乏与RAG系统交互的真实问题数据，ragas可以帮助生成合成测试集。开发者可以使用自己的数据作为种子，并控制生成数据的难度、多样性和复杂性。

社区参与

ragas拥有一个活跃的Discord社区，开发者可以在那里讨论LLM、检索、生产问题等话题。该项目也欢迎社区贡献，无论是修复bug、添加功能还是改进文档。

开放分析

ragas采用开放透明的方式收集最少量的匿名使用数据，以改进产品和指导开发。它不收集任何个人或公司识别信息，数据收集代码开源，并公开聚合数据。用户可以通过设置环境变量选择退出数据收集。

总的来说，ragas为LLM应用评估提供了一个全面、客观和高效的解决方案，它不仅能帮助开发者优化应用性能，还能促进LLM技术的整体发展。