synthesizer

项目介绍: Synthesizer[ΨΦ]

Synthesizer[ΨΦ]是一款多功能的大型语言模型（LLM）框架，它旨在为用户提供灵活且强大的工具，用于合成数据、检索增强生成（RAG）等多种应用场合。

核心功能

自定义数据创建

Synthesizer允许用户通过使用LLM生成符合其需求的数据集。这种生成数据集的能力适用于LLM训练，RAG增强等多种场景。支持的数据生成服务商包括Anthropic、OpenAI、vLLM和HuggingFace。

随需应变的检索增强生成（RAG）

该框架内置了检索增强生成（RAG）提供程序接口，可以将生成的数据锚定到真实世界的来源。这使得数据生成和检索过程无缝集成，并能通过Agent Search API进行快速上手。

快速安装

用户可以通过以下命令快速安装Synthesizer：

pip install sciphi-synthesizer

使用指南

生成合成问答对

用户可以通过以下命令生成合成的问答对：

export SCIPHI_API_KEY=MY_SCIPHI_API_KEY
python -m synthesizer.scripts.data_augmenter run --dataset="wiki_qa"

输出示例：

{ "formatted_prompt": "... ### Question:\nwhat country did wine originate in\n\n### Input:\n1. URL: https://en.wikipedia.org/wiki/History%20of%20wine (Score: 0.85)\nTitle:History of wine....",
{ "completion": "Wine originated in the South Caucasus, which is now part of modern-day Armenia ..."

评估RAG管道性能

用户可以通过以下命令评估RAG管道的性能：

export SCIPHI_API_KEY=MY_SCIPHI_API_KEY
python -m synthesizer.scripts.rag_harness --rag_provider="agent-search" --llm_provider_name="sciphi" --n_samples=25

文档与支持

对于更详细的信息、教程和API参考，用户可以查阅官方文档。此外，Synthesizer还有一个活跃的社区，例如Discord群组，用户可以在此与开发者和其他用户进行交流。如果有任何个性化的询问或反馈，也可以通过邮件与项目团队联系。

开发与集成示例

Synthesizer支持多种提供商进行RAG增强生成。以下是使用不同提供商进行设置的示例代码：

# 环境中需要有 SCIPHI_API_KEY

from synthesizer.core import LLMProviderName, RAGProviderName
from synthesizer.interface import LLMInterfaceManager, RAGInterfaceManager
from synthesizer.llm import GenerationConfig

# RAG 提供者设置
rag_interface = RAGInterfaceManager.get_interface_from_args(
    RAGProviderName("agent-search"),
    limit_hierarchical_url_results=rag_limit_hierarchical_url_results,
    limit_final_pagerank_results=rag_limit_final_pagerank_results,
)
rag_context = rag_interface.get_rag_context(query)

# LLM 提供者设置
llm_interface = LLMInterfaceManager.get_interface_from_args(
    LLMProviderName("openai"),
)

generation_config = GenerationConfig(
    model_name=llm_model_name,
    max_tokens_to_sample=llm_max_tokens_to_sample,
    temperature=llm_temperature,
    top_p=llm_top_p,
    # other generation params here ...
)

formatted_prompt = raw_prompt.format(rag_context=rag_context)
completion = llm_interface.get_completion(formatted_prompt, generation_config)