agents-flex

项目介绍: Agents-Flex

Agents-Flex 是一个基于 Java 的大型语言模型（LLM）应用框架。在功能上，它类似于 LangChain，但核心技术和实现基于 Java 语言。该框架提供了一系列强大的功能，帮助开发者构建和运行各种与 LLM 相关的应用。

特性

Agents-Flex 提供了多种实用功能，包括：

LLM访问：支持与多种大型语言模型的交互。
Prompt和Prompt模板：轻松生成和管理提示信息。
函数调用定义与执行：通过函数调用定义器和执行器管理功能调用。
记忆功能：帮助模型记忆先前的交互记录。
嵌入和向量存储：用于处理和存储数据的向量表示。
资源加载器：用于加载外部资源。
文档处理：支持文档的分割、加载和解析（如PoiParser和PdfBoxParser）。
代理系统：支持多种代理，包括LLM代理。
链系统：支持多种执行链，包括顺序链、并行链、循环链等。链结点可设置为代理结点、结束结点、路由结点等，支持多种路由机制（如GroovyRouterNode、QLExpressRouterNode、LLMRouterNode）。

简单聊天示例

Agents-Flex 可以与多种大型语言模型（如OpenAi、Qwen 和 SparkAi）进行对接，实现简单的聊天功能。以下展示了使用不同 LLM 配置的代码示例：

使用 OpenAi LLM：

@Test
public void testChat() {
    OpenAiLlmConfig config = new OpenAiLlmConfig();
    config.setApiKey("sk-rts5NF6n*******");

    Llm llm = new OpenAiLlm(config);
    String response = llm.chat("what is your name?");

    System.out.println(response);
}

使用 Qwen LLM：

@Test
public void testChat() {
    QwenLlmConfig config = new QwenLlmConfig();
    config.setApiKey("sk-28a6be3236****");
    config.setModel("qwen-turbo");

    Llm llm = new QwenLlm(config);
    String response = llm.chat("what is your name?");

    System.out.println(response);
}

使用 SparkAi LLM：

@Test
public void testChat() {
    SparkLlmConfig config = new SparkLlmConfig();
    config.setAppId("****");
    config.setApiKey("****");
    config.setApiSecret("****");

    Llm llm = new SparkLlm(config);
    String response = llm.chat("what is your name?");

    System.out.println(response);
}

带历史记录的聊天

可以通过 Agents-Flex 创建一个带有历史记录的聊天功能，结合用户提供的信息逐步形成对话上下文。

public static void main(String[] args) {
    SparkLlmConfig config = new SparkLlmConfig();
    config.setAppId("****");
    config.setApiKey("****");
    config.setApiSecret("****");

    Llm llm = new SparkLlm(config);

    HistoriesPrompt prompt = new HistoriesPrompt();

    System.out.println("ask for something...");
    Scanner scanner = new Scanner(System.in);
    String userInput = scanner.nextLine();

    while (userInput != null) {
        prompt.addMessage(new HumanMessage(userInput));

        llm.chatStream(prompt, (context, response) -> {
            System.out.println(">>>> " + response.getMessage().getContent());
        });

        userInput = scanner.nextLine();
    }
}

功能调用

Agents-Flex 支持定义和调用自定义函数。在以下示例中，展示了一个查询天气信息的功能调用过程。

步骤1：定义函数

public class WeatherUtil {

    @FunctionDef(name = "get_the_weather_info", description = "get the weather info")
    public static String getWeatherInfo(
        @FunctionParam(name = "city", description = "the city name") String name
    ) {
        return "Today it will be dull and overcast in " + name;
    }
}

步骤2：从LLM调用函数

public static void main(String[] args) {
    OpenAiLlmConfig config = new OpenAiLlmConfig();
    config.setApiKey("sk-rts5NF6n*******");

    OpenAiLlm llm = new OpenAiLlm(config);

    FunctionPrompt prompt = new FunctionPrompt("How is the weather in Beijing today?", WeatherUtil.class);
    FunctionResultResponse response = llm.chat(prompt);

    Object result = response.getFunctionResult();

    System.out.println(result);
    //Today it will be dull and overcast in Beijing
}