Agents-Flex: Java版LLM应用开发框架的新星

Agents-Flex: 优雅而强大的Java LLM应用开发框架

在人工智能和大型语言模型(LLM)快速发展的今天,如何高效地开发LLM应用成为了许多开发者面临的挑战。Agents-Flex应运而生,作为一个基于Java的LLM应用开发框架,它为开发者提供了一套优雅而强大的工具,大大简化了LLM应用的开发过程。

什么是Agents-Flex?

Agents-Flex是一个开源的Java LLM应用开发框架,其设计理念和功能类似于广受欢迎的LangChain。它旨在为开发者提供一个灵活、可扩展的框架,使得构建复杂的LLM应用变得更加简单和高效。

Agents-Flex Logo

Agents-Flex的主要特性

Agents-Flex提供了丰富的功能和组件,涵盖了LLM应用开发的各个方面:

LLM访问: 支持多种LLM模型的接入和调用。
Prompt管理: 提供Prompt和Prompt模板的管理功能,便于组织和复用提示语。
Function Calling: 支持函数定义、调用和运行,实现LLM与外部功能的无缝集成。
内存管理: 提供对话历史等内存管理功能,增强LLM的上下文理解能力。
Embedding: 支持文本嵌入,为语义搜索和相似度计算提供基础。
向量存储: 集成向量数据库,支持高效的相似度搜索。
资源加载器: 提供各种资源的加载工具,方便导入外部数据。
文档处理:
- 支持文档分割
- 提供文档加载器
- 集成多种文档解析器,如PoiParser和PdfBoxParser
Agent: 实现LLM Agent,支持复杂的任务规划和执行。
Chain: 提供多种类型的Chain,支持复杂的工作流程:
- SequentialChain: 顺序执行的链
- ParallelChain: 并行执行的链
- LoopChain: 循环执行的链
- 各种ChainNode: 如AgentNode、EndNode、RouterNode等

Agents-Flex的架构设计

Agents-Flex采用模块化的架构设计,将各个功能组件划分为不同的模块,以提高代码的可维护性和可扩展性。主要模块包括:

agents-flex-core: 核心功能模块
agents-flex-llm: LLM访问模块
agents-flex-chain: Chain实现模块
agents-flex-document-parser: 文档解析模块
agents-flex-image: 图像处理模块
agents-flex-store: 存储模块
agents-flex-spring-boot-starter: Spring Boot集成模块

Agents-Flex Modules

这种模块化设计使得开发者可以根据需求选择性地引入所需功能,避免不必要的依赖,同时也方便进行功能扩展。

使用Agents-Flex开发LLM应用

下面我们通过几个简单的示例来展示Agents-Flex的使用方法:

1. 简单的聊天应用

使用OpenAI的LLM模型进行简单对话:

@Test
public void testChat() {
    OpenAiLlmConfig config = new OpenAiLlmConfig();
    config.setApiKey("your-api-key");

    Llm llm = new OpenAiLlm(config);
    String response = llm.chat("what is your name?");

    System.out.println(response);
}

2. 带历史记录的对话

实现一个带有对话历史的交互式聊天应用:

public static void main(String[] args) {
    SparkLlmConfig config = new SparkLlmConfig();
    config.setAppId("your-app-id");
    config.setApiKey("your-api-key");
    config.setApiSecret("your-api-secret");

    Llm llm = new SparkLlm(config);

    HistoriesPrompt prompt = new HistoriesPrompt();

    System.out.println("ask for something...");
    Scanner scanner = new Scanner(System.in);
    String userInput = scanner.nextLine();

    while (userInput != null) {
        prompt.addMessage(new HumanMessage(userInput));

        llm.chatStream(prompt, (context, response) -> {
            System.out.println(">>>> " + response.getMessage().getContent());
        });

        userInput = scanner.nextLine();
    }
}

3. Function Calling功能

Agents-Flex支持在LLM中调用自定义函数,实现更复杂的功能:

public class WeatherUtil {
    @FunctionDef(name = "get_the_weather_info", description = "get the weather info")
    public static String getWeatherInfo(
        @FunctionParam(name = "city", description = "the city name") String name
    ) {
        return "Today it will be dull and overcast in " + name;
    }
}

public static void main(String[] args) {
    OpenAiLlmConfig config = new OpenAiLlmConfig();
    config.setApiKey("your-api-key");

    OpenAiLlm llm = new OpenAiLlm(config);

    FunctionPrompt prompt = new FunctionPrompt("How is the weather in Beijing today?", WeatherUtil.class);
    FunctionResultResponse response = llm.chat(prompt);

    Object result = response.getFunctionResult();

    System.out.println(result);
}