wenxin-starter: 高性能文心一言&文心千帆大模型的Spring Boot Starter

wenxin-starter

wenxin-starter: 连接百度大模型的开发利器

在人工智能快速发展的今天，百度推出的文心一言和文心千帆大模型为开发者提供了强大的AI能力。然而,如何快速高效地将这些能力整合到现有的Spring Boot项目中,一直是开发者面临的挑战。幸运的是,wenxin-starter的出现为我们提供了完美的解决方案。

什么是wenxin-starter?

wenxin-starter是一款基于Spring Boot的高性能starter,专门用于连接百度文心一言和文心千帆大模型。它的设计理念是帮助开发者以最简单、最高效的方式接入百度的AI能力,大大降低了开发难度和时间成本。

wenxin-starter logo

wenxin-starter的主要特性

完整API支持: wenxin-starter完整对接了文心千帆的官方API文档,确保你可以使用百度大模型的所有功能。
多功能支持: 不仅支持文本生成,还支持文生图、连续对话等高级功能,满足各种AI应用场景的需求。
流式返回: 支持对话的流式返回,提供更加流畅的用户体验。
内置对话记忆: 自动保存对话历史,让AI更好地理解上下文,提供连贯的对话体验。
QPS控制: 支持对单个模型的QPS(每秒查询率)进行精确控制,有效管理API调用频率。
排队机制: 内置排队机制,在高并发场景下也能保证请求的有序处理。

快速开始使用wenxin-starter

要开始使用wenxin-starter,只需要几个简单的步骤:

添加依赖: 在你的Maven项目中添加以下依赖:

<dependency>
  <groupId>io.github.gemingjia</groupId>
  <artifactId>wenxin-starter</artifactId>
  <version>2.0.0-beta4</version>
</dependency>

或者在Gradle项目中:

dependencies {
  implementation 'io.github.gemingjia:wenxin-starter:2.0.0-beta4' 
}

配置access-token: 在application.yml中添加你的百度AI平台access-token:

gear:
  wenxin:
    access-token: xx.xxxxxxxxxx.xxxxxx.xxxxxxx.xxxxx-xxxx

或者使用API Key和Secret Key(推荐):

gear:
  wenxin:
    api-key: xxxxxxxxxxxxxxxxxxx
    secret-key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxx

创建客户端: 使用@Configuration注解创建一个配置类,在其中定义你需要的模型客户端:

@Configuration
public class ClientConfig {

    @Bean
    @Qualifier("Ernie")
    public ChatModel ernieClient() {
        ModelConfig modelConfig = new ModelConfig();
        modelConfig.setModelName("Ernie");
        modelConfig.setModelUrl("https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions");
        
        // 可选:设置模型特定的access-token
        modelConfig.setAccessToken("xx.xx.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx");
        
        // 设置模型的请求头信息
        ModelHeader modelHeader = new ModelHeader();
        modelHeader.set_X_Ratelimit_Limit_Requests(100);
        modelHeader.set_X_Ratelimit_Limit_Tokens(2000);
        modelHeader.set_X_Ratelimit_Remaining_Requests(1000);
        modelHeader.set_X_Ratelimit_Remaining_Tokens(5000);
        
        modelConfig.setModelHeader(modelHeader);
        
        return new ChatClient(modelConfig);
    }
}

使用客户端: 在你的Controller或Service中注入并使用客户端:

@RestController
public class ChatController {

    @Resource
    @Qualifier("Ernie")
    private ChatModel chatClient;
    
    @GetMapping(value = "/stream/chats", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> chatSingleStream(@RequestParam String msg, @RequestParam String uid) {
        Flux<ChatResponse> responseFlux = chatClient.chatsStream(msg, uid);
        return responseFlux.map(ChatResponse::getResult);
    }
}