LLMUnity

LLMUnity 项目介绍

项目概述

LLMUnity 项目是一个开源的 Unity 插件，允许开发者在 Unity 引擎中无缝集成大型语言模型（LLM）。这一项目的目标是让游戏开发者能够创建智能的游戏角色，从而提升游戏的沉浸体验。利用 LLMUnity，玩家可以与具备智能反应的游戏角色进行互动，使游戏过程更加生动和引人入胜。该插件还包括一个增强型检索生成系统（RAG），可以在您的数据中执行语义搜索，从而增强角色的知识。

主要特点

跨平台支持：支持在 Windows、Linux、macOS 和 Android 系统上使用。
本地运行：不需要互联网连接即可运行，确保游戏数据永远不会离开游戏。
快速推断：在 CPU 和 GPU 上均可快速进行推断（支持 Nvidia、AMD 和 Apple Metal）。
广泛的模型支持：支持所有主要的 LLM 模型。
简单易用：设置简便，功能调用仅需一行代码。
免费使用：可用于个人和商业目的。

实现与技术

LLMUnity 是基于开源的 llama.cpp 库构建的，它通过高性能的推断能力实现了大型语言模型功能的集成。此外，该项目还有精选的语义搜索功能，使得开发者可以在游戏场景中有效地使用语料库进行搜索和信息提取。

使用方法

要在 Unity 中使用 LLMUnity 插件，可以按照以下步骤进行安装和设置：

安装插件：
- 通过 Unity Asset Store 或直接从 GitHub 下载并导入 LLMUnity 包。
初始设置：
- 在游戏项目中创建一个空的 GameObject，并在其 Inspector 中添加 LLM 和 LLMCharacter 脚本。
- 下载或加载一个预设语言模型。
- 设置 AI 角色的角色信息和交互逻辑。
脚本交互：

using LLMUnity;

public class MyScript {
  public LLMCharacter llmCharacter;
  
  void HandleReply(string reply){
    Debug.Log(reply);
  }
  
  void Game(){
    string message = "Hello bot!";
    _ = llmCharacter.Chat(message, HandleReply);
  }
}