llama_ros

llama_ros 项目介绍

llama_ros 是一个用于将 llama.cpp 集成到 ROS 2 系统中的开源项目。它提供了一组 ROS 2 软件包，能够让开发者轻松将 llama.cpp 的强大优化功能引入到自己的 ROS 2 项目中。通过使用 llama_ros，用户可以运行基于 GGUF 的大型语言模型（LLMs）和视觉语言模型（VLMs），同时也能够实时修改 LoRAs，以及利用 GBNF 语法。

项目背景

ROS 2（机器人操作系统 2）是一个用于编写机器人软件的、灵活的开源框架。而 llama.cpp 提供了强大的语言和视觉处理能力。通过 llama_ros，将这两者结合起来，为机器人应用场景提升智能化处理能力。

功能特性

集成 llama.cpp 功能

• GBNF 语法：支持使用 GBNF 语法进行精细的语言模型处理。
• 实时 LoRA 修改：允许动态调整 LoRA 参数以适应不同的任务和场景。

与其他项目的关联

• chatbot_ros：这是一个使用 whisper_ros 进行听力处理，结合 llama_ros 生成响应的聊天机器人。其控制逻辑由 YASMIN 状态机构建。
• explainable_ros：用于解释机器人行为的工具，通过 LangChain 集成，可以将日志存储在向量数据库中，并使用 RAG 检索与用户问题相关的日志。

安装和使用

安装

为了在有 CUDA 支持的环境中运行 llama_ros，需要先安装 CUDA Toolkit，然后编译 llama_ros：

$ cd ~/ros2_ws/src
$ git clone https://github.com/mgonzs13/llama_ros.git
$ pip3 install -r llama_ros/requirements.txt
$ cd ~/ros2_ws
$ rosdep install --from-paths src --ignore-src -r -y
$ colcon build --cmake-args -DGGML_CUDA=ON # 添加此项开启 CUDA 支持

Docker 支持

用户可以选择自己构建 llama_ros 的 Docker 镜像，或者从 DockerHub 下载已经构建好的镜像：

$ DOCKER_BUILDKIT=0 docker build -t llama_ros --build-arg USE_CUDA=1 --build-arg CUDA_VERSION=12-6 .
$ docker run -it --rm --gpus all llama_ros

使用方法

llama_ros 可以通过命令行工具进行高效操作，以提升在 ROS 2 环境中测试 GGUF-based LLMs 的便捷性。

启动 LLM

可以通过如下命令从 YAML 文件中启动一个 LLM：

$ ros2 llama launch ~/ros2_ws/src/llama_ros/llama_bringup/models/StableLM-Zephyr.yaml

发送 Prompt

通过命令向启动的 LLM 发送 prompt：

$ ros2 llama prompt "Do you know ROS 2?" -t 0.0

进阶使用

LoRA Adapters

在启动 LLM 时，用户可以选择使用 LoRA 适配器，以便在不同任务中按需调整模型的表现。

ROS 2 客户端接口

无论是 llama_ros 还是 llava_ros，都提供了 ROS 2 接口，方便用户在 ROS 2 节点中使用。以下是一些示例：

• Tokenize 和 Detokenize 接口：可以实现对文本的编码和解码操作。
• 生成嵌入和响应：提供生成文本嵌入和响应的服务。

LangChain 集成

通过 llama_ros 的 LangChain 集成，用户可以应用提示工程技术，并从向量数据库检索相关信息。

演示

llama_ros 提供了一些示例演示，展示如何在实际应用中使用其功能：

• LLM Demo：展示如何使用一个简单的 LLM 模型。
• 嵌入生成演示：展示如何生成文本的向量嵌入。
• 重排序演示：展示如何使用重排序服务获取最佳的文本响应。
• VLM Demo：展示视觉语言模型的运行效果。

这个项目为开发者提供了一种将高效的语言和视觉处理集成到机器人项目中的简便方法，可以极大地提升应用的智能化程度。