llama_cpp.rb

llama_cpp.rb 为 llama.cpp 提供 Ruby 绑定。

这个 gem 仍在开发中，未来可能会有很多变化。

安装

安装 llama.cpp。如果你使用 homebrew，可以通过执行以下命令安装：

$ brew install llama.cpp

通过执行以下命令安装 gem 并将其添加到应用程序的 Gemfile 中：

$ bundle config --local build.llama_cpp "--with-opt-dir=/opt/homebrew/"
$ bundle add llama_cpp

如果不使用 bundler 管理依赖，可以通过执行以下命令安装 gem：

$ gem install llama_cpp -- --with-opt-dir=/opt/homebrew

使用方法

参考 llama.cpp README 中的使用部分 准备量化模型。 例如，你可以基于 open_llama_7b 或者在 Ruby 上下文中更有用的小型模型如 tiny_llama_1b 准备量化模型：

$ cd ~/
$ brew install git-lfs
$ git lfs install
$ git clone https://github.com/ggerganov/llama.cpp.git
$ cd llama.cpp
$ python3 -m pip install -r requirements.txt
$ cd models
$ git clone https://huggingface.co/openlm-research/open_llama_7b
$ cd ../
$ python3 convert-hf-to-gguf.py models/open_llama_7b
$ make
$ ./llama-quantize ./models/open_llama_7b/ggml-model-f16.gguf ./models/open_llama_7b/ggml-model-q4_0.bin q4_0

以下是使用量化模型生成句子的 Ruby 代码示例：

require 'llama_cpp'

model_params = LLaMACpp::ModelParams.new
model = LLaMACpp::Model.new(model_path: '/home/user/llama.cpp/models/open_llama_7b/ggml-model-q4_0.bin', params: model_params)

context_params = LLaMACpp::ContextParams.new
context_params.seed = 42
context = LLaMACpp::Context.new(model: model, params: context_params)

puts LLaMACpp.generate(context, 'Hello, World.')

示例

在 examples 目录中有一个允许类似 ChatGPT 交互式通信的示例程序。

$ git clone https://github.com/yoshoku/llama_cpp.rb.git
$ cd examples
$ bundle install
$ ruby chat.rb --model /home/user/llama.cpp/models/open_llama_7b/ggml-model-q4_0.bin --seed 2023
...
User: Who is the originator of the Ruby programming language?
Bob: The originator of the Ruby programming language is Mr. Yukihiro Matsumoto.
User:

使用 Hugging Face 上的 Vicuna 模型 也可以进行日语聊天。

$ wget https://huggingface.co/CRD716/ggml-vicuna-1.1-quantized/resolve/main/ggml-vicuna-7b-1.1-q4_0.bin
$ ruby chat.rb --model ggml-vicuna-7b-1.1-q4_0.bin --file prompt_jp.txt

贡献

欢迎在 GitHub 上提交错误报告和拉取请求：https://github.com/yoshoku/llama_cpp.rb。 本项目旨在成为一个安全、友好的合作空间， 贡献者应遵守 行为准则。

许可证

该 gem 在 MIT 许可证 条款下作为开源软件提供。

行为准则

所有在 LlamaCpp 项目的代码库、问题跟踪器、 聊天室和邮件列表中进行互动的人都应遵守 行为准则。