realtime-bakllava

项目介绍：Realtime-bakllava

Realtime-bakllava 是一个提供实时图像处理的项目，结合了 C++ 的 Llama 和人工智能技术，旨在为用户带来轻松有趣的体验。项目的特色是可以通过摄像头流或静态图片进行处理，适用于使用 macOS 和 Apple 硅芯片的环境。

项目背景

Realtime-bakllava 是在 Bakllava Llama C++ 教程的基础上构建的。这是一款特别为那些喜欢使用 C++ 开发和想要探索 AI 技术的开发者准备的工具。它鼓励开发者在一个趣味十足的环境中学习并运用图像处理技术。

项目安装步骤

为了运行 Realtime-bakllava，用户首先需要安装 Llama C++ 和下载相关的模型文件。

安装 Llama C++

1. 克隆 Llama C++ 源代码：

   git clone https://github.com/ggerganov/llama.cpp
   cd llama.cpp

2. 在 Linux 和 macOS 上，通过以下方法构建程序：

   • 使用 make：

     make

   • 或者使用 cmake：

     cmake --build . --config Release

下载并设置模型

1. 从 Hugging Face 下载必须的模型文件：[ggml-model-q4_k.gguf] 和 [mmproj-model-f16.gguf]。
2. 将这两个文件的路径复制下来。
3. 在 Llama C++ 目录中运行以下命令（替换为具体路径）来启动服务器：
   • 在 macOS 上：

     ./server -m YOUR_PATH/ggml-model-q4_k.gguf --mmproj YOUR_PATH/mmproj-model-f16.gguf -ngl 1

   • 在 Windows 上：

     server.exe -m REPLACE_WITH_YOUR_PATH\ggml-model-q4_k.gguf --mmproj REPLACE_WITH_YOUR_PATH\mmproj-model-f16.gguf -ngl 1

4. 服务器启动后，应始终在后台保持运行。

运行演示应用

接下来，用户可以通过以下步骤来使用演示应用：

1. 打开新终端窗口并克隆 demo 应用：

   git clone https://github.com/Fuzzy-Search/realtime-bakllava.git
   cd realtime-bakllava

2. （可选）创建和激活新的 Python 虚拟环境：

   python3 -m venv bakllava-venv
   source bakllava-venv/bin/activate
   pip3 install -r requirements.txt

3. 摄像头脚本： 使用摄像头进行实时流处理：

   python3 src/video_stream.py

4. 静态图片处理： 通过简单的图片拖放来进行处理：

   pip install -r picture_requirements.txt
   python src/picture_drop.py --path src/sample_pic.png

结尾

这一项目不仅仅是学习 C++ AI开发的好机会，它也为用户提供了一个生动有趣的操作环境，让人们享受通过图像处理技术带来的无限可能性。

星标历史

Realtime-bakllava 项目的受欢迎程度可以通过以下星标历史图来观测：

无论你是初学者还是有经验的开发者，如果你对图像处理和 AI 技术感兴趣，Realtime-bakllava 都会是一个具有吸引力的项目！