Gollama入门指南 - Ollama模型管理工具

Gollama:便捷的Ollama模型管理工具

Gollama是一款专为macOS和Linux设计的Ollama模型管理工具。它提供了一个直观的文本用户界面(TUI),让用户可以轻松地列出、检查、删除、复制和推送Ollama模型,同时还可以选择性地将模型链接到LM Studio。

主要特性

• 列出可用模型
• 显示模型元数据(大小、量化级别、模型系列、修改日期等)
• 编辑/更新模型的Modelfile
• 按名称、大小、修改日期、量化级别、系列等对模型进行排序
• 选择和删除模型
• 运行和卸载模型
• 检查模型的详细信息
• 计算模型的近似vRAM使用量
• 将模型链接到LM Studio
• 复制/重命名模型
• 将模型推送到注册表
• 显示正在运行的模型

安装

从Go安装:

go install github.com/sammcj/gollama@HEAD

从GitHub安装:

1. 从发布页面下载最新版本
2. 解压二进制文件到PATH目录中

例如:

zip -d gollama*.zip -d gollama && mv gollama /usr/local/bin

使用方法

运行gollama应用程序:

gollama

提示:可以为gollama设置别名以快速访问:

echo "alias g=gollama" >> ~/.zshrc

主要快捷键

• Space: 选择
• Enter: 运行模型(Ollama run)
• i: 检查模型
• t: 显示运行中的模型
• D: 删除模型
• e: 编辑模型
• c: 复制模型
• U: 卸载所有模型
• p: 拉取现有模型
• g: 拉取新模型
• P: 推送模型
• n: 按名称排序
• s: 按大小排序
• m: 按修改时间排序
• k: 按量化级别排序
• f: 按系列排序
• l: 将模型链接到LM Studio
• L: 将所有模型链接到LM Studio
• q: 退出

命令行选项

• -l: 列出所有可用的Ollama模型并退出
• -s <搜索词>: 按名称搜索模型
• -e <模型>: 编辑模型的Modelfile
• --vram: 估算现有Ollama模型或huggingface模型ID的vRAM使用量

vRAM估算功能

Gollama包含一个全面的vRAM估算功能:

• 计算已拉取的Ollama模型或huggingface模型ID的vRAM使用量
• 确定给定vRAM约束下的最大上下文长度
• 为给定的vRAM和上下文约束找到最佳量化设置
• 显示不同k/v缓存量化选项的估算值(fp16, q8_0, q4_0)
• 自动检测可用的CUDA vRAM或系统RAM

通过Gollama,用户可以轻松管理和优化他们的Ollama模型,提高工作效率。无论您是AI开发人员还是模型使用者,Gollama都能为您提供便捷的模型管理体验。