refact

项目介绍：refact

Refact 是一个开源项目，致力于帮助开发者自行调试和托管代码模型，并在代码插件中实现代码补全和聊天功能。这个项目的核心模块是 Refact WebUI，它使得用户能够微调和自托管代码模型。这些模型可以通过 Refact 插件在各种开发环境中使用，如代码补全功能以及沟通接口。

项目特色

• 开源代码模型的微调与自托管：用户可以轻松上传、下载并管理 Lloras（模型文件），在本地或远程服务器上快速部署。
• 模型分片和共享：允许用户在一台 GPU 上托管多个小型模型，有效利用硬件资源。
• 开放的 API 接入：可以通过 OpenAI 和 Anthropic 的 API 密钥连接 GPT 模型，实现更智能的会话功能。

如何运行 Refact 自托管

项目提供了一个预构建的 Docker 镜像，是运行自托管服务器的最简单方式。用户仅需安装支持 NVidia GPU 的 Docker，即可运行服务器。以下是启动 Docker 容器的基本命令：

docker run -d --rm --gpus all --shm-size=256m -p 8008:8008 -v refact-perm-storage:/perm_storage smallcloud/refact_self_hosting:latest

在启动后，可通过浏览器访问 http://127.0.0.1:8008 来查看服务器 Web GUI。

插件设置

Refact 提供适用于 VS Code 和 JetBrains 的插件。用户可以在插件设置中配置自定义推理 URL，例如 http://127.0.0.1:8008，以便与本地托管的模型进行交互。

支持的模型

Refact 支持多种模型，包括：

• Refact/1.6B 和 starcoder2 系列等基础模型，适用于代码补全及微调。
• deepseek-coder 系列等用于代码补全的模型。
• magicoder 和 mistral 等用于聊天功能的模型。

使用许可

该项目免费供个人及小型团队使用，并遵循 BSD-3-Clause 许可证。如果需要企业授权和支持，可以通过 Refact 官方网站的联系方式进行咨询。

社区与支持

Refact 鼓励开发者参与社区贡献，开发者可以通过 GitHub 提交问题或参与讨论。此外，项目还有 Discord 社群和 Twitter 平台，随时发布产品新闻和更新信息，为用户提供便利的支持。

通过使用 Refact 项目，开发者能够在代码开发中获得更智能的工具支持，提升工作效率和代码质量。无论是对学习 AI 模型如何应用于实际开发中，还是提升自己的项目开发能力，Refact 都是一个理想的选择。