Cortex

<p align="center"> <img alt="cortex-cpplogo" src="https://yellow-cdn.veclightyear.com/35dd4d3f/f292ae90-a874-4e5a-8f03-82594d27b357.png"> </p> <p align="center"> <a href="https://jan.ai/cortex">文档</a> - <a href="https://jan.ai/api-reference">API参考</a> - <a href="https://github.com/janhq/cortex/releases">更新日志</a> - <a href="https://github.com/janhq/cortex/issues">错误报告</a> - <a href="https://discord.gg/AsJ8krTT3N">Discord</a> </p>

⚠️ Cortex目前正在开发中：请预期会有重大变化和错误！

关于

Cortex是一个兼容OpenAI的AI引擎，开发者可以用来构建LLM应用。它包含一个类似Docker的命令行界面和客户端库。它可以作为独立服务器使用，也可以作为库导入。

Cortex引擎

Cortex支持以下引擎：

cortex.llamacpp：cortex.llamacpp库是一个C++推理工具，可以在运行时动态加载任何服务器。我们使用这个引擎支持GGUF模型的GGUF推理。llama.cpp在CPU和GPU上都针对性能进行了优化。
cortex.onnx 仓库：cortex.onnx是一个用于Windows的C++推理库，利用onnxruntime-genai并使用DirectML提供广泛硬件和驱动程序的GPU加速，包括AMD、Intel、NVIDIA和Qualcomm的GPU。
cortex.tensorrt-llm：cortex.tensorrt-llm是一个专为NVIDIA GPU设计的C++推理库。它整合了NVIDIA的TensorRT-LLM用于GPU加速的推理。

快速链接

快速开始

前提条件

操作系统：
- MacOSX 13.6或更高版本。
- Windows 10或更高版本。
- Ubuntu 22.04及更高版本。
依赖：
- Node.js：需要18及以上版本来运行安装。
- NPM：需要管理包。
- CPU指令集：可从Cortex GitHub发布页面下载。
- OpenMPI：Linux需安装。使用以下命令安装：
```
sudo apt install openmpi-bin libopenmpi-dev
```

访问快速开始获取开始指南。

NPM

# 使用NPM安装
npm i -g cortexso
# 运行模型
cortex run mistral
# 全局卸载使用NPM
npm uninstall -g cortexso

Homebrew

# 使用Brew安装
brew install cortexso
# 运行模型
cortex run mistral
# 使用Brew卸载
brew uninstall cortexso

你也可以使用Cortex安装程序从GitHub发布页面进行安装。

Cortex服务器

cortex serve

# 输出
# 服务器在http://localhost:1337启动
# Swagger UI可在http://localhost:1337/api访问

你现在可以访问Cortex API服务器http://localhost:1337，以及Swagger UIhttp://localhost:1337/api。

从源代码构建

按照以下步骤从源代码安装Cortex：

克隆Cortex仓库这里。
导航到cortex-js文件夹。
打开终端并运行以下命令来构建Cortex项目：

npx nest build

使command.js可执行：

chmod +x '[path-to]/cortex/cortex-js/dist/src/command.js'

全局链接包：

npm link

Cortex CLI命令

当前可用的CLI命令如下。有关更多信息，请参阅CLI参考文档。


  serve               提供Cortex后端的API端点。
  chat                向模型发送聊天请求。
  init|setup          初始化设置并下载cortex的依赖。
  ps                  显示正在运行的模型及其状态。
  kill                终止正在运行的cortex进程。
  pull|download       下载模型。与HuggingFace模型ID配合使用。
  run [options]       实验性：启动模型和聊天的快捷方式。
  models              用于管理模型的子命令。
  models list         列出所有可用模型。
  models pull         下载指定模型。
  models remove       删除指定模型。
  models get          获取指定模型的配置。
  models start        启动指定模型。
  models stop         停止指定模型。
  models update       更新指定模型的配置。
  benchmark           使用你的系统对特定AI模型进行基准测试和分析其性能。
  presets             显示Cortex中的全部可用模型预设。
  telemetry           获取监控和分析的遥测日志。
  embeddings          创建表示输入文本的嵌入向量。
  engines             管理引擎的子命令。
  engines get         获取引擎的详细信息。
  engines list        获取所有可用的Cortex引擎。
  engines init        设置并下载运行cortex引擎所需的依赖。
  configs             管理配置的子命令。
  configs get         获取配置的详细信息。
  configs list        获取所有可用的配置。
  configs set         设置配置。