Cortex入门指南 - 强大的C++ AI引擎和命令行工具

Cortex简介

Cortex是一个用C++编写的AI引擎,提供Docker风格的命令行界面和客户端库。它支持使用ONNX、TensorRT-LLM和llama.cpp等引擎运行AI模型,可以作为独立服务器运行或集成为库使用。

Cortex目前仍在开发中,可能存在一些bug和突破性变化。但它已经具备了强大的功能,值得AI开发者关注和尝试。

主要功能

Cortex支持以下三种核心引擎:

• cortex.llamacpp:C++推理工具,支持GGUF模型的推理,在CPU和GPU上都有良好的性能优化。
• cortex.onnx:基于onnxruntime-genai的Windows推理库,使用DirectML提供GPU加速。
• cortex.tensorrt-llm:专为NVIDIA GPU设计的推理库,集成了TensorRT-LLM进行GPU加速推理。

安装方法

Cortex提供了多种安装方式:

• MacOS: brew install cortex-engine
• Windows: winget install cortex-engine
• Linux: sudo apt install cortex-engine

也可以从源码构建安装,具体步骤请参考官方文档。

此外,Cortex还提供了JavaScript和Python的客户端库:

• cortex.js
• cortex.py

快速开始

安装完成后,可以通过以下命令快速开始使用Cortex:

# 启动Cortex服务器
cortex

# 启动一个模型
cortex run [model_id]

# 与模型对话
cortex chat [model_id]

支持的模型

Cortex支持多种流行的LLM模型,包括:

• llama.cpp引擎:mistral、llama3、phi3等
• ONNX引擎:gemma、llama3、mistral等
• TensorRT-LLM引擎:llama3、mistral等

完整的支持模型列表可以在Cortex Hub上查看。

常用CLI命令

Cortex提供了丰富的命令行工具,主要包括:

• 模型管理:拉取、启动、停止、删除模型等
• 对话:与模型进行对话
• 嵌入:获取文本嵌入向量
• 引擎管理:安装、配置引擎等

例如:

# 拉取模型
cortex pull [model_id]

# 启动模型 
cortex models start [model_id]

# 与模型对话
cortex chat [options] [model_id] [message]

更多详细的CLI命令说明,请参考官方文档。

REST API

除了CLI,Cortex还提供了REST API,运行在localhost:1337。主要包括:

• 拉取模型
• 启动/停止模型
• 与模型对话
• 获取嵌入向量

API的完整说明文档可以在这里查看。

总结

Cortex是一个功能丰富、易于使用的AI开发工具,适合需要在本地运行和定制AI模型的开发者。它支持多种流行的模型和引擎,提供了便捷的CLI和API接口,大大简化了AI应用的开发流程。

如果您在使用过程中遇到任何问题,可以通过GitHub Issues或Discord社区寻求帮助。Cortex团队也欢迎开发者参与项目贡献,共同推动这个强大工具的发展。