🔮 Mentals AI

Mentals AI 是一个用于创建和操作具有**循环、记忆和各种工具的代理的工具，所有这些都通过带有 .gen 扩展名的简单markdown**文件实现。可以将代理文件视为可执行文件。你只需专注于代理的逻辑，无需用 Python 或任何其他语言编写脚手架代码。本质上，它重新定义了未来 AI 应用的基础框架。

[!注意]

[进行中] 用于存储你与代理的对话以及你的私人信息的本地向量数据库。请查看 memory 分支。

[进行中] 带有代理、工具和向量存储的 Web 界面

入门指南
与其他框架的区别
核心概念
路线图
理念

📌 示例

由 LLM 控制的自循环单词链游戏：循环中的单词链游戏

NLOP — 自然语言操作

或更复杂的用例：

🔄 任何多代理交互	👾 太空入侵者生成代理	🍄 2D 平台游戏生成代理

或帮助处理内容：

收集特定主题的 YouTube 视频，并将视频、观看次数、频道名称和链接保存到 .csv 文件中；
获取视频的转录并创建目录；
从 Hacker News 获取热门新闻，选择一个主题并在评论者的参与下撰写一篇文章并保存到文件中。

以上所有示例都位于 agents 文件夹中。

[!注意] 对于使用兼容 OpenAI API 的提供商，可以使用 Llama3。

🚀 入门指南

首先，通过创建 OpenAI 账户获取 OpenAI API 密钥。如果你已经有 API 密钥，可以跳过此步骤。

🏗️ 构建和运行

前提条件

在构建项目之前，请确保安装以下依赖项：

libcurl：用于发送 HTTP 请求
libfmt：提供格式化 API
pgvector：PostgreSQL 的向量操作
poppler：用于 PDF 处理

根据你的操作系统，可以使用以下命令安装这些依赖项：

Linux

sudo apt-get update
sudo apt-get install libcurl4-openssl-dev libfmt-dev libpoppler-dev

macOS

brew update
brew install curl fmt poppler

Windows

对于 Windows，建议使用 vcpkg 或类似的包管理器：

vcpkg install curl fmt poppler

pgvector 安装

[!注意] 在 main 分支中可以跳过此步骤

克隆仓库

git clone https://github.com/turing-machines/mentals-ai
cd mentals-ai

配置

将你的 API 密钥放入 config.toml 文件中：

[llm]
# OpenAI
api_key = ""
endpoint = "https://api.openai.com/v1"
model = "gpt-4o"

构建项目

make

运行

./build/mentals agents/loop.gen -d

🆚 与其他框架的区别

Mentals AI 在三个重要方面与其他框架有所不同：

代理执行器 🧠 通过递归循环运作。LLM 根据之前的循环决定下一步：选择指令（提示）和管理数据。这个递归决策过程是我们系统的核心，详见 mentals_system.prompt。
可以使用Markdown创建任何复杂度的代理，无需传统编程语言。但如有必要，可以直接将 Python 集成到代理的Markdown脚本中。
与包含预设推理框架的平台不同，Mentals AI 是一个空白画布。它允许创建和集成你自己的推理框架，包括现有的框架：思维树、ReAct、自我发现、Auto-CoT等。还可以将这些框架链接成更复杂的序列，甚至创建各种推理框架的网络。

🗝️ 核心概念

代理文件是带有 .gen 扩展名的代理指令文本描述。

📖 指令（提示）

指令是 Mentals 中代理的基本组成部分。一个代理可以由一个或多个指令组成，这些指令可以相互引用。 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/4b495350-db53-45eb-b010-0cb505511d1e.png" width="500">

指令可以用自由格式编写，但它们总是有一个以#符号开头的名称。## use:指令用于指定对其他指令的引用。多个引用以逗号分隔列出。

下面是一个包含两个指令root和meme_explain的示例，其中包含一个引用：

# root
## use: meme_explain

1. 创建3个关于AGI的梗图；
2. 然后对每个梗图进行解释；
3. 以列表形式输出梗图及其解释。

# meme_explain

用中世纪风格在20个字内解释梗图的要点。
返回解释。

在这个例子中，root指令调用了meme_explain指令。meme_explain的响应然后返回到调用它的指令，即root。

指令可以接受一个input参数，该参数在调用指令时根据上下文自动生成。要更精确地指定输入数据，你可以在## input:指令中使用自由格式提示，比如JSON对象或null。

使用文档作为输入：

# some_instruction
## input: design document only

使用JSON对象作为输入：

# duckduckgo
## input: { search_query: search query, search_limit: search limit }

编写一个Python脚本在DuckDuckGo中搜索。
正确模拟请求头，例如将user-agent设置为Mozilla和Linux。

[!注意] 指令调用的实现独立于OpenAI的函数或工具调用，这使得代理可以使用Llama3等模型运行。指令调用的实现是透明的，包含在mentals_system.prompt文件中。

🛠️ 工具

工具是一种指令。Mentals有一套原生工具来处理消息输出、用户输入、文件处理、Python解释器、Bash命令和短期记忆。

询问用户示例：

# root
## use: user_input

询问用户名。
然后输出：`欢迎，用户名！`

文件处理示例：

# root
## use: write_file, read_file

将'Hello world'写入文件。
然后读取并输出文件内容。

原生工具的完整列表在native_tools.toml文件中列出。

🧠 工作记忆（上下文）

每个指令都有自己的工作记忆——上下文。默认情况下，退出指令并重新进入时，上下文会被保留。要在退出指令时清除上下文，可以使用## keep_context: false指令：

# meme_explain
## keep_context: false

用中世纪风格在20个字内解释梗图的要点。
返回解释。

默认情况下，指令上下文的大小是不受限制的。要限制上下文，有一个指令## max_context: number，它指定只存储最近的number条消息。较旧的消息将被推出上下文。当你想在上下文中保留最新数据，以便较旧的数据不影响推理链时，这个功能很有用。

# python_code_generation
## input: development tasks in a list
## use: write_file
## max_context: 5

循环完成所有开发任务：逐个任务。
将你实现的Python代码保存在main.py文件中。

⏳ 短期记忆（实验性）

短期记忆允许存储代理活动的中间结果，这些结果随后可用于进一步推理。这个记忆的内容可以在所有指令上下文中访问。

memory工具用于存储数据。存储数据时，会生成一个关键词和内容描述。在下面的例子中，meme_recall指令知道这个梗图，因为它之前被存储在记忆中。

# root
## use: memory, meme_recall

想出并记住一个梗图。
调用梗图回忆。

# meme_recall
## input: nothing

梗图是关于什么的？

⚙️ 控制流：从字符串到算法

控制流，包括条件、指令调用和循环（如ReAct、Auto-CoT等），完全以自然语言表达。这种方法使得创建语义条件来引导数据流分支成为可能。例如，你可以要求代理自主地在循环中玩词链游戏，或者设置一个模糊的退出条件：如果你对结果满意就退出循环。在这里，语言模型及其上下文决定是继续还是停止。所有这些都无需在Python或任何其他编程语言中定义流程逻辑。

⚖️ 思考行动（ReAct）示例

## use: execute_bash_command, software_development, quality_assurance

...
你在"思考"、"行动"、"观察"的循环中运行。
在循环结束时返回最终答案。
使用"思考"来描述你对被问到的任务的想法。
使用"行动"来运行你可用的动作之一。将动作输出为："行动：要调用的动作名称"。
"观察"将是运行这些动作的结果。

你可用的动作：
- `execute_bash_command` 用于实用目的，例如创建目录、安装包等；
- `software_development` 用于软件开发和bug修复目的；
- `quality_assurance` 用于QA测试目的。
...

🌳 思维树（ToT）示例

ToT的理念是生成多个解决问题的想法，然后评估它们的价值。有价值的想法被保留并发展，其他想法被舍弃。

让我们以24游戏为例。24谜题是一个算术谜题，目标是找到一种方法操作四个整数，使最终结果为24。首先，我们定义创建和操作树数据结构的指令。模型知道什么是树，可以用任何格式表示它，从纯文本到XML/JSON或任何自定义格式。

在这个例子中，我们将使用纯文本格式：

# 树
## 输入：例如 "给节点 `A` 添加子节点 `B` 和 `C`"，"移除节点 `D` 及其所有分支"等。
## 使用：记忆
## 保持上下文：否

以格式化文本构建/更新树结构。

在指定操作内更新树结构；
记忆最终树结构。

接下来我们需要用初始数据初始化树，让我们从根指令开始：

# 根
## 使用：树

输入：4 5 8 2
生成8种可能的下一步。
将所有步骤作为节点存储在树中，例如
节点值1："2 + 8 = 10（剩余：8 10 14）"
节点值2："8 / 2 = 4（剩余：4 8 14）"
等等。

调用根指令将建议8种可能的下一步，用前两个数字进行计算，并将这些步骤作为树节点存储。代理的进一步工作会构建一个便于模型理解并推断出最终答案的树。

4 5 8 2
├── 4 + 5 = 9（剩余：9、8、2）
│   └── 舍弃
├── 4 + 8 = 12（剩余：12、5、2）
│   └── 舍弃
├── 4 + 2 = 6（剩余：6、5、8）
│   └── 舍弃
├── 5 + 8 = 13（剩余：13、4、2）
│   └── 舍弃
├── 5 + 2 = 7（剩余：7、4、8）
│   └── (7 - 4) * 8 = 24
├── 8 + 2 = 10（剩余：10、4、5）
│   └── 舍弃
├── 4 * 5 = 20（剩余：20、8、2）
│   └── (20 - 8) * 2 = 24
└── 4 * 8 = 32（剩余：32、5、2）
    └── 舍弃

根据评估，我们找到了两条成功路径得到24：

1. 从节点"5 + 2 = 7（剩余：7、4、8）"，我们得到等式：(7 - 4) * 8 = 24。
2. 从节点"4 * 5 = 20（剩余：20、8、2）"，我们得到等式：(20 - 8) * 2 = 24。

因此，使用输入中所有给定数字的最终等式为：
1. (5 + 2 - 4) * 8 = 24
2. (4 * 5 - 8) * 2 = 24

完整示例包含在agents/tree_structure.gen中