prompts-royale

项目介绍：Prompts Royale

在生成提示词时，提示工程往往是一个反复测试的过程。即使我们选定了一个提示词，也很难通过测试用例和其他可能的提示词来确保我们为模型提供了最佳指令。

Prompts Royale 是一款应用程序，它使生成提示词的过程变得简单而高效。用户可以非常轻松地创建多个提示词候选项，甚至自己编写提示词，并且通过一系列“对决”从中选出最佳的提示词。因此，提示词的迭代过程显得更加简单和可靠。

用户只需描述想要完成的任务，提供一些场景和预期输出，然后坐看精彩的提示词对决。

功能介绍

• 自动生成提示词：根据用户的描述和测试用例场景生成提示词候选项，用户也可以输入自己的提示词。
• 自动生成测试用例：从描述中自动生成测试用例，帮助用户更加快速地进行测试。
• 蒙特卡罗匹配和 Elo 评分：使用蒙特卡罗方法进行匹配，确保通过最少的对决获取最多的信息，并使用 Elo 评分系统基于获胜情况和对战对象对候选项进行合理排名。
• 完全可定制：设置页面允许用户调整应用程序的各种参数。
• 本地和安全：所有数据存储在本地，并通过浏览器向 LLMs API 发送请求。

如何使用

用户可以通过访问 promptsroyale.com 使用 Prompts Royale，或者克隆代码库并本地运行。

系统要求

• Node.js v16+

本地运行步骤

1. 克隆代码库：

   git clone git@github.com:meistrari/prompts-royale.git

2. 安装依赖项（使用 Bun 进行依赖管理）：

   bun i

3. 启动服务器：

   bun run dev

示例用例

以下是一个使用场景的示例：

描述

创建一个用于网站标题的提示词。

示例场景与预期输出

• 场景 1: 汽车经销商网站

  • 预期输出: 用最优价格找到您梦想中的汽车

• 场景 2: 数据分析 SaaS 网站

  • **预期输出:**您的数据，您的洞察，您的方式

• 场景 3: 动物园网站

  • 预期输出: 世界动物，尽在一地

通过这些任务描述和测试用例，用户可以生成多种提示词候选项，这些候选项会经过系统的对决机制进行排名。此外，用户也可以根据自己的想法直接编写提示词。

工作原理

在 Prompts Royale 中，每个提示词用一个正态分布表示，初始的均值为1000，标准差为350，这代表提示词的 Elo 评分。

应用程序使用蒙特卡罗采样来进行对决，每场对决中，两个候选提示词各自回答所有的测试用例，然后一个独立的提示词评估哪一方的回答更好。之后，依据战斗结果更新提示词的 Elo 评分。

该系统通过这样的方法确保每个提示词的质量和排名都是有依据和可信赖的。

致谢

Prompts Royale 受到了 https://github.com/mshumer/gpt-prompt-engineer 的启发，感谢他们的贡献！