CalmeRys-78B-Orpo-v0.1

项目介绍：CalmeRys-78B-Orpo-v0.1

CalmeRys-78B-Orpo-v0.1 是由 dfurman 创建的一个语言模型，它在《MaziyarPanahi/calme-2.4-rys-78b》的基础上进行微调，并使用了名为 mlabonne/orpo-dpo-mix-40k 数据集中的1.5k行数据进行训练。这个模型旨在用于多种文本生成用例，比如支持智能代理功能、角色扮演、推理、多轮对话以及长文本内容的连贯性等。

截至2024年10月，CalmeRys-78B-Orpo-v0.1 在 Open LLM Leaderboard 上排名首位。这一荣誉要感谢 mlabonne 和 MaziyarPanahi 等贡献者提供的数据集和基础模型。

🦾 模型训练

CalmeRys-78B-Orpo-v0.1 的训练实验可以在 W&B 的这个链接中查看。下面是该训练实验的一些可视化图表：

训练图1

训练图2

训练图3

💻 使用方法

安装设置

要使用 CalmeRys-78B-Orpo-v0.1 模型，首先需要安装必要的库并下载模型：

!pip install -qU transformers accelerate bitsandbytes
!huggingface-cli download dfurman/CalmeRys-78B-Orpo-v0.1

然后设置并加载该模型。

例子

以下是几个使用该模型的示例：

示例1

比较两个数字的大小：

question = "9.11 是否大于 9.9？"

messages = [
    {"role": "system", "content": "你是一个会逐步思考的助手。"},
    {"role": "user", "content": question},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

outputs = pipeline(
    prompt, max_new_tokens=1000, do_sample=True, temperature=0.7, top_k=50, top_p=0.95
)

生成结果：

比较这两个数字时，需要查看小数点后的数字。9.11 的小数部分是 1，而 9.9 的小数部分是 9。因为 9 大于 1，所以 9.9 大于 9.11。

示例2

计算面包的剩余数：

question = """Beverly Hills 烘焙店周一早上烤了200个面包。 他们早上卖掉了93个，下午卖掉了39个。 
一家杂货店随后将6个未售出的面包退回给了烘焙店。 
烘焙店还剩下多少个面包？请用如下表格格式简洁地回答问题：
|步骤|子问题|程序|结果|
|:---|:----------|:--------|:-----:|"""

messages = [
    {"role": "system", "content": "你是一个乐于助人的助手。"},
    {"role": "user", "content": question},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

outputs = pipeline(prompt, max_new_tokens=1000, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)

生成结果：

|1|计算总销售量|把早上的销售量和下午的销售量相加|132|
|2|从总数中减去销售量|200 - 132|68|
|3|调整退回的数量|将退回的面包数加到剩余量|74|

示例3

提供一种辣味玛格丽特鸡尾酒的配方：

question = "辣味玛格丽特鸡尾酒的好配方是什么？"

messages = [
    {"role": "system", "content": "你是一个乐于助人的助手。"},
    {"role": "user", "content": question},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

outputs = pipeline(prompt, max_new_tokens=1000, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)

生成结果：

要制作辣味玛格丽特，你需要在经典玛格丽特配方中加入一个辣椒的元素。下面是一个简单的方法：

### 配料:
- 2 盎司龙舌兰酒（白龙舌兰或龙舌兰）
- 1 盎司鲜榨酸橙汁
- 1/2 盎司 Triple Sec（可选 Cointreau 或 Grand Marnier）
- 1/2 盎司龙舌兰糖浆或简单糖浆
- 1-2 片墨西哥胡椒（可以根据个人口味多加）
- 盐和/或辣椒粉，用于杯沿
- 冰
- 一个酸橙轮，做装饰

### 做法：
1. **捣碎墨西哥胡椒**：在调酒器中轻轻捣碎墨西哥胡椒片。这会释放出辣椒的香味和辣味。
2. **加入剩余配料**：加入龙舌兰酒、酸橙汁、Triple Sec和龙舌兰糖浆或简单糖浆。
3. **摇晃并滤出**：在调酒器中加入冰块，并用力摇晃，直到凉爽。滤入边缘涂了盐和/或辣椒粉的杯中，并加入冰块。
4. **装饰和享受**：用酸橙轮装饰，然后享用。