Athene-70B

项目介绍：Llama3-Athene-70B

Llama3-Athene-70B 是一个由 Nexusflow 团队开发的大型语言模型（LLM），采用开放权重并通过强化学习反馈（RLHF）从 Llama-3-70B-Instruct 模型进行训练。该模型在 Chatbot Arena 的代理基准测试 Arena-Hard-Auto 中取得了高分。

开发团队

Llama3-Athene-70B 是由 Nexusflow 团队开发完成的。团队成员包括 Evan Frick、Peter Jin、Tianle Li、Karthik Ganesan、Jian Zhang、Jiantao Jiao 和 Banghua Zhu，他们在人工智能和深度学习领域有着丰富的经验和深厚的专业知识。

模型类型与基础模型

模型类型: 聊天模型
微调自模型: Llama-3-70B-Instruct

授权许可

Llama3-Athene-70B 采用的是 Nexusflow 研究许可，可以在官网上查看 Nexusflow Research License。

性能表现

在 Arena-Hard 基准测试中的评分如下：

模型名称	分数
Claude-3.5-Sonnet (专有)	79.3%
GPT-4o (专有)	79.2%
Athene-70B (开放)	77.8%
Gemini-Pro-1.5 (专有)	72.0%
Gemma-2-27B (开放)	57.0%
Llama-3-70B (开放)	46.6%

使用方法

Athene-70B 使用与 Llama-3-70B-Instruct 相同的聊天模板。以下是一个简单的使用示例，通过 Transformers 库进行文本生成：

import transformers
import torch

model_id = "Nexusflow/Athene-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an Athene Noctura, you can only speak with owl sounds. Whoooo whooo."},
    {"role": "user", "content": "Whooo are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|end_of_text|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

致谢

开发团队对 LMSYS Organization 表示感谢，感谢他们对模型测试的支持。同时也感谢 Meta AI 和开源社区，他们提供的数据集和基础模型为 Athene-70B 的开发奠定了基础。

引用

如果在研究中使用了此模型，请引用以下文献：

@misc{Athene2024,
    title = {Athene-70B: Redefining the Boundaries of Post-Training for Open Models},
    url = {https://nexusflow.ai/blogs/athene},
    author = {Frick, Evan and Jin, Peter and Li, Tianle and Ganesan, Karthik and Zhang, Jian and Jiao, Jiantao and Zhu, Banghua},    
    month = {July},
    year = {2024}
}

更多信息可以访问 Nexusflow 博客。