EXAONE 3.0

<br> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/db50f6a5-050a-49ed-8d06-559e7e940ae9.png", width="400", style="margin: 40 auto;"> <br> <p align="center"> 🤗 <a href="https://huggingface.co/LGAI-EXAONE">HuggingFace</a> &nbsp | &nbsp 📝 <a href="https://www.lgresearch.ai/blog/view?seq=460"> 博客</a> &nbsp | &nbsp 📑 <a href="https://arxiv.org/abs/2408.03541"> 技术报告 </a> <br> <br>

简介

我们推出了EXAONE-3.0-7.8B-Instruct，这是一个预训练并经过指令微调的双语（英语和韩语）生成模型，拥有78亿参数。 该模型经过8万亿精选标记的预训练，并通过监督微调和直接偏好优化进行后训练。 在与其他同等规模的最先进开放模型相比，它展现出极具竞争力的基准性能。

<br>

新闻

• 2024.08.08: :wave: :wave: 我们修订了我们的许可证以振兴研究生态系统。:wave: :wave:
• 2024.08.07: 我们发布了EXAONE 3.0 7.8B指令微调模型。查看📑技术报告！

<br>

性能

以下展示了一些实验结果。完整的评估结果可以在技术报告中找到。

语言	基准测试	EXAONE 3.0 <br>7.8B Inst.	Llama 3.1 <br>8B Inst.	Gemma 2 <br>9B Inst.	QWEN 2 <br>7B Inst.	Phi 3 <br>7B Inst.	Mistral 7B <br>Inst.
英语	MT-Bench	9.01	7.95	8.52	8.41	8.52	7.72
	Arena-Hard-v0.1	46.8	28.0	42.1	21.7	29.1	16.2
	WildBench	48.2	34.5	41.5	34.9	32.8	29.0
	AlpacaEval 2.0 LC	45.0	31.5	47.5	24.5	37.1	31.0
韩语	KoMT-Bench1	8.92	6.06	7.92	7.69	4.87	5.20
	LogicKor	8.62	5.40	8.07	6.12	3.76	3.42

<br>

要求

• 对于EXAONE 3.0模型，需要transformers>=4.41.0。推荐使用最新版本。

<br>

快速开始

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct")

# 选择你的提示
prompt = "Explain who you are"  # 英文示例
prompt = "너의 소원을 말해봐"   # 韩文示例

messages = [
    {"role": "system", "content": "你是来自LG AI研究院的EXAONE模型，一个乐于助人的助手。"},
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128
)
print(tokenizer.decode(output[0]))

[!注意] EXAONE 3.0指令调优语言模型经过训练以利用系统提示， 因此我们强烈建议使用上述代码片段中提供的系统提示。

<br>

局限性

EXAONE语言模型存在某些局限性，有时可能会生成不恰当的回应。该语言模型基于标记的输出概率生成回应，这是在从训练数据学习过程中确定的。尽管我们已尽力从训练数据中排除个人、有害和偏见信息，但某些有问题的内容可能仍然包含在内，可能导致不良回应。请注意，EXAONE语言模型生成的文本并不反映LG AI研究院的观点。

• 可能会生成不恰当的回答，其中包含个人、有害或其他不适当的信息。
• 可能会生成带有偏见的回应，这些偏见与年龄、性别、种族等相关。
• 生成的回应严重依赖训练数据的统计信息，可能导致生成语义或语法不正确的句子。
• 由于模型不反映最新信息，回应可能是错误的或自相矛盾的。

LG AI研究院致力于减少EXAONE语言模型可能带来的潜在风险。在使用EXAONE语言模型时，用户不得参与任何可能诱导创建违反LG AI道德原则的不当输出的恶意活动（例如，输入非法信息）。

<br>

许可证

该模型根据EXAONE AI模型许可协议1.1 - NC授权。

<br>

引用

@article{exaone-3.0-7.8B-instruct,
  title={EXAONE 3.0 7.8B指令调优语言模型},
  author={LG AI研究院},
  journal={arXiv预印本 arXiv:2408.03541},
  year={2024}
}

<br>

联系方式

LG AI研究院技术支持：contact_us@lgresearch.ai

Footnotes

1. KoMT-Bench是通过将MT-Bench翻译成韩语创建的数据集；更多详情请参阅README。 ↩