Twice-KoSOLAR-16.1B-test

Twice-KoSOLAR-16.1B-test 项目介绍

项目背景

Twice-KoSOLAR-16.1B-test 项目由开发者 Kyujin Han（kyujinpy）领导开发，是一个先进的大型语言模型项目，旨在提升自然语言处理任务的性能。该项目灵感来源于 Depth-Up-Scaling（DUS）方法，该方法在一些语言模型评测中取得了优异成绩，引发了人们对模型合并技术的广泛关注。

模型详情

Twice-KoSOLAR-16.1B-test 是通过合并和扩展现有语言模型的层数而创建的。这个项目中使用的关键模型是 seungduk/KoSOLAR-10.7B-v0.1，这是一个非常受欢迎并在韩语语言模型排行榜中表现卓越的模型。Twice-KoSOLAR-16.1B-test 采用了一种名为 "passthrough" 的合并方法，通过将两个 36 层的模型合并成一个 72 层的模型，从而提升模型的深度和性能。

合并配置

合并过程使用了 Mergekit 工具，其配置如下：

slices:
  - sources:
    - model: seungduk/KoSOLAR-10.7B-v0.1
      layer_range: [0, 36]
  - sources:
    - model: seungduk/KoSOLAR-10.7B-v0.1
      layer_range: [12, 48]
merge_method: passthrough
dtype: float16

这种配置展示了如何使用不同的层范围来构建新的模型，并通过特定的合并方法提升模型的结构复杂性。

性能评估

Twice-KoSOLAR-16.1B-test 在多个语言模型排行榜中进行了性能评估，其中包括韩语和英语的评测。尽管在某些评测中结果为“NaN”，表明缺乏足够的数据或评测，但在其他任务中表现出不错的适应性。

在韩语评测中，其在 BoolQ、COPA、HellaSwag、Sentineg 等任务中取得了较高的准确率。
在某些任务中，它被所有者描述为 "尚待更新"，表明持续的优化和性能评估是该项目发展的一部分。

实施代码

实现模型的代码非常简洁且易于理解，以下是一个使用 transformers 库加载模型的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "PracticeLLM/Twice-KoSOLAR-test"
OpenOrca = AutoModelForCausalLM.from_pretrained(
        repo,
        return_dict=True,
        torch_dtype=torch.float16,
        device_map='auto'
)
OpenOrca_tokenizer = AutoTokenizer.from_pretrained(repo)