rulm

项目介绍：rulm

rulm项目专注于俄罗斯语言模型的实施与比较，旨在提供多种基于俄罗斯语的数据集、模型及其比较分析工具。通过这一系列的模型与工具，人们可以更好地理解和利用语言模型在俄罗斯语环境中的表现和潜力。

RuTurboAlpaca

数据集

RuTurboAlpaca的数据集来自由ChatGPT生成的俄语指令，遵循与原始Alpaca项目相同的原则。数据集的生成采用了GPT-3.5-turbo模型，用户可以通过提供的脚本自行产生类似的数据集。

• 数据集链接
• 示例指令包括任务、给定条件和回答三个部分，帮助用户理解和使用数据集。

模型

RuTurboAlpaca项目使用了一系列基于LLaMA的模型，如LLaMA-7b和LLaMA-13b。这些模型主要用于俄语和英语的Alpaca训练，具体的训练配置信息和基准模型也已提供。

• llama_7b_ru_turbo_alpaca_lora
• llama_13b_ru_turbo_alpaca_lora

Saiga

数据集

Saiga项目的数据集由ChatGPT生成的俄语对话构成，设计灵感源自Baize论文。这些数据集重点关注真实和互动性的对话场景，涵盖了不同的话题与情境。

• 数据集链接
• 示例通过用户与Bot的对话呈现，有助于理解交互的自然流畅。

模型

Saiga提供了一系列先进的LLaMA基础模型，这些模型经过优化和训练，支持多种规格，包括7b、13b、30b等版本。

• saiga_7b_lora
• saiga_13b_lora

这些模型训练的数据集来自多个来源，包括ru_turbo_saiga、ru_sharegpt_cleaned等，大大增强了模型适应俄语环境的能力。

GPT Role-play Realm

数据集

该部分的数据集由超过200个GPT生成的角色构成，每个角色都有20个相关的对话。这些角色各具特色，包括背景故事和对话示例，有助于角色扮演和交互的研究。

• 数据集链接
• 通过示例中角色的问候语和对话，用户可以更好地了解角色扮演的潜在应用场景。

评价与测试

rulm项目进行了多方位的模型评估。利用Toloka平台对不同模型进行了对比测试，包括新旧模型的对比，测试各种模型的性能表现。此外，还提供了RussianSuperGLUE作为评估基准，为用户提供更为细致的性能参考。

捐赠

为了支持项目继续发展，任何非俄罗斯地区的用户可以选择通过 PayPal 进行捐赠；在俄罗斯的用户则可以通过 Cloudtips 捐赠。

通过这一系列的工具和资源，rulm项目正推进俄罗斯语言建模能力的发展与研究，使得更多的开发者与研究者能够深入探索和利用这些数据和模型。