泰米尔-Llama：聚焦泰米尔语的LLaMA系列语言模型

描述

本仓库包含"泰米尔-Llama"项目的代码和模型，该项目致力于提高泰米尔语的语言模型性能。它建立在开源的LLaMA模型之上，引入了额外的泰米尔词汇并采用LoRA方法进行高效训练。详情请查看技术报告。

技术报告: https://arxiv.org/abs/2311.05845

如果您欣赏这项工作并希望支持其持续发展，请考虑请我喝杯咖啡。您的支持是无价的,我们深表感谢。

更新

2024年2月25日

基于相同框架,对谷歌的Gemma 2B模型进行了泰米尔语适配(实验版本)。详情请见此LinkedIn帖子。

注意: 我已迁移到Llama-Factory进行预训练,以及Axolotl进行微调。

Gemma的词汇量已经有256k,几乎没有泰米尔语词汇,因此不需要扩充词汇。
在所有可用的泰米尔语维基百科数据上进行3轮持续预训练。
在泰米尔语Alpaca和英语Alpaca混合数据上进行5轮微调。
该模型在2023年2月的Open LLM排行榜上位列参数小于3B的模型之首。

下载链接:

2024年1月23日

详情请阅读此详细博文。

泰米尔 LLaMA v0.2 模型已发布。与之前版本相比,这是一个重大升级。
- 泰米尔 LLaMA 现在是双语的,可以流畅地用英语和泰米尔语进行回应。
- 更好的分词器。
- 更好的基础模型。
- 更好的微调数据集和性能。
- 我们的模型在几乎所有基准测试中都能匹配或超越Meta的 LLaMA 2。
采用相同的方法,首批泰卢固语和马拉雅拉姆语的 LLaMA 模型也已发布。

可用模型

模型	类型	数据量	基础模型	参数量	下载链接
泰米尔 LLaMA 7B 基础模型	基础模型	12GB	LLaMA 7B	7B	HF Hub
泰米尔 LLaMA 13B 基础模型	基础模型	4GB	LLaMA 13B	13B	HF Hub
泰米尔 LLaMA 7B 指令模型	指令跟随模型	145k条指令	泰米尔 LLaMA 7B 基础模型	7B	HF Hub
泰米尔 LLaMA 13B 指令模型	指令跟随模型	145k条指令	泰米尔 LLaMA 13B 基础模型	13B	HF Hub

可用模型的量化版本

模型	格式	比特数	下载链接
泰米尔 LLaMA 7B 基础模型	GGUF	Q4_K_M, Q5_K_M, Q8_0	HF Hub
泰米尔 LLaMA 13B 基础模型	GGUF	Q4_K_M, Q5_K_M, Q8_0	HF Hub
泰米尔 LLaMA 7B 指令模型	GGUF	Q4_K_M, Q5_K_M, Q8_0	HF Hub
泰米尔 LLaMA 13B 指令模型	GGUF	Q4_K_M, Q5_K_M, Q8_0	HF Hub

基准测试结果

使用HuggingFace Open LLM Leaderboard计算得分。

注意: 这些基准测试评估英语推理能力,尽管泰米尔 LLaMA 模型未在优质的英语推理任务上进行训练,但在大多数基准测试中仍表现不错。

模型	平均分	ARC	HellaSwag	MMLU	TruthfulQA	Winogrande	GSM8K
泰米尔 LLaMA 13B 指令模型	51.59	54.52	79.35	50.37	41.22	76.56	7.51
泰米尔 LLaMA 13B 基础模型	49.5	52.82	79.95	52.05	36.56	75.61	0
泰米尔 LLaMA 7B 指令模型	45.52	48.04	70.97	39.95	41.7	70.64	1.82
泰米尔 LLaMA 7B 基础模型	44.52	46.67	72.85	40.95	35.93	70.72	0

演示

更新: 现在本项目有一个Google Colab演示,可用于泰米尔/泰卢固/马拉雅拉姆LLaMAs。点击这里打开Colab笔记本。

一个简单的泰米尔-LLaMA-7B-Instruct-v0.1交互式演示托管在HuggingFace空间: abhinand/tamil-llama-playground

入门

使用 LMStudio:

LM Studio是一个易于使用且功能强大的Windows和macOS(Silicon)本地GUI,支持GPU加速。Linux版本也在测试中(截至2023年11月27日)。

下载并安装 LM Studio: 首先从官网下载 LM Studio。
定位泰米尔 Llama 模型: 安装完成后,打开 LM Studio 并使用搜索栏找到"泰米尔 Llama"模型。或者如果你有GGUF模型ID,可以直接粘贴到搜索栏。
下载合适的模型版本: 根据您系统的规格,选择合适的泰米尔 Llama 模型版本。点击"下载"按钮开始下载过程。
导入预设的JSON文件: 下载模型后,在LM Studio的'聊天'选项卡中。在设置中,找到'预设'菜单并点击下拉框。选择"从文件导入预设"并导入位于仓库中config/lm_studio/model_config.json的预设JSON文件。
选择并加载模型: 点击位于顶部栏上的"选择要加载的模型"。从列表中选择您之前下载的Tamil Llama变体。
与模型进行对话: Tamil Llama模型现已可供使用。您可以在LM Studio的聊天区域开始与之交谈。

与Ollama一起使用:

验证Ollama安装: 首先确保Ollama已正确安装在您的系统上。如果未安装,请从官方源下载安装。
下载模型文件: 访问GitHub仓库并下载Modelfile。这个文件是在Ollama中设置Tamil Llama模型所需的。
准备工作目录: 将下载的Modelfile和模型的GGUF文件放在同一目录中。使用终端中的cd命令切换到相应的目录。
下载Tamil Llama模型: 在终端中执行以下命令,从GitHub仓库下载所需的Tamil Llama模型:
```
curl -L https://huggingface.co/abhinand/tamil-llama-7b-instruct-v0.1-gguf/resolve/main/tamil-llama-7b-v0.1-q8_0.gguf -o tamil-llama.gguf
```
该命令将Tamil Llama模型的GGUF文件下载并保存为当前目录中的tamil-llama.gguf。
在Ollama中导入和运行模型: 下载模型后,使用以下命令在Ollama中创建和运行Tamil Llama模型:
```
ollama create tamil-llama -f Modelfile
```
该命令将Tamil Llama模型导入Ollama并准备使用。

根据系统功能,也可以在Modelfile中配置以下参数:

PARAMETER num_thread 8
PARAMETER num_gpu 0

有关Modelfile可用参数的更多信息,请查看官方文档。

数据集

该仓库包含Tamil语言版本的Alpaca数据集和OpenOrca数据集的子集,用于指令微调和评估。

Tamil Alpaca: abhinand/tamil-alpaca

Tamil Alpaca Orca: abhinand/tamil-alpaca-orca

Tamil LLaMA Eval: abhinand/tamil-llama-eval

指令模型的提示格式

无输入的提示模板

{system_prompt}

### 指令:
{instruction or query}

### 回复:
{response}

有输入的提示模板

{system_prompt}

### 指令:
{instruction or query}

### 输入:
{input}

### 回复:
{response}

使用注意事项

请注意,这些模型尚未经过去毒化处理。因此,尽管它们具有出色的语言能力,但可能会产生被认为有害或冒犯性的内容。我们敦促用户谨慎使用,并密切监控模型的输出,尤其是在公共或敏感应用中。

贡献

我们欢迎您对该项目做出贡献。如果您有任何建议或改进,请开启一个issue或提交一个pull request。

许可证

该项目采用GNU GPL v3.0许可证 - 详见LICENSE.md文件。

重要提示: GPL 3.0许可证仅适用于提供的源代码和数据集。由于本项目是Meta的LLaMA 2模型的衍生产品,因此受LLaMA 2原始许可证的约束,这无法更改。因此,有关模型许可证的详细信息,请查阅LLAMA2-LICENSE文件。

引用

如果您在研究中使用了这个模型或Tamil-Llama数据集,请引用:

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}