tamil-llama-7b-instruct-v0.1

项目介绍：tamil-llama-7b-instruct-v0.1

tamil-llama-7b-instruct-v0.1 是一款面向泰米尔语的先进语言模型，它的发布标志着在泰米尔语言长语言模型（LLM）发展中迈出了重要的一步。该模型不仅适合立即推理使用，还可以经过进一步微调，以满足特定的自然语言处理（NLP）任务需求。

模型描述

tamil-llama-7b-instruct-v0.1 是基于 LLaMA-2 构建的，特别为泰米尔语进行了增强和定制，拥有超过 16,000 的泰米尔词汇。它是一款 GPT 风格的模型，拥有 70 亿参数，经过 Tamil-Alpaca-Orca 的微调。这个数据集是泰米尔语翻译版的 Stanford-Alpaca 和 OpenOrca 的子集的一部分。

支持语言： 泰米尔语和英语
许可证： GNU 通用公共许可证 v3.0
微调来源模型： abhinand/tamil-llama-7b-base-v0.1
训练精度： float16
代码： 可在 GitHub 上查看

输入格式

不带输入的提示模板

{system_prompt}

### Instruction:
{instruction or query}

### Response:
{response}

带输入的提示模板

{system_prompt}

### Instruction:
{instruction or query}

### Input:
{input}

### Response:
{response}

模型	类型	数据量	基础模型	参数数量	下载链接
Tamil LLaMA 7B Base	基础模型	12GB	LLaMA 7B	7B	HF Hub
Tamil LLaMA 13B Base	基础模型	4GB	LLaMA 13B	13B	HF Hub
Tamil LLaMA 7B Instruct	指令跟随型模型	145k 指令	Tamil LLaMA 7B Base	7B	HF Hub
Tamil LLaMA 13B Instruct	指令跟随型模型	145k 指令	Tamil LLaMA 13B Base	13B	HF Hub

使用注意事项

需要注意的是，该模型尚未进行去毒化处理。因此，在其出色的语言能力之下，可能会生成被认为有害或冒犯性的内容。我们建议用户在公共或敏感应用中谨慎使用，并密切监督模型输出。

开发人员介绍

了解这款创新模型背后的团队，并关注他们在该领域的贡献：

Abhinand Balachandran

引用

如果您在研究中使用了此模型或任何 Tamil-Llama 数据集，请进行引用：

@misc{balachandran2023tamilllama,
      title={Tamil-Llama: A New Tamil Language Model Based on Llama 2}, 
      author={Abhinand Balachandran},
      year={2023},
      eprint={2311.05845},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

性能评估

该模型在多项任务上的表现评估如下：

任务	准确率	备注
AI2 Reasoning Challenge (25-Shot)	48.04	标准化准确率
HellaSwag (10-Shot)	70.97	标准化准确率
MMLU (5-Shot)	39.95	准确率
TruthfulQA (0-shot)	41.70	多选回应准确度
Winogrande (5-shot)	70.64	准确率
GSM8k (5-shot)	1.82	准确率