Taiwan-LLM学习资料汇总 - 台湾本土化大语言模型

Taiwan-LLM简介

Taiwan-LLM是由台湾国立大学MiuLab实验室开发的一系列针对台湾传统中文优化的大语言模型。该项目旨在打造一个专属于台湾本土文化的AI语言模型,以弥合语言鸿沟,更好地服务台湾用户。

主要特点

• 专为台湾传统中文优化,更好地理解台湾本土文化
• 支持多种规模的模型,从8B到70B参数不等
• 在多项台湾本土NLP基准测试中表现优异
• 开源并提供多种使用方式,方便研究和应用

相关资源

1. 官方网站: twllm.com 在线体验Taiwan-LLM的对话能力

2. GitHub仓库: MiuLab/Taiwan-LLM 包含模型代码、使用说明等

3. Hugging Face模型页面:

   • 70B模型
   • 8B模型

4. 论文: Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model

5. 评测排行榜: Open TW LLM Leaderboard

6. 对话竞技场: Chatbot Arena

快速上手

使用Hugging Face Transformers库加载模型:

from transformers import pipeline

pipe = pipeline("text-generation", model="yentinglin/Llama-3-Taiwan-70B-Instruct")
messages = [
    {"role": "system", "content": "You are an AI assistant called Twllm, created by TAME (TAiwan Mixture of Expert) project."},
    {"role": "user", "content": "你好，請問你可以完成什麼任務？"},
]
response = pipe(messages)
print(response)

模型评测

Taiwan-LLM在多项台湾本土NLP任务上表现优异,包括:

• TMLU (Taiwan Mandarin Language Understanding): 74.76%
• Taiwan Truthful QA: 80.95%
• 台湾法律评测: 68.42%

详细评测结果可查看Open TW LLM Leaderboard。

Taiwan-LLM为台湾本土NLP研究和应用提供了强大的基础设施,欢迎研究者和开发者们探索这一模型的潜力,共同推动台湾AI生态的发展。