Llama3-TAIDE-LX-8B-Chat-Alpha1

Llama3-TAIDE-LX-8B-Chat-Alpha1项目介绍

项目背景

Llama3-TAIDE-LX-8B-Chat-Alpha1是一个基于Meta公司发布的LLaMA3-8b模型的扩展项目。这个项目由TAIDE计划推动，旨在开发适合台湾语言和文化特性的生成式人工智慧对话引擎模型，构建可信任的人工智能环境。项目的目标是将科技、学术和研究力量结合，推动可信任生成式AI的发展，提高台湾在国际上的竞争力，促进产业发展，并减少对外国技术的依赖。

模型概述

该模型以LLaMA3-8b为基础，加入了大量台湾不同领域的文本和训练素材，以提升其在繁体中文回应以及特定任务表现方面的能力。Llama3-TAIDE-LX-8B-Chat-Alpha1根据这些特性进行了预训练，并通过指令微调，增强了模型在办公室常用任务和多轮问答对话能力上的表现，非常适合用于聊天对话或任务协助。项目还提供了一种4比特量化模型，方便用户使用，同时该量化过程可能会影响性能，并引发其他不确定的问题，用户需要对此有所了解。

模型参数

• 参数量: 8B
• 最大内容长度: 8K
• 繁体中文训练数据token量: 43B
• 训练时间: 2336小时的H100 GPU运行时间

模型特色

1. 数据筛选严格: 模型训练数据经过严格筛选，确保生成内容的可信任性和适用性。
2. 任务强化: 针对自动摘要、写信、写文章、中翻英、英翻中等常见任务进行了特别加强。
3. 本地化加强: 针对台湾本地文化、用语及国情等知识进行了专门的增强。
4. 强大的对话能力: 具备处理多轮问答对话的能力。

应用范例

写文章

用户输入: 撰写一篇题为《一张旧照片》的文章，讲述照片的故事。

模型输出: "一张旧照片，承载着时光的痕迹和回忆的温度。我还记得那张照片是怎么出现在我眼前的..." 在接下来的内容中，模型详细描绘了照片的场景、个人及家庭故事。

写信

用户输入: 作为品牌经理给广告公司创意总监写信，提出新产品广告宣传的创意建议。

模型输出: 详细的信件格式，提出了利用社群媒体推进产品宣传的多种方案和活动安排，并强调了与合作伙伴共同发掘市场潜力的重要性。

摘要

用户输入: 将“台版晶片法”的详细文章精简为要点。

模型输出: 指出了该法律的经济背景、税收优惠措施及其对企业研发投资的要求，并展示了对不同产业界反馈的调度和影响。

这个项目的努力，旨在充分满足台湾丰富多样的文化需求，借助先进的AI技术提升生产力和创新能力。通过深度本地化的调整，Llama3-TAIDE-LX-8B-Chat-Alpha1模型不仅提高了用户操作的便捷性，也在解决实际应用问题上走在了前沿。