llama-68m

llama-68m项目介绍

llama-68m是一个小型的语言模型项目，它采用类似LLaMA的架构，但只有6800万个参数。这个模型主要是为了在SpecInfer论文中作为小型推测模型而开发的。

模型特点

参数规模：该模型仅有6800万个参数，相比其他大型语言模型，规模相对较小。
训练数据：模型使用维基百科以及部分C4-en和C4-realnewslike数据集进行训练。
用途：主要用作SpecInfer论文中的基础小型推测模型。
开源许可：该项目采用Apache 2.0许可证。

模型能力

由于目前尚未进行正式的评估，该模型的具体能力和性能还不清楚。开发者建议用户在使用时要谨慎，因为缺乏全面的评估可能会导致一些意料之外的结果。

技术细节

模型类型：文本生成
支持语言：英语
训练数据集：维基百科、部分C4-en和C4-realnewslike数据集

项目背景

llama-68m项目是在SpecInfer研究的背景下开发的。SpecInfer是一项旨在加速生成式大型语言模型服务的技术，它使用推测性推理和令牌树验证方法来提高模型的响应速度。

引用方式

如果研究人员或开发者在自己的工作中使用了llama-68m模型，可以使用以下bibtex格式进行引用：

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}