llm-compiler-7b

项目介绍：llm-compiler-7b

背景

Meta公司的LLM编译器（LLM Compiler）是一个尖端的语言模型，专注于代码优化和编译器优化。它是在Code Llama模型的基础上开发的，旨在提升代码优化和编译器推理能力，现已面向研究和商业用途免费提供。

项目内容

模型种类

LLM编译器分为两个主要版本：

• LLM Compiler：这是基础模型，经过超过5000亿个令牌的LLVM-IR、x86_84、ARM和CUDA汇编代码的预训练，能够预测LLVM优化的效果。
• LLM Compiler FTD：这个版本进一步进行了微调，能够预测LLVM汇编代码中最佳的优化以减少代码大小，还能将汇编代码反汇编为LLVM-IR。

模型特点

1. 优化性能：LLM编译器在代码优化和汇编反汇编任务中表现优异，比现有的公开可用LLM表现更强，能够完全模拟编译器20%的操作。
2. 模型能力：LLM Compiler可以预测给定的LLVM汇编代码经过一系列优化过程后的代码变化，并生成相应的输出代码。
3. 任务专精：
   • 优化代码大小：预测最佳优化流程以最小化LLVM汇编代码的大小。
   • 汇编去除：将x86_64或ARM汇编代码生成对应的LLVM IR。

可用模型尺寸

LLM编译器分为7B和13B两个参数规模，适用于不同的服务和延迟需求。7B模型适合需要低延迟的任务，而13B模型在整体性能上优于7B。

性能与评估

LLM编译器在若干关键任务上的表现实验证明了其卓越的优化能力：

• 编译器优化模拟：LLM编译器可以对优化后的中间表示（IR）进行精确的字符匹配。
• 代码大小优化：LLM Compiler FTD在代码大小优化上超过了最新的GPT-4 Turbo。
• 汇编反汇编：在将汇编生成IR再回到汇编的过程中，LLM Compiler FTD 13B表现出色，准确性和完美反汇编频率领先。

试用与下载

用户可以在Hugging Face平台下载该模型，并阅读与之相关的研究论文。Meta鼓励开发者探索LLM Compiler的潜力，识别并解决任何不足之处。

责任使用与未来发展

LLM编译器旨在支持编译器研究人员和工程师，但其潜力远不仅限于此。Meta希望LLM Compiler能激励更多人利用LLM开发创新工具，以推动未来的研究和商业产品优化。

用户在使用过程中需遵循Meta的许可协议和可接受使用政策。此外，还建议开发者通过编译器特定的评估基准对模型进行测试，确保编译优化的准确性和汇编代码反编译的精度。