Llama-3.2-1B-Instruct-4bit

Llama-3.2-1B-Instruct-4bit项目介绍

项目背景

Llama-3.2-1B-Instruct-4bit是一个由Meta公司推出的语言模型，属于Llama 3.2系列。该模型通过一个名为mlx-lm的版本转换至MLX格式，是一种大规模语言生成模型，支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

使用领域

这个模型主要用于文本生成的任务，是一种先进的自然语言处理工具。它能够理解和生成大量人类语言文本，对于需要自然语言处理能力的应用，比如智能客服、自动翻译和文本摘要等，都具有非常大的帮助。

使用方法

安装依赖

要使用这个模型，首先需要安装相关的库，使用以下命令通过pip进行安装：

pip install mlx-lm

加载和生成文本

以下是一个简单的Python代码示例，展示了如何加载模型并生成文本：

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-3.2-1B-Instruct-4bit")

prompt="hello"

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)