Mistral 通用工具

这是什么？

mistral-common 是一套帮助您使用 Mistral 模型的工具。

我们的首次发布包含分词功能。我们的分词器不仅仅是常规的文本与标记之间的转换，还增加了对工具和结构化对话的解析。我们还发布了在我们 API 中使用的验证和规范化代码。

我们发布了三个版本的分词器，支持不同的模型集。

<table> <tr> <td>

开源模型	分词器
Mistral 7B Instruct v0.1	v1
Mistral 7B Instruct v0.2	v1
Mistral 7B Instruct v0.3	v3
Mixtral 8x7B Instruct v0.1	v1
Mixtral 8x22B Instruct v0.1	v3
Mixtral 8x22B Instruct v0.3	v3
Codestral 22B v0.1	v3
Codestral Mamba 7B v0.1	v3
Mathstral 7B v0.1	v3
Nemo 12B 2407	v3 - Tekken
Large 123B 2407	v3

</td> <td>

端点模型	分词器
mistral-embed	v1
open-mistral-7b	v3
open-mixtral-8x7b	v1
open-mixtral-8x22b	v3
mistral-small-latest	v2
mistral-large-latest	v3
codestral-22b	v3
open-codestral-mamba	v3
open-mistral-nemo	v3 - Tekken

</td> </tr> </table>

安装

pip

您可以通过 pip 安装 mistral-common：

pip install mistral-common

从源代码安装

或者，您可以直接从源代码安装。这个仓库使用 poetry 作为依赖和虚拟环境管理器。

您可以使用以下命令安装 poetry：

pip install poetry

poetry 将设置一个虚拟环境并使用以下命令安装依赖：

poetry install

示例

<a target="_blank" href="https://colab.research.google.com/github/mistralai/mistral-common/blob/main/examples/tokenizer.ipynb"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/88aae1ec-8276-41bb-9b3f-2df263be4650.svg" alt="在 Colab 中打开"/> </a>

# 导入所需包：
from mistral_common.protocol.instruct.messages import (
    UserMessage,
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.protocol.instruct.tool_calls import (
    Function,
    Tool,
)
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer

# 加载 Mistral 分词器

model_name = "open-mixtral-8x22b"

tokenizer = MistralTokenizer.from_model(model_name)

# 对消息列表进行分词
tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        tools=[
            Tool(
                function=Function(
                    name="get_current_weather",
                    description="获取当前天气",
                    parameters={
                        "type": "object",
                        "properties": {
                            "location": {
                                "type": "string",
                                "description": "城市和州，例如：旧金山，加利福尼亚",
                            },
                            "format": {
                                "type": "string",
                                "enum": ["celsius", "fahrenheit"],
                                "description": "使用的温度单位。根据用户所在地推断。",
                            },
                        },
                        "required": ["location", "format"],
                    },
                )
            )
        ],
        messages=[
            UserMessage(content="今天巴黎的天气如何"),
        ],
        model=model_name,
    )
)
tokens, text = tokenized.tokens, tokenized.text

# 计算标记数量
print(len(tokens))