internlm2_5-1_8b-chat

项目介绍：InternLM2.5-1.8B-Chat

项目背景

InternLM2.5 是一款开源的先进语言模型，旨在服务于实际应用场景。它由1.8亿个参数组成的基础模型与对话模型构成。该模型在多个能力维度上表现出色，特别是在推理能力和工具使用方面。InternLM2.5 的问世为复杂智能体的搭建带来了更多可能，其增强的工具调用能力能够从海量网页中提取有用信息，进行分析和推理。

主要特点

1. 卓越的推理能力：InternLM2.5 在数学推理领域取得了卓越的表现，超越了同类模型如 MiniCPM-2 和 Qwen2-1.5B。

2. 增强的工具利用能力：该模型支持从超过100个网页中收集信息进行分析，其在指令理解、工具选择和结果反思等方面具有强大的泛化能力。相关技术已于 MindSearch 中开源。

性能评测

InternLM2.5-1.8B-Chat 的性能得到了广泛的评测。评测使用了 OpenCompass 工具，覆盖学科、语言、知识、推理和理解五个方面。部分评测结果如下：

需要注意的是，由于工具和模型的更新，评测结果可能有所不同，用户可以查阅 OpenCompass 榜单 以获取最新数据。

模型加载示例

InternLM2.5 1.8B Chat 模型可以通过 Transformers 库轻松加载。以下是一个简单实现的代码示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b-chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b-chat", torch_dtype=torch.float16, trust_remote_code=True).cuda()

model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

response, history = model.chat(tokenizer, "请提供三个管理时间的建议。", history=history)
print(response)

部署方案

InternLM2.5 提供了多种部署选项，包括 LMDeploy 和 vLLM，这些工具可以帮助开发者实现模型的轻量化、部署和服务化。

LMDeploy

使用 LMDeploy 工具可以轻松进行模型的本地推理或启用 OpenAI API 兼容服务：

pip install lmdeploy
lmdeploy serve api_server internlm/internlm2_5-1_8b-chat --model-name internlm2_5-1_8b-chat --server-port 23333

vLLM

通过 vLLM 工具，也可以快速启动兼容的 API 服务：

pip install vllm
python -m vllm.entrypoints.openai.api_server --model internlm/internlm2_5-1_8b-chat --served-model-name internlm2_5-1_8b-chat --trust-remote-code

开源与许可证

InternLM2.5 的代码基于 Apache-2.0 许可证开源，同时为学术研究开放模型权重。该模型亦允许免费用于商业用途，但需通过申请表申请商业许可证。

总结

InternLM2.5 是一款多功能的先进语言模型，具备强大的推理和工具利用能力。无论是学术研究还是实际应用开发，它都提供了强有力的支持，拥有广泛的应用前景。