InternLM

InternLM项目介绍

InternLM项目致力于自主研发和优化自然语言处理模型，具有多项先进技术和应用能力。项目通过发布多个模型版本，逐步提升了模型的推理能力、上下文处理能力以及工具使用能力，不断刷新自然语言处理领域的表现。

项目特点

1. 出色的推理能力

InternLM2.5系列以其领先的数学推理能力而著称，其性能通过超越包括Llama3和Gemma2-9B在内的多个模型得到了验证。

2. 超长上下文处理

该项目支持高达100万字符长度的上下文窗口，能够在长文本中高效地找到关键信息。在长文本任务如LongBench中表现卓越。

3. 强大的工具使用

InternLM2.5能够从超过100个网页中获取信息，示范了其在指令跟随、工具选择和反思能力方面的进步。这种工具使用能力使其在特定任务中能更好地利用网络资源。

最新动态

模型更新

• 2024年8月1日释放：发布了InternLM2.5-1.8B、InternLM2.5-1.8B-Chat、InternLM2.5-20B以及InternLM2.5-20B-Chat等模型。
• 2024年7月19日：推出了InternLM2-Reward系列奖励模型，尺寸为1.8B、7B和20B。
• 2024年7月3日：发布了InternLM2.5-7B和对应的聊天模型。

模型仓库

InternLM2.5系列模型根据其参数量构建了1.8B、7B和20B的版本，适用于从研究到复杂应用的各种场景。

模型分类

1. InternLM2.5：预训练的基础模型，亦可用于多种应用。
2. InternLM2.5-Chat：经过监督微调与人类反馈强化学习的聊天模型。
3. InternLM2.5-Chat-1M：支持超长上下文聊天任务。

使用限制

尽管InternLM在安全性和合规性上经过了精心的调整，但作为生成模型，偶然或会产生偏见或不当内容，建议用户在使用中注意识别和规避。

使用方法

InternLM支持通过HuggingFace Transformers库和ModelScope进行加载和使用，从而简化了用户的使用过程。下文提供了示例代码：

从Transformers加载：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-7b-chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-7b-chat", device_map="auto", trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "hello", history=[])
print(response)

贡献与许可

InternLM项目开源并欢迎各界开发者参与。代码遵循Apache-2.0许可协议，模型权重开放供学术研究及商用应用。

如需商用许可或进一步合作，请联系internlm@pjlab.org.cn。

通过这一项目，InternLM团队不断推动人工智能驱动的自然语言处理技术向前发展，为业界提供了具有革命性突破的工具和平台。