internlm2-20b

项目介绍：InternLM2-20B

InternLM2-20B 是 InternLM 模型的第二代产品，它在7B和20B两个规模上展开，为用户和研究者提供了多版本的模型选择。这样一来，无论是基础模型还是针对特定任务优化的版本，用户都可以找到最适合的选项。

模型版本

InternLM2 提供了四种版本，每个版本都具备独特的优化和用途：

internlm2-base: 这是一个基础模型，质量高且适应性强，是深入特定领域应用的良好起点。
internlm2（推荐）: 在基础模型的基础上进一步预训练而成，评测表现优异，适用于大多数应用场景。
internlm2-chat-sft: 基于基础模型，通过人类监督对齐训练进行了优化。
internlm2-chat（推荐）: 通过强化学习进行对话交互优化，具备优秀的交流能力。

技术特点

InternLM2-20B 具备以下技术优势：

支持超长上下文: 能处理多达20万字的超长文本输入，擅长在长文中找出关键点。
全面性能提升: 推理、数学、以及编程能力比上一代产品显著提升。

性能评测

InternLM2-20B 在多个重要的评测集中表现出色，其中一些评测包括：

MMLU、AGIEval、BBH等评测基准。
与 ChatGPT 和 GPT-4 等模型相比，在某些任务中具有竞争力。

评测过程依托于开源工具 OpenCompass，具体结果可以参考 OpenCompass 的评测榜单。

局限性

尽管模型经过细心设计与训练，InternLM2-20B 可能仍会产生不符合预期的输出，如含有偏见或不当内容。用户在使用中需要注意这些风险，并对生成内容进行适当筛选。

模型加载方法

用户可以通过如下代码，使用 Transformers 加载 InternLM2-20B 模型来进行文本生成：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2-20b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2-20b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

inputs = tokenizer(["来到美丽的大自然"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()

gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.0}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

开源许可证

InternLM2-20B 的代码采用 Apache-2.0 协议开源，模型权重可供学术研究使用，也可申请免费的商业许可。

引用

用户如果在研究中使用了该模型，建议引用 InternLM2 的技术报告，以尊重和支持开发者的工作：

@misc{cai2024internlm2,
      title={InternLM2 Technical Report},
      author={众多作者列表},
      year={2024},
      eprint={2403.17297},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

总之，InternLM2-20B 是一款功能强大的文本生成模型，适用于各类自然语言处理任务，其开放性和高性能使其成为学术研究和实际应用的理想选择。