懂AI
GLM-4

GLM-4

多语言支持与长文本处理能力

GLM-4-9B系列是智谱AI推出的开源预训练模型,包括基础版、支持128K上下文的Chat版、1M长文本版及多模态版。该系列支持26种语言,在语义理解、数学计算、逻辑推理等多项评测中表现优异。GLM-4-9B-Chat具备网页浏览、代码执行等功能,GLM-4V-9B则增加了视觉理解能力。这些模型在多项基准测试中均超越了同规模竞品。

GLM-4大语言模型AI对话多模态长文本Github开源项目
访问官网GitHubHugging Face论文

GLM-4

<p align="center"> 📄<a href="https://arxiv.org/pdf/2406.12793" target="_blank">报告</a> • 🤗 <a href="https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7" target="_blank">HF仓库</a> • 🤖 <a href="https://modelscope.cn/models/ZhipuAI/glm-4-9b-chat" target="_blank">ModelScope</a> • 🟣 <a href="https://wisemodel.cn/models/ZhipuAI/glm-4-9b-chat" target="_blank">WiseModel</a> • 🐦 <a href="https://twitter.com/thukeg" target="_blank">Twitter</a> • 👋 加入我们的 <a href="https://discord.gg/fK2dz4bg" target="_blank">Discord</a> 和 <a href="resources/WECHAT.md" target="_blank">微信</a> </p> <p align="center"> 📍在 <a href="https://open.bigmodel.cn/?utm_campaign=open&_channel_track_key=OWTVNma9">智谱AI开放平台</a> 体验和使用更大规模的 GLM 商业模型。 </p>

阅读英文版

项目更新

  • 🔥🔥 新闻: 2024/08/15: 我们开源了具备长文本输出能力（单轮对话大模型输出可超过1万token）的模型 longwriter-glm4-9b以及数据集 LongWriter-6k，欢迎在 Huggingface Space或 魔搭社区空间 在线体验。
  • 🔥 新闻: 2024/08/12: GLM-4-9B-Chat 模型依赖的transformers版本升级到 4.44.0，请重新拉取除模型权重（*.safetensor 文件和 tokenizer.model）外的文件并参考 basic_demo/requirements.txt 严格更新依赖。
  • 🔥 新闻: 2024/07/24: 我们发布了与长文本相关的最新技术解读，关注 这里 查看我们在训练 GLM-4-9B 开源模型中关于长文本技术的技术报告。
  • 🔥 新闻: 2024/7/16: GLM-4-9B-Chat 模型依赖的transformers版本升级到 4.42.4，请更新模型配置文件并参考 basic_demo/requirements.txt 更新依赖。
  • 🔥 新闻: 2024/7/9: GLM-4-9B-Chat 模型已适配 Ollama,Llama.cpp，您可以在PR 查看具体的细节。
  • 🔥 新闻: 2024/7/1: 我们更新了 GLM-4V-9B 的微调，您需要更新我们的模型仓库的运行文件和配置文件，以支持这个功能，更多微调细节（例如数据集格式，显存要求），请前往 查看。
  • 🔥 新闻: 2024/6/28: 我们与英特尔技术团队合作，改进了 GLM-4-9B-Chat 的 ITREX 和 OpenVINO 部署教程。您可以使用英特尔 CPU/GPU 设备高效部署 GLM-4-9B 开源模型。欢迎访问 查看。
  • 🔥 新闻: 2024/6/24: 我们更新了模型仓库的运行文件和配置文件，支持 Flash Attention 2，请更新模型配置文件并参考 basic_demo/trans_cli_demo.py 中的示例代码。
  • 🔥 新闻: 2024/6/19: 我们更新了模型仓库的运行文件和配置文件，修复了部分已知的模型推理的问题，欢迎大家克隆最新的模型仓库。
  • 🔥 新闻: 2024/6/18: 我们发布 技术报告，欢迎查看。
  • 🔥 新闻: 2024/6/05: 我们发布 GLM-4-9B 系列开源模型

模型介绍

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

模型列表

模型类型序列长度下载链接在线演示
GLM-4-9B基础8K🤗 Huggingface 🤖 ModelScope 🟣 WiseModel/
GLM-4-9B-Chat对话128K🤗 Huggingface 🤖 ModelScope 🟣 WiseModel🤖 ModelScope CPU<br> 🤖 ModelScope vLLM
GLM-4-9B-Chat-1M对话1M🤗 Huggingface 🤖 ModelScope 🟣 WiseModel/
GLM-4V-9B对话8K🤗 Huggingface 🤖 ModelScope 🟣 WiseModel🤖 ModelScope

评测结果

对话模型典型任务

模型AlignBenchMT-BenchIFEvalMMLUC-EvalGSM8KMATHHumanEvalNaturalCodeBench
Llama-3-8B-Instruct6.408.0068.668.451.379.630.062.224.7
ChatGLM3-6B5.185.5028.161.469.072.325.758.511.3
GLM-4-9B-Chat7.018.3569.072.475.679.650.671.832.2

基座模型典型任务

模型MMLUC-EvalGPQAGSM8KMATHHumanEval
Llama-3-8B66.651.2-45.8-33.5
Llama-3-8B-Instruct68.451.334.279.630.062.2
ChatGLM3-6B-Base61.469.026.872.325.758.5
GLM-4-9B74.777.134.384.030.470.1

由于 GLM-4-9B 在预训练过程中加入了部分数学、推理、代码相关的指令数据，因此我们也将 Llama-3-8B-Instruct 列入比较范围。

长文本

在 1M 的上下文长度下进行大海捞针实验，结果如下：

needle

在 LongBench-Chat 上对长文本能力进行了进一步评测，结果如下:

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/2245cb52-94ec-41df-ad57-a21f4aac7990.png" alt="描述文字" style="display: block; margin: auto; width: 65%;"> </p>

多语言能力

我们在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了测试，测试结果及数据集对应选取语言如下表所示：

数据集Llama-3-8B-InstructGLM-4-9B-Chat语言
M-MMLU49.656.6全部
FLORES25.028.8俄、西、德、法、意、葡、波、日、荷、阿、土、捷、越、波、匈、希、罗、瑞、乌、芬、韩、丹、保、挪
MGSM54.065.3中、英、孟、德、西、法、日、俄、斯瓦、泰卢固、泰
XWinograd61.773.1中、英、法、日、俄、葡
XStoryCloze84.790.7中、英、阿、西、巴斯克、印地、印尼、缅、俄、斯瓦、泰卢固
XCOPA73.380.1中、爱沙、海地、印尼、意、克丘亚、斯瓦、泰米尔、泰、土、越

工具调用能力

我们在 Berkeley Function Calling Leaderboard 上进行了测试，并得到了以下结果：

模型总体准确率AST 摘要执行摘要相关性
Llama-3-8B-Instruct58.8859.2570.0145.83
gpt-4-turbo-2024-04-0981.2482.1478.6188.75
ChatGLM3-6B57.8862.1869.785.42
GLM-4-9B-Chat81.0080.2684.4087.92

多模态能力

GLM-4V-9B 是一个多模态语言模型，具备视觉理解能力，其相关经典任务的评测结果如下：

MMBench-EN-测试MMBench-CN-测试SEEDBench_IMGMMStarMMMUMMEHallusionBenchAI2DOCRBench
gpt-4o-2024-05-1383.482.177.163.969.22310.355.084.6736
gpt-4-turbo-2024-04-0981.080.273.056.061.72070.243.978.6656
gpt-4-1106-preview77.074.472.349.753.81771.546.575.9516
InternVL-Chat-V1.582.380.775.257.146.82189.647.480.6720
LLaVA-Next-Yi-34B81.179.075.751.648.82050.234.878.9574
Step-1V80.779.970.350.049.92206.448.479.2625
MiniCPM-Llama3-V2.577.673.872.351.845.82024.642.478.4725
Qwen-VL-Max77.675.772.749.552.02281.741.275.7684
Gemini 1.0 Pro73.674.370.738.649.02148.945.772.9680
Claude 3 Opus63.359.264.045.754.91586.837.870.6694
GLM-4V-9B81.179.476.858.747.22163.846.681.1786

快速调用

硬件配置和系统要求，请查看这里。

使用以下方法快速调用 GLM-4-9B-Chat 语言模型

使用 transformers 后端进行推理:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat", trust_remote_code=True)

query = "你好"

inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],
                                       add_generation_prompt=True,
                                       tokenize=True,
                                       return_tensors="pt",
                                       return_dict=True
                                       )

inputs = inputs.to(device)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4-9b-chat",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用 vLLM 后端进行推理:

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

# GLM-4-9B-Chat-1M
# max_model_len, tp_size = 1048576, 4
# 如果遇见 OOM 现象，建议减少max_model_len，或者增加tp_size
max_model_len, tp_size = 131072, 1
model_name = "THUDM/glm-4-9b-chat"
prompt = [{"role": "user", "content": "你好"}]

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
llm = LLM(
    model=model_name,
    tensor_parallel_size=tp_size,
    max_model_len=max_model_len,
    trust_remote_code=True,
    enforce_eager=True,
    # GLM-4-9B-Chat-1M 如果遇见 OOM 现象，建议开启下述参数
    # enable_chunked_prefill=True,
    # max_num_batched_tokens=8192
)
stop_token_ids = [151329, 151336, 151338]
sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)

inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)
outputs = llm.generate(prompts=inputs, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)

使用以下方法快速调用 GLM-4V-9B 多模态模型

使用 transformers 后端进行推理:

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4v-9b", trust_remote_code=True)

query = '描述这张图片'
image = Image.open("your image").convert('RGB')
inputs = tokenizer.apply_chat_template([{"role": "user", "image": image, "content": query}],
                                       add_generation_prompt=True, tokenize=True, return_tensors="pt",
                                       return_dict=True)  # 聊天模式
inputs = inputs.to(device)
模型 = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4v-9b",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

生成参数 = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
    输出 = 模型.generate(**inputs, **生成参数)
    输出 = 输出[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(输出[0]))

注意: GLM-4V-9B 暂不支持使用 vLLM 方式调用。

完整项目列表

如果你想更进一步了解 GLM-4-9B 系列开源模型，本开源仓库通过以下内容为开发者提供基础的 GLM-4-9B的使用和开发代码

  • basic_demo: 在这里包含了

    • 使用 transformers 和 vLLM 后端的交互代码
    • OpenAI API 后端交互代码
    • Batch 推理代码

  • composite_demo: 在这里包含了

    • GLM-4-9B-Chat 以及 GLM-4V-9B 开源模型的完整功能演示代码，包含了 All Tools 能力、长文档解读和多模态能力的展示。

  • fintune_demo: 在这里包含了

    • PEFT (LORA, P-Tuning) 微调代码
    • SFT 微调代码

友情链接

  • LLaMA-Factory: 高效开源微调框架，已支持 GLM-4-9B-Chat 语言模型微调。
  • SWIFT: 魔搭社区的大模型/多模态大模型训练框架，已支持 GLM-4-9B-Chat / GLM-4V-9B 模型微调。
  • Xorbits Inference: 性能强大且功能全面的分布式推理框架，轻松一键部署你自己的模型或内置的前沿开源模型。
  • LangChain-ChatChat: 基于 Langchain 与 ChatGLM 等语言模型的 RAG 与 Agent 应用
  • self-llm: Datawhale 团队的提供的 GLM-4-9B 系列模型使用教程。
  • chatglm.cpp: 类似 llama.cpp 的量化加速推理方案，实现笔记本上实时对话

协议

  • GLM-4 模型的权重的使用则需要遵循 模型协议。

  • 本开源仓库的代码则遵循 Apache 2.0 协议。

请您严格遵循开源协议。

引用

如果你觉得我们的工作有帮助的话，请考虑引用下列论文。

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, 
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}

@misc{wang2023cogvlm,
      title={CogVLM: Visual Expert for Pretrained Language Models}, 
      author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码，轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统，允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令，自动执行排序、公式计算和数据透视等操作，支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内，支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT，就用博思AIPPT！

博思AIPPT，新一代的AI生成PPT平台，支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等，内置海量精美PPT模板，涵盖商务、教育、科技等不同风格，同时针对每个页面提供多种版式，一键自适应切换，完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

下拉加载更多