最强开源模型Llama3.1只坚持了一天,就被Mistral新模型踢馆了

RayRay
Llama 3.1Mistral Large 2代码编写数学推理多语言支持热门

出大事了,开源大模型界出大事了!

Meta前脚刚发布了“最强模型” Llama 3.1 405B,Mistral后脚就来踢馆,发布 Mistral Large 2,参数123B。

Image

Mistral的 Large 2 模型的参数不到 Llama 3.1三分之一,难道是梁静茹给它的勇气来踢馆吗?

别着急,让我们来通过测试数据来对比一下。

扫码加入AI交流群

获得更多技术支持和交流

(请注明自己的职业)

Image

数据对比

一、代码编写

Mistral的AI 最大的优势就是代码的编写,在这一点上那肯定是不能输给 Llama 3.1 的。

Mistral Large 2 支持包括Python、Java、C、C++、JavaScript和Bash在内的 80多种 编程语言,吸取Codestral 、Codestral Mamba经验,表现远超之前的Mistral Large。

Image

通过对比我们不难看出,在 Human Eval基准 上,Mistral Large 2 的代码生成能力只是略逊于GPT-4o,完爆 Llama 3.1

而在 MBPP 基准上,Llama 3.1 也算是找回场子,不论是 405B 还是 70B 都优于 Mistral Large 2

Image

而在 MultiPL-E多种编程语言基准 上,Mistral Large 2 更是多方面超越 Llama 3.1 405B,直逼GPT4o。

Mistral Large 2 还增加了 函数调用能力

Image

可以看到在这一能力上 Mistral Large 2 稳坐 冠军宝座,甚至干掉了GPT4o。

二、推理能力

数学推理也是困扰大模型已久的难题之一,这次 Llama 3.1Mistral Large 2 在数学推理方面也是进步极大。

Image

可以看到,在 GSM8K(8-shot)基准Llama 3.1 405B 几乎是处于 最高水平,而 Mistral Large 2 也是 名列前茅

在MATH(0-shot,无CoT)基准Mistral Large 2 水平仅次于GPT4o,Llama 3.1 405B位列第三

三、多语言文本指令优化

Mistral Large 2 具有 128k 上下文窗口。预训练版本的 MMLU 能达到 84.0%

Image

昨天发布的 Llama 3.1 针对八种不同语言进行了文本指令优化,但其中偏偏没有 中文,使得 Llama 3.1 中文水平极差。

但这次 Mistral Large 2 带上了,包括中文在内,还支持英语、日语、韩语、法语等 数十种语言

据测试,在 多语言MMLU 上,Mistral Large 2 的平均性能 明显优于Llama 3.1 70b(高6.3%),与 Llama 3 405B 相当(低0.4%)。

Image

四、指令遵循和对齐

Image

可以看出, Large2Wild Bench和Arena Hard 上的表现都非常出色,处于顶尖状态,优于 Llama 3.1

Image

编辑推荐精选

OpenManus

OpenManus

一个具备多种工具和代理功能,可用于解决复杂任务规划、网络搜索、浏览器操作等的项目。

OpenManus 是一个功能强大的开源项目,提供了丰富的工具和代理机制。包含规划工具、多种搜索引擎、浏览器操作工具等,能帮助开发者高效解决复杂任务的规划、网络信息搜索以及浏览器自动化操作等问题。支持多种语言,拥有清晰的文档和代码结构,易于集成和扩展,适用于各类需要自动化任务处理的场景。

MarkItDown

MarkItDown

一个支持多种格式转换的工具库

MarkItDown 是一个强大的 Python 工具库,专注于文档格式转换。它能够处理多种类型的文件,如 HTML、Wikipedia 页面以及 Bing 搜索结果页等,将其转换为 Markdown 格式。该项目支持插件扩展,提供了清晰的接口和丰富的功能,为开发者和文档处理人员提供了便捷、高效的文档转换解决方案,能有效提升文档处理效率,是文档转换领域的优秀选择。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
OmniParser

OmniParser

帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案

开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。

OmniParser界面解析交互区域检测Github开源项目
Grok3

Grok3

埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型

Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。

腾讯元宝

腾讯元宝

腾讯自研的混元大模型AI助手

腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。

AI助手AI对话AI工具腾讯元宝智能体热门 AI 办公助手
Windsurf Wave 3

Windsurf Wave 3

Windsurf Editor推出第三次重大更新Wave 3

新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。

AI IDE
Cursor

Cursor

增强编程效率的AI代码编辑器

Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。

AI开发辅助编程AI工具CursorAI代码编辑器
Manus

Manus

全面超越基准的 AI Agent助手

Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。

飞书知识问答

飞书知识问答

飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库

基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。

下拉加载更多