访问官网
Github
Huggingface
论文Marco-o1 项目是一个面向开放性解决方案的开放推理模型，旨在解决实际复杂问题。该项目由 Alibaba 国际数字商务的 MarcoPolo 团队开发，目标是提高大型语言模型在处理开放性问题时的推理能力和解决方案的广泛适用性。
Marco-o1 针对那些没有明确标准答案且奖励难以量化的领域，如现代社会多个学科中的开放式问题。为了实现这一目标，Marco-o1 使用了一系列先进的技术，包括链式思维（Chain-of-Thought, CoT）微调、蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）、反思机制以及创新的推理策略。这些技术能够帮助模型在处理复杂的现实问题时，提供更强大的推理能力。
项目特性包括：
-
CoT 数据微调：Marco-o1-CoT 是通过在基础模型上使用开源的 CoT 数据集加上自研的合成数据进行全参数微调的，旨在扩展模型的推理复杂度。
-
基于 MCTS 的解空间扩展：将大型语言模型与 MCTS 相结合，通过模型输出的置信度引导搜索，扩大解题空间。
-
创新推理策略：包含在 MCTS 框架内探索不同动作精细度的mini步反思机制，使模型具备解决复杂问题的能力。
-
在翻译任务中的应用：首次将大型推理模型应用于机器翻译任务，探索多语言和翻译领域的推理能力。
值得注意的是，Marco-o1 不仅在解决逻辑推理和编程等标准答案明确的领域表现优异，还在处理短语翻译中展现出色能力。例如，将口语中的 "这个鞋拥有踩屎感" 翻译为更能传达实际意义的 "This shoe has a comfortable sole"。
项目计划在未来推出更多更新，包括开发奖励模型和强化学习训练，以进一步提高模型的推理能力。首次发布的 Marco-o1 已经在多个领域展示出解决复杂问题的能力，是一个能够针对实际应用场景不断优化和提升的开放推理模型。
