ToRA 入门指南 - 一款全新的数学推理工具学习代理

ToRA简介

ToRA(Tool-integrated Reasoning Agent)是微软最新发布的一系列集成外部工具的推理语言模型代理,专门用于解决具有挑战性的数学推理问题。ToRA通过与计算库和符号求解器等外部工具交互,将自然语言推理与外部工具的计算效率无缝结合,大大提升了数学问题解决的能力。

ToRA示例

ToRA的主要特点

工具集成推理: ToRA能够在推理过程中灵活调用外部工具,将语言模型的分析能力与工具的计算效率完美融合。
强大的数学推理能力: 在GSM8k、MATH等多个数学推理基准上,ToRA展现出了优秀的表现,甚至在某些任务上超越了GPT-4。
开源可用: 微软已在GitHub上开源了ToRA的代码,并在HuggingFace上发布了多个预训练模型,方便研究者和开发者使用。
灵活的模型规模: ToRA提供了从7B到70B不同参数规模的模型版本,用户可根据需求选择合适的模型。

快速上手ToRA

环境配置

ToRA推荐使用Conda管理环境,并使用vLLM加速推理。以下是配置步骤:

git clone https://github.com/microsoft/ToRA.git && cd ToRA/src
conda create -n tora python=3.10
conda activate tora
pip install packaging==22.0
pip install torch==2.0.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

模型推理

ToRA提供了推理脚本,只需配置MODEL_NAME_OR_PATH和DATA参数即可运行:

bash scripts/infer.sh

模型评估

使用以下命令可以评估模型在特定数据集上的表现:

python -m eval.evaluate \
    --data_name "math" \
    --prompt_type "tora" \
    --file_path "outputs/llm-agents/tora-code-34b-v1.0/math/test_tora_-1_seed0_t0.0_s0_e5000.jsonl" \
    --execute