概述

AutoWebGLM是一个旨在构建更高效的语言模型驱动自动网页导航代理的项目。该项目基于ChatGLM3-6B模型，扩展了其能力，以更有效地导航网页并更好地应对现实世界的浏览挑战。

特点

HTML简化算法：受人类浏览模式启发，我们设计了一种简化HTML的算法，使网页更易于LLM代理理解，同时保留关键信息。
人机混合训练：我们结合人类和AI知识构建网页浏览数据进行课程训练，提升模型的实际导航技能。
强化学习和拒绝采样：通过强化学习和拒绝采样引导模型，我们增强了模型的网页理解、浏览器操作和高效任务分解能力。
双语网页导航基准：我们推出了AutoWebBench——一个用于现实世界网页浏览任务的双语（中文和英文）基准。这个基准为测试和完善AI网页导航代理的能力提供了强大的工具。

评估

我们已公开披露了评估代码、数据和环境。您可以使用以下代码进行实验。

AutoWebBench和Mind2Web

您可以在<a href="./autowebbench/" alt="autowebbench">AutoWebBench</a>和<a href="./mind2web/" alt="mind2web">Mind2Web</a>找到我们的评估数据集。有关模型推理的代码，请参考<a href="https://huggingface.co/THUDM/chatglm3-6b" alt="chatglm3-6b">ChatGLM3-6B</a>。获得输出文件后，可以通过python eval.py [结果路径]获得分数。

WebArena

我们对WebArena环境进行了修改，以适应我们系统的交互；请参见<a href="./webarena/" alt="webarena">WebArena</a>。修改和执行说明可在<a href="./webarena/README.md" alt="readme">README</a>中找到。

MiniWob++

我们还对MiniWob++环境进行了修改，请参见<a href="./miniwob++/" alt="miniwob++">MiniWob++</a>。修改和执行说明可在<a href="./miniwob++/README.md" alt="readme">README</a>中找到。

许可证

本仓库采用Apache-2.0许可证。所有开源数据仅供研究使用。

引用

如果您在研究中使用了这些代码，请引用我们的论文。

@misc{lai2024autowebglm,
    title={AutoWebGLM: Bootstrap And Reinforce A Large Language Model-based Web Navigating Agent},
    author={Lai, Hanyu and Liu, Xiao and Iong, Iat Long and Yao, Shuntian and Chen, Yuxuan and Shen, Pengbo and Yu, Hao and Zhang, Hanchen and Zhang, Xiaohan and Dong, Yuxiao and Tang, Jie},
    year={2024},
    eprint={2404.03648},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}