UI-TARS-desktop

项目介绍

UI-TARS-desktop 是一款创新的桌面应用程序，它以 UI-TARS（视觉语言模型）为核心，让用户能够使用自然语言来控制计算机。这款应用具有多方面的强大功能，在视觉处理上，支持截图和视觉识别，能对网页进行视觉解读；在操作控制方面，可实现精确的鼠标和键盘控制；在交互体验上，能提供实时反馈和状态显示。它集成了多种大语言模型，如 OpenAI、Anthropic、Gemini 等，同时支持多种搜索方式，如 Bing、Tavily、DuckDuckGo 等。此外，还具备文件系统操作功能，可对文件和目录进行读写、创建、移动等操作。UI-TARS-desktop 支持跨平台使用，包括 Windows 和 MacOS 系统，并且数据完全在本地处理，保障了用户的隐私和数据安全。它还提供了丰富的文档，涵盖了快速启动、部署、贡献指南以及 SDK 使用说明等内容，方便开发者进行使用和二次开发。

主要功能

自然语言交互：借助视觉语言模型，用户可以使用自然语言与应用进行交互，下达操作指令。 视觉处理能力：支持截图和视觉识别，能对网页等界面进行视觉解读，为操作提供依据。 精确操作控制：实现精确的鼠标和键盘控制，模拟人工操作完成各种任务。 多模型与搜索集成：集成多种大语言模型和搜索方式，满足不同的信息获取和处理需求。 文件系统操作：对本地文件和目录进行读写、创建、移动等操作，方便文件管理。 实时反馈展示：在操作过程中提供实时反馈和状态显示，让用户随时了解操作进展。

应用场景

信息检索与获取：用户可以使用自然语言指令，通过集成的搜索方式快速获取互联网上的信息。 自动化任务执行：利用精确的操作控制功能，实现自动化任务，如网页搜索、文件处理等。 文件管理：对本地文件和目录进行管理，提高文件操作的效率。 智能交互体验：与大语言模型进行交互，获取问题的答案和建议，提供智能交互服务。

常见问题

问题 1：这个应用支持哪些操作系统？ 回答：UI-TARS-desktop 支持跨平台使用，包括 Windows 和 MacOS 系统。

问题 2：应用集成了哪些大语言模型？ 回答：应用集成了多种大语言模型，如 OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI 和 DeepSeek 等。

问题 3：能否对本地文件进行操作？操作类型有哪些？ 回答：可以对本地文件进行操作。操作类型包括对文件和目录的读写、创建、移动等。

问题 4：使用过程中如何获取操作的实时反馈？ 回答：应用在操作过程中会自动提供实时反馈和状态显示，让您随时了解操作进展。

问题 5：如果我想为这个项目做贡献，应该怎么做？ 回答：如果您想为项目做贡献，可以参考项目中的CONTRIBUTING.md文件。首先，建议您阅读可用的文档，在提问或报告问题前，先搜索现有的Issues。若有需要，可打开一个新的Issue，并提供尽可能多的上下文信息以及项目和平台版本等。