UFO

UFO 项目介绍

UFO（UI-Focused Agent for Windows OS Interaction）是一个专注于用户界面的多智能体框架，旨在通过无缝导航和操作单个或多个应用程序来满足用户在 Windows 操作系统上的请求。

框架概述

UFO 框架由以下主要组件构成：

1. HostAgent（主机代理）：负责选择合适的应用程序来完成用户请求。当任务需要跨多个应用程序时，它还可以在应用程序之间进行切换。

2. AppAgent（应用代理）：负责在选定的应用程序中迭代执行操作，直到成功完成任务。

3. Application Automator（应用自动化器）：将 HostAgent 和 AppAgent 的操作转换为与应用程序的实际交互，包括 UI 控件、原生 API 或 AI 工具的使用。

这些代理利用 GPT-Vision 的多模态能力来理解应用程序的用户界面并满足用户的请求。

主要特点

1. 首个 Windows 代理：UFO 是第一个能够将自然语言用户请求转化为 Windows 操作系统可执行操作的代理框架。

2. 专家级代理：通过检索增强生成（RAG）技术，UFO 可以从离线帮助文档、在线搜索引擎和人类演示等多种异构源中获取信息，使其成为应用程序"专家"。

3. 丰富的技能集：UFO 配备了多样化的技能集，支持全面的自动化，如鼠标操作、键盘输入、原生 API 调用和"Copilot"功能。

4. 交互模式：UFO 支持在同一会话中处理用户的多个子请求，使复杂任务的完成变得更加流畅。

5. 代理自定义：用户可以通过提供额外信息来定制自己的代理。当需要时，代理会主动向用户询问细节，以更好地调整其行为。

6. 可扩展的 AppAgent 创建：UFO 提供了可扩展性，允许用户和应用程序开发者以简单和可扩展的方式创建自己的 AppAgent。

最新进展

UFO 项目一直在积极更新和改进。最新的版本（v1.1.0）引入了多项重要更新，包括允许 UFO 点击应用程序的任何区域，并将其延迟降低了多达 1/3。此外，项目还支持从人类演示中学习、扩展了与应用程序的交互方式，并引入了控件过滤等新功能。

媒体关注

UFO 项目已经引起了多家媒体的关注，包括国际和国内的科技新闻网站。这些报道突显了 UFO 在智能 Windows 体验方面的创新，以及其对未来计算机交互的潜在影响。

使用指南

要开始使用 UFO，用户需要按照以下步骤操作：

1. 安装：克隆 GitHub 仓库并安装所需依赖。
2. 配置 LLM：为 HostAgent 和 AppAgent 提供各自的 LLM 配置。
3. RAG 设置：可选择配置外部数据库以增强 UFO 的能力。
4. 启动 UFO：通过命令行界面与 UFO 交互。

UFO 项目仍在积极开发中，未来计划包括支持本地主机 GUI 交互模型和开发 UFO 的聊天框 GUI 等。

</SOURCE_TEXT>

这个项目介绍详细展示了UFO的主要特点、框架组成、最新进展以及使用方法,语言通俗易懂,内容丰富。使用了第三人称描述,并采用了markdown格式,包含了二级标题。