Self-Operating Computer 入门学习资料汇总 - 让AI模型操控计算机的开源框架

什么是Self-Operating Computer?

Self-Operating Computer是由OthersideAI开发的一个开源框架,它允许多模态AI模型通过视觉输入和鼠标键盘操作来控制计算机,就像人类操作电脑一样。该框架使用与人类操作员相同的输入和输出,模型通过查看屏幕并决定一系列鼠标和键盘动作来达成目标。

核心特性

• 兼容性: 设计用于支持各种多模态模型
• 集成: 目前已集成GPT-4、Gemini Pro Vision、Claude 3和LLaVA等模型
• 跨平台: 支持Mac OS、Windows和Linux(需安装X server)
• 多种操作模式: 支持OCR、语音输入、Set-of-Mark等多种操作模式

快速上手

1. 安装项目:

pip install self-operating-computer

2. 运行项目:

operate

3. 输入OpenAI API密钥(如果没有,可以在这里获取)

4. 授予终端应用必要的权限(屏幕录制和辅助功能)

更多详细使用说明,请参考官方文档。

高级使用

多模态模型选择

可以使用-m参数选择不同的模型:

• GPT-4 Vision: operate -m gpt-4-with-ocr(默认)
• Gemini Pro Vision: operate -m gemini-pro-vision
• Claude 3: operate -m claude-3
• LLaVA: operate -m llava

语音模式

使用--voice参数启用语音输入模式:

operate --voice

OCR模式

OCR模式是默认模式,它为GPT-4提供了一个可点击元素的坐标哈希表:

operate -m gpt-4-with-ocr

Set-of-Mark提示模式

使用-m gpt-4-with-som命令启用Set-of-Mark(SoM)提示模式:

operate -m gpt-4-with-som

学习资源

1. 官方GitHub仓库 - 包含完整源码和详细文档
2. HyperwriteAI官网 - 了解更多关于开发团队的信息
3. Discord社区 - 加入讨论,获取实时支持
4. 项目Twitter - 关注最新动态
5. 项目LinkedIn - 了解更多业界动态

贡献指南

如果您想为项目做出贡献,请查看CONTRIBUTING.md文件。

Self-Operating Computer是一个充满潜力的开源项目,它为AI自主操作计算机开辟了新的可能性。无论您是AI研究者、开发者还是对此感兴趣的爱好者,都可以通过上述资源深入了解并参与到这个激动人心的项目中来。让我们一起探索AI操控计算机的未来吧!