awesome-openai-vision-api-experiments

项目介绍：awesome-openai-vision-api-experiments

介绍

这是一款必备的资源库，专为那些想要尝试和构建基于 OpenAI Vision API 应用的人而设计。该项目通过收集各种创新实验，展示了从简单图像分类到高级零样本学习模型的多种应用。无论是初学者还是专家，都可以在这里探索 Vision API 的强大功能，分享他们的发现，并通过合作来推动视觉人工智能领域的前沿发展。

使用要求

使用 OpenAI API 进行实验需要一个 API 密钥。可以在 这里 获取。

使用限制

• 每个 API 密钥每天限制 100 次请求。
• 无法用于目标检测或图像分割。然而，可以通过结合 GPT-4V 与基础模型如 GroundingDINO 或 Segment Anything (SAM) 来解决这些问题。请参阅这个 示例 和这篇 博客文章。

实验展示

该项目展示了一系列实验案例，每个实验都有相应的补充材料和作者信息：

• WebcamGPT：一个通过视频流进行聊天的应用。
• HotDogGPT：简单的图像分类应用程序。
• GPT-4V 零样本图像分类器：与 GPT-4V 配合使用的先进分类器。
• 零样本目标检测：通过 GroundingDINO 和 GPT-4V 实现。
• GPT-4V vs. CLIP：对比两者在不同任务中的表现。
• GPT-4V 的 Set-of-Mark (SoM) 实验：利用 SoM 提高视觉定位能力。
• GPT-4V on Web：探索 GPT-4V 的网络应用。
• NBA 比赛自动配音：为篮球比赛提供自动语音解说。

推荐阅读论文

项目推荐了一些需要阅读的重要论文，这些论文为项目提供了理论支持和前沿探索：

• Set-of-Mark 提示：在 GPT-4V 中释放超凡视觉定位能力
• LMMs 的曙光：GPT-4V(ision) 的初步探索
• GPT-4 系统卡片

博客文章

项目还列出了几篇相关的博客文章，为使用者提供了额外的见解和技术细节：

• CLIP 与 GPT-4V 的分类对比
• 使用 GPT-4V 进行目标检测的实验
• 使用 API 对 GPT-4 进行分类实验的精炼
• 在双阶段检测模型中使用 GPT-4V
• 使用GPT-4V的初体验

社区贡献

项目欢迎任何帮助以使其更完善。如果希望添加新的实验或对项目改进有任何建议，使用者可以随时提出 issue 或 pull request。如果对贡献新实验感兴趣，请查阅项目的 贡献指南，其中包含所需的所有信息。