Alexander Kirillov、Eric Mintun、Nikhila Ravi、Hanzi Mao、Chloe Rolland、Laura Gustafson、Tete Xiao、Spencer Whitehead、Alex Berg、Wan-Yen Lo、Piotr Dollar、Ross Girshick
[论文
] [项目
] [演示
] [数据集
] [博客
] [引用
]
**分割任意物体模 型(SAM)**可以根据输入提示(如点或框)生成高质量的物体掩码,并可用于生成图像中所有物体的掩码。该模型已在包含1100万张图像和11亿个掩码的数据集上进行了训练,并在各种分割任务上表现出强大的零样本性能。
<p float="left"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/58fcfa40-794d-4ed8-8b91-3cfab94e7a7c.png?raw=true" width="37.25%" /> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b7e53e78-2e2c-4fb3-ad54-aa94d9b7f169.jpg?raw=true" width="61.5%" /> </p>我不是原始实现的作者。这个仓库是一个将原始实现封装成包的Python包。如果您对原始实现有任何疑问,请参考facebookresearch/segment-anything。原始实现采用Apache License 2.0许可证。
代码要求python>=3.8
,以及pytorch>=1.7
和torchvision>=0.8
。请按照这里的说明安装PyTorch和TorchVision依赖项。强烈建议安装支持CUDA的PyTorch和TorchVision。
使用pip安装Segment Anything:
pip install segment-anything-py
或使用mamba安装Segment Anything:
mamba install -c conda-forge segment-anything
或克隆仓库到本地并安装:
pip install git+https://github.com/facebookresearch/segment-anything.git
以下可选依赖项用于掩码后处理、以COCO格式保存掩码、示例笔记本和以ONNX格式导出模型。运行示例笔记本还需要安装jupyter
。
pip install opencv-python pycocotools matplotlib onnxruntime onnx
首先下载一个模型检查点。然后只需几行代码就可以使用模型从给定提示获取掩码:
from segment_anything import SamPredictor, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
predictor = SamPredictor(sam)
predictor.set_image(<your_image>)
masks, _, _ = predictor.predict(<input_prompts>)
或为整个图像生成掩码:
from segment_anything import SamAutomaticMaskGenerator, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(<your_image>)
此外,还可以通过命令行为图像生成掩码:
python scripts/amg.py --checkpoint <path/to/checkpoint> --model-type <model_type> --input <image_or_folder> --output <path/to/output>
有关更多详细信息,请参阅使用SAM和提示和自动生成掩码的示例笔记本。
<p float="left"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/0e4c5cb5-105f-474b-8d53-a0eb8fbdc029.png?raw=true" width="49.1%" /> <img src="https://yellow-cdn.veclightyear.com/835a84d5/51a2d194-6d44-4a1d-b52b-718e923f543d.png?raw=true" width="48.9%" /> </p>SAM的轻量级掩码解码器可以导出为ONNX格式,以便在支持ONNX运行时的任何环境中运行,例如在演示中展示的浏览器内运行。使用以下命令导出模型:
python scripts/export_onnx_model.py --checkpoint <检查点路径> --model-type <模型类型> --output <输出路径>
有关如何将SAM主干网络的图像预处理与使用ONNX模型进行掩码预测相结合的详细信息,请参阅示例笔记本。建议使用最新稳定版本的PyTorch进行ONNX导出。
demo/
文件夹包含一个简单的单页React应用,展示了如何在Web浏览器中使用多线程运行导出的ONNX模型进行掩码预测。更多详情请参阅demo/README.md
。
提供了三种不同主干网络大小的模型版本。可以通过运行以下代码实例化这 些模型:
from segment_anything import sam_model_registry
sam = sam_model_registry["<模型类型>"](checkpoint="<检查点路径>")
点击下面的链接下载相应模型类型的检查点。
default
或vit_h
:ViT-H SAM模型vit_l
:ViT-L SAM模型vit_b
:ViT-B SAM模型点击此处查看数据集概述。可以在这里下载数据集。下载数据集即表示您已阅读并接受SA-1B数据集研究许可协议的条款。
我们将每张图像的掩码保存为json文件。可以在Python中以以下格式加载为字典。
{ "image" : 图像信息, "annotations" : [注释], } 图像信息 { "image_id" : int, # 图像ID "width" : int, # 图像宽度 "height" : int, # 图像高度 "file_name" : str, # 图像文件名 } 注释 { "id" : int, # 注释ID "segmentation" : dict, # 以COCO RLE格式保存的掩码 "bbox" : [x, y, w, h], # 掩码周围的框,采用XYWH格式 "area" : int, # 掩码的像素面积 "predicted_iou" : float, # 模型对掩码质量的自我预测 "stability_score" : float, # 掩码质量的衡量指标 "crop_box" : [x, y, w, h], # 用于生成掩码的图像裁剪,采用XYWH格式 "point_coords" : [[x, y]], # 输入模型以生成掩码的点坐标 }
图像ID可以在sa_images_ids.txt中找到,该文件也可以使用上面的链接下载。
要将COCO RLE格式的掩码解码为二进制:
from pycocotools import mask as mask_utils
mask = mask_utils.decode(annotation["segmentation"])
有关操作RLE格式存储的掩码的更多说明,请参阅此处。
该模型基于Apache 2.0许可证授权。
Segment Anything项目的实现离不开众多贡献者的帮助(按字母顺序排列):
Aaron Adcock, Vaibhav Aggarwal, Morteza Behrooz, Cheng-Yang Fu, Ashley Gabriel, Ahuva Goldstand, Allen Goodman, Sumanth Gurram, Jiabo Hu, Somya Jain, Devansh Kukreja, Robert Kuo, Joshua Lane, Yanghao Li, Lilian Luong, Jitendra Malik, Mallika Malhotra, William Ngan, Omkar Parkhi, Nikhil Raina, Dirk Rowe, Neil Sejoor, Vanessa Stark, Bala Varadarajan, Bram Wasti, Zachary Winstrom
如果您在研究中使用了SAM或SA-1B,请使用以下BibTeX条目。
@article{kirillov2023segany,
title={Segment Anything},
author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
journal={arXiv:2304.02643},
year={2023}
}
一个具备多种工具和代理功能,可用于解决复杂任务规划、网络搜索、浏览器操作等的项目。
OpenManus 是一个功能强大的开源项目,提供了丰富的工具和代理机制。包含规划工具、多种搜索引擎、浏览器操作工具等,能帮助开发者高效解决复杂任务的规划、网络信息搜索以及浏览器自动化操作等问题。支持多种语言,拥有清晰的文档和代码结构,易于集成和扩展,适用于各类需要自动化任务处理的场景。
一个支持多种格式转换的工具库
MarkItDown 是一个强大的 Python 工具库,专注于文档格式转换。它能够处理多种类型的文件,如 HTML、Wikipedia 页面以及 Bing 搜索结果页等,将其转换为 Markdown 格式。该项目支持插件扩展,提供了清晰的接口和丰富的功能,为开发者和文档处理人员提供了便捷、高效的文档转换解决方案,能有效提升文档处理效率,是文档转换领域的优秀选择。
字节跳动发布的AI编程神 器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案
开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。
埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型
Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。
腾讯自研的混元大模型AI助手
腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。
Windsurf Editor推出第三次重大更新Wave 3
新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。
增强编程效率的AI代码编辑器
Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。
全面超越基准的 AI Agent助手
Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。
飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库
基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号