SAM2：在图像和视频中分割任何内容

SAM 2: Segment Anything in Images and Videos

一、关键信息

1. SAM 2概述：

1. SAM 2 是一种基础模型，设计用于在图像和视频中实现可提示的视觉分割。
2. 该模型采用变压器架构和流式内存进行实时视频处理。
3. 它在原始的Segment Anything Model（SAM）的基础上进行了改进，具备更高的准确性和速度。

2. 数据引擎和数据集：

1. 创建了一个新的数据引擎，用于收集大规模视频分割数据集，即Segment Anything Video（SA-V）数据集。
2. SA-V数据集包含3550万个掩码，涵盖50900个视频。

3. 可提示视觉分割（PVS）：

• PVS允许在任何视频帧上提供提示（点、框、掩码）以分割对象。
• 模型使用这些提示在整个视频中生成和优化分割掩码。

4. 模型架构：

1. 图像编码器(Image Encoder)：基于MAE（Masked Autoencoders）和Hiera架构进行预训练࿰