CSIG 年度学科发展报告论坛

报告题目：分割一切模型综述

报告嘉宾：张军平 ，复旦大学计算机科学技术学院教授、博士生导师，中国自动化学会普及工作委员会主任。主要研究方向包括人工智能、机器学习、图像处理、生物认证、智能交通及气象预测。至今发表论文 100 余篇，连续两年（2022、2023）入选全球前 2%顶尖科学家榜单终身科学影响力排行榜。著有《人工智能极简史》《爱犯错的智能体》《高质量读研》，主编《人机混合增强智能》，译著《统计学习要素》（第二版）。

报告摘要：Meta 公司提出的“分割一切模型”(Segment Anything Model，简称SAM)于 2023 年在图像分割领域获得了优异的性能。在 SAM 开源后不久，科研

人员提出了一系列改进的方法和应用。为了能全面深入了解分割一切模型的发展脉络，优势与不足，本报告将对 SAM 的研究进展进行综述。我将先介绍分割一

切模型的背景和核心框架。在此基础上，综述相关改进方法，并探讨 SAM 在图像处理、视频处理以及其他领域的应用。最后，对 SAM 未来的发展方向和潜在

应用前景进行分析和讨论。

SAM背景

  • 分割一切项目
    - 任务:提出新的提示分割任务范式。
    - 模型:图像编码器、提示编码器、轻量级掩码解码器。
    - 数据:提出新的数据引擎构建了SA-1B数据集。
image-20240528163704285

SAM的应用

视频超分辨率

  • SEEM模块可以利用语义信息增强模型的特征对齐和融合能力。
    - 具体来说，通过利用注意力机制和特征映射操作实现将SAM的表示与当前输入帧的特征相结合，然后生成语义感知的特征。
image-20240528164011993

基于滑动窗口的超分辨率方法，引入SEEM改进了三个步骤：即对齐、融合和重建

image-20240528164206753
image-20240528164239992

在基于循环结构的超分辨率方法，我们将SEEM应用于基于双向递归结构的方法。“F”和“B”是向前和向后传播表示串联操作。

视频目标追踪

  • TAM结合了分割模型SAM和高级视频对象分割模型多重记忆模型，这两个模型以交互的方式集成在一起。

总结

SAM的应用形式主要大致分为四类:

  1. 在特定领域对SAM进行微调
    2. 使用SAM辅助其他领域原有的模型
    3. 利用SAM构建其他特定领域的数据集
    4. 使用生成提示模型自动生成提示来辅助SAM
SAM(CCIG).drawio

未来研究方法

  • 模块化
  • 弱监督语义分割
  • 多模态融合图像分割
  • 对SAM进行高效率微调
  • 格式塔心理学的整体认知观加强SAM的对抗鲁棒性

综述论文

分割一切模型SAM的潜力与展望：综述-The potential and prospects of segement anything model: a survey (cjig.cn)