从像素预测到可提示分割：UNet、DeepLab、Mask2Former 到 Segment Anything

1. 视觉分割任务回顾：从像素预测到结构理解

视觉分割是计算机视觉体系中一类基础而关键的任务。与图像分类主要回答“图像中包含哪些语义概念”不同，分割进一步要求回答“这些对象在图像中的具体位置、形状与边界是什么”。这意味着分割并非以整幅图像或候选框为单位进行判断，而是直接作用于像素层面，需要对图像中每一个像素给出明确的归属结果。

正因为输出粒度从“区域”细化到“像素”，视觉分割不仅考验模型的语义理解能力，更对其空间表达能力、上下文建模能力以及结构化预测能力提出了更高要求。在进入可提示分割与通用分割模型的讨论之前，有必要首先对分割任务本身的定义、输出形式以及任务类型进行系统回顾，从而为后续模型结构与问题设定的演进奠定清晰而统一的概念基础。

1.1 分割任务的基本定义与输出形式

从问题形式上看，视觉分割可以被视为一种典型的像素级预测任务。给定输入图像，模型需要为其中的每一个像素输出对应的类别标签或概率值，并确保输出结果在空间上与输入图像严格对齐。这一特点决定了分割任务天然具有显著的几何与结构属性，模型不仅需要“理解图像内容”，还需要将语义信息精确映射回图像平面。

与图像分类相比，分割任务关注的并非全局语义，而是图像内部的空间组织关系；与目标检测相比，分割任务的目标并非给出有限数量的边界框，而是直接刻画目标的精确轮廓。因此，结构化定位能力是分割任务最核心的特征之一。

从输出形式来看，分割结果通常以二维图或多通道张量的形式表示，常见形式主要包括以下几类。

• 二值掩码。该形式多用于单目标或前景–背景分割场景，每个像素仅需判断是否属于目标区域。二值掩码形式直观、实现简单，在医学影像分析、目标抠图等应用中被广泛采用。
• 多类掩码。这是语义分割中最常见的输出形式，每个像素被赋予一个离散的语义类别编号。模型可以直接输出类别索引，也可以输出每个类别对应的概率图，再通过后处理得到最终分割结果。
• 概率分布或置信图。在这一形式下，模型为每个像素输出其属于不同类别的概率值，从而显式表达预测不确定性。这种输出在交互式修正、阈值调节以及多模型融合等场景中具有更高的工程价值。

与检测任务相比，分割任务在表达能力上的优势十分明显。边界框只能给出粗粒度的空间定位，而分割掩码能够精确描述目标的形状、边界以及内部结构。正因如此，分割在医学影像处理、遥感影像解译、自动驾驶环境感知等场景中具有不可替代的地位。

然而，像素级输出同时也意味着更高的代价。分割模型需要处理更密集的监督信号，对标注质量高度敏感，而像素级标注成本本身又极为高昂。这一现实约束，构成了分割技术长期演进中的关键瓶颈，也直接推动了后续关于交互式分割与可提示分割范式的探索。

图1-1 目标检测与语义分割输出形式对比示意图

左面为目标检测结果，模型以若干矩形边界框及对应的类别标签对目标进行定位与识别。当目标形状较为复杂或边界不规则时，边界框只能提供粗略的位置范围，难以精确贴合目标的真实轮廓。右面为语义分割结果，模型对图像中每一个像素进行预测，并以不同颜色标注不同语义区域，从而清晰刻画出目标与背景之间的边界细节及其空间结构。

1.2 三类经典分割任务：语义分割、实例分割与全景分割

尽管“分割”常被作为一个统称使用，但在研究与工程实践中，其目标定义并不单一。根据是否区分同类目标个体，以及是否要求输出覆盖整幅图像，分割任务通常被划分为语义分割、实例分割与全景分割三类。清晰区分这三类任务，是理解后续模型结构设计与训练目标差异的重要前提。

语义分割关注的是类别层面的像素归属，如图1-2 b。在这一任务中，每个像素都被赋予一个语义类别标签，例如道路、建筑、天空或行人，但同一类别中的不同个体不作区分。语义分割强调语义一致性与上下文理解能力，其输出通常被视为一幅完整的语义地图，在场景理解和环境建模中发挥基础性作用。

实例分割在语义分割的基础上进一步提出要求，即不仅需要判断像素属于哪一类，还需要区分同一类别中的不同实例。例如在包含多名行人车辆的图像中，如图1-2 c，每一个行人都应对应一张独立的掩码。实例分割本质上同时涉及目标级区分与像素级轮廓刻画，对模型的结构建模能力提出了更高要求。

全景分割试图在统一框架下整合上述两类任务，如图1-2 d。其核心思想是同时处理可数目标与不可数背景区域，既区分实例级目标，又对连续区域进行语义标注，并保证输出结果在整幅图像上覆盖完整且互不冲突。全景分割强调表达的一致性与完整性，在自动驾驶和机器人感知系统中具有重要应用价值。

需要指出的是，这三类任务之间并不存在简单的替代关系，而是由应用需求驱动的差异化定义。语义分割侧重整体场景语义，实例分割侧重个体区分，全景分割则追求统一表达。任务定义的不同，直接影响模型是否需要实例级查询机制、匹配策略以及更复杂的后处理流程。

 图1-2 语义分割、实例分割与全景分割输出形式对比示意图

本章小结
本章围绕视觉分割任务的基本定义与分类，对分割问题的核心特征进行了系统梳理。可以看到，视觉分割的本质是像素级的结构化预测，其价值在于对目标形状、边界以及空间关系的精确刻画；与此同时，像素级输出所带来的高建模复杂度与高标注成本，也构成了分割技术长期演进中的重要现实约束。

通过区分语义分割、实例分割与全景分割三类任务，可以进一步理解不同分割模型在设计目标上的侧重点。这些概念与任务边界，将在后续章节中反复出现，并直接影响模型结构选择与问题设定方式。下一章将以此为基础，进一步讨论分割模型在结构层面的演进逻辑，以及不同设计分别在解决哪些关键困难。

2. 分割模型结构演进：不同设计在解决什么问题

在明确了分割任务的定义与类型之后，随之而来的核心问题是：模型应当如何从图像中学习并生成像素级的结构化结果。分割模型的发展并非简单的性能堆叠过程，而是围绕若干长期存在的关键困难，不断调整其结构设计与建模假设。这些困难主要体现在 语义信息与空间细节之间的权衡、多尺度目标的统一处理，以及对复杂场景中多个目标的区分能力 等方面。

本章将以三类具有代表性的模型为线索，梳理分割模型在结构层面的演进逻辑。需要强调的是，这一演进并不意味着旧模型被新模型完全取代，而是反映了不同结构在解决不同问题时所体现出的设计取向。理解这些取向，有助于把握后续可提示分割模型在结构与问题设定上的合理性。

2.1 UNet：像素级预测的结构起点

UNet 是分割领域中最具代表性的早期模型之一，其提出为像素级预测任务提供了一种直观而有效的结构范式。UNet 的核心思想可以概括为 编码器–解码器结构，通过逐步压缩与恢复空间分辨率，实现从图像到像素标签的映射。

在编码阶段，模型通过多层卷积与下采样操作逐渐降低特征图的空间分辨率，同时提升特征的语义抽象程度。这一过程有利于捕获局部纹理与高层语义信息，但不可避免地会丢失精细的空间细节。为了解决这一问题，UNet 在解码阶段引入了与编码阶段对称的上采样路径，通过反卷积或插值操作逐步恢复分辨率，并将编码阶段对应层级的特征通过跳跃连接引入解码过程。

这种跳跃连接的设计是 UNet 成功的关键。高层特征负责语义判断，低层特征保留边界与局部结构信息，两者在解码阶段的融合，使模型能够在保持语义一致性的同时，恢复较为精确的像素边界。正因如此，UNet 在医学影像分割等对边界精度要求极高的场景中长期占据重要地位。

然而，UNet 的结构也存在明显局限。由于其主要依赖局部卷积操作，模型的感受野增长较为有限，在面对大尺度目标或复杂场景时，对全局上下文的建模能力不足。这一问题在自然场景分割中尤为突出，也直接推动了后续模型在结构设计上的改进。

具体可参考：图像分割与U-Net系列模型解析

图2-1 UNet 编码器–解码器对称结构示意图

该图展示了 UNet 模型典型的编码器–解码器对称结构及其特征传递方式。左侧为编码阶段，通过多层 3×3 卷积与 ReLU 激活逐步提取特征，并借助 2×2 最大池化不断降低特征图的空间分辨率，从而获得更高层次的语义表示。随着分辨率下降，特征通道数逐级增加，以增强对复杂语义结构的表达能力。
右侧为解码阶段，通过 2×2 上采样卷积逐步恢复特征图分辨率，并与编码阶段中对应尺度的特征图进行跳跃连接（copy and crop）。这种连接方式将低层特征中保留的精细空间信息与高层特征中的语义信息进行融合，有效弥补下采样过程中造成的细节损失。
图中标注的特征图尺寸变化与通道数配置，直观体现了 UNet 在不同分辨率层级之间的对应关系，以及跳跃连接在恢复目标边界与空间结构细节中的关键作用。这一结构设计奠定了 UNet 在像素级分割任务中兼顾语义一致性与边界精度的基础。

2.2 DeepLab：引入上下文感知的分割模型

针对 UNet 在全局语义建模能力不足的问题，DeepLab 系列模型从感受野设计的角度对分割结构进行了系统改进。其核心思想在于，通过扩大有效感受野，使模型在不显著增加参数量的情况下，能够同时感知更大范围的上下文信息。

DeepLab 的关键技术之一是空洞卷积。与标准卷积不同，空洞卷积在卷积核元素之间引入间隔，从而在保持特征图分辨率不变的前提下，显著扩大感受野。这种设计避免了频繁下采样带来的空间信息损失，使模型能够在较高分辨率特征图上进行语义推理。

在此基础上，DeepLab 系列进一步提出了空洞空间金字塔池化模块，通过并行使用不同空洞率的卷积，对同一特征图进行多尺度处理。该模块使模型能够同时捕获局部细节与全局语义，对于尺度变化显著的目标尤为有效。随着版本演进，DeepLab 还引入了更精细的解码结构，以改善边界质量。

从结构取向上看，DeepLab 更强调语义一致性与上下文理解能力，相比 UNet 更适合处理自然场景中的大尺度区域。然而，由于其输出本质上仍是像素级语义预测，模型并不直接区分同类目标的不同实例，这也限制了其在实例级分析任务中的适用范围。

具体可参考：图像分割DeepLab系列算法思路分析

图2-2 空洞空间金字塔池化（ASPP）结构示意图

该图展示了 DeepLab 系列模型中空洞空间金字塔池化模块的整体结构及其工作方式。输入特征在保持空间分辨率不变的前提下，被并行送入多个分支进行处理。其中包含一个 1×1 卷积分支，以及多个具有不同空洞率的 3×3 空洞卷积分支（如 r6、r12、r18），同时还引入了池化分支用于补充全局上下文信息。不同分支对应不同大小的有效感受野，使模型能够在同一尺度上同时感知局部细节与大尺度语义结构。
各分支输出的特征随后在通道维度上进行拼接，并通过 1×1 卷积进行融合与压缩，形成兼具多尺度上下文信息的特征表示。通过这种设计，DeepLab 能够在不依赖额外下采样、不降低特征图分辨率的情况下有效扩大感受野，从而提升分割任务中对复杂场景与尺度变化目标的建模能力。

2.3 Mask2Former：统一视角下的分割建模

随着 Transformer 架构在视觉领域的广泛应用，分割模型的建模方式开始发生更为根本性的变化。Mask2Former 是这一阶段的代表性工作，其核心贡献在于提出了一种统一的分割建模视角，将语义分割、实例分割与全景分割统一为 掩码预测问题。

Mask2Former 的关键思想是基于查询的分割建模。模型不再直接对每一个像素进行独立分类，而是通过一组可学习的查询向量，与图像特征进行交互，预测一组掩码及其对应的语义信息。每一个查询可以被视为一个潜在的目标或区域，其输出是一张软掩码以及对应的类别预测。

这种设计带来了两个重要变化。首先，分割结果不再依赖于像素级的独立决策，而是以集合的形式进行预测，更符合目标级结构的表达方式。其次，不同分割任务之间的差异被显著弱化，模型只需通过不同的训练目标与后处理策略，即可适配语义、实例或全景分割需求。

从结构复杂度的角度看，Mask2Former 相较于 UNet 和 DeepLab 引入了更复杂的注意力机制与匹配策略，对计算资源与实现细节提出了更高要求。但其以掩码为中心的统一建模思想，为后续通用分割模型的发展提供了重要启示，也为可提示分割范式奠定了关键技术基础。

具体可参考：从像素到区域：MaskFormer 系列详解

图2-3 基于查询的分割建模流程示意图（Mask2Former）

该图展示了 Mask2Former 所采用的基于查询的分割预测流程。输入图像首先经过主干网络与特征编码器，生成具有丰富语义信息的图像特征表示。随后，一组可学习的查询向量被送入 Transformer 解码器，与图像特征进行全局交互。每个查询在注意力机制的引导下，从特征图中聚合与自身最相关的区域信息。

在解码阶段，每个查询同时输出两类结果：一是对应的分割掩码预测，用于刻画目标或区域的空间形状；二是对应的类别预测，用于确定该掩码的语义属性。通过这种方式，模型将分割任务建模为由查询驱动的掩码集合预测问题，而非传统的逐像素独立分类。

该流程直观体现了 Mask2Former 与经典分割模型在建模方式上的根本差异：分割结果不再由像素级分类器直接生成，而是由查询统一生成并管理，从而为语义分割、实例分割与全景分割提供了统一而灵活的建模框架。

本章小结
本章从结构设计的角度回顾了分割模型的发展脉络。UNet 通过编码器–解码器结构奠定了像素级预测的基本范式，DeepLab 通过引入空洞卷积与多尺度上下文建模强化了语义一致性，而 Mask2Former 则进一步将分割任务抽象为基于查询的掩码预测问题，实现了多种分割任务的统一表达。

可以看到，不同模型并非简单的替代关系，而是在不同设计假设下，对分割任务中的关键困难给出了各自的解决方案。理解这些结构选择背后的动机，是进一步理解可提示分割与通用分割模型设计逻辑的重要前提。

3. 从自动分割到可提示分割：问题是如何被重新定义的

在前两章中，分割任务的定义以及典型模型结构已经得到了系统梳理。无论是以像素分类为核心的卷积模型，还是以查询驱动的掩码预测为核心的 Transformer 架构，它们在问题设定上都隐含着一个共同前提：模型需要在给定输入图像的情况下，自动输出完整且确定的分割结果。这一设定在数据分布稳定、任务边界清晰的场景中长期有效，但随着应用环境的复杂化，其局限性也逐渐显现。

本章将从问题设定层面出发，分析传统自动分割范式所依赖的隐含假设，并说明这些假设为何在开放场景中逐步失效，进而引出可提示分割这一新的问题定义方式。需要强调的是，这一转变并非简单的模型结构升级，而是对 “分割任务究竟由谁来定义” 这一根本问题的重新思考。

3.1 传统自动分割范式的隐含假设与限制

经典分割模型在设计与使用过程中，通常建立在若干隐含但关键的假设之上。这些假设在早期应用中并不显性，但随着分割技术走向更复杂的场景，其限制逐渐凸显。

首先，传统分割模型默认任务类别集合在训练与推理阶段保持一致。模型在训练时被明确告知需要区分哪些语义类别或实例类型，并在推理阶段始终围绕这一固定集合进行预测。这一假设使模型能够针对特定任务进行高度优化，但也意味着模型对新类别或长尾目标的适应能力有限。

其次，自动分割模型隐含地假设输入图像中需要被分割的对象是明确且完整的。模型的目标是对整幅图像给出全量分割结果，而并不关心在实际应用中是否只需要关注图像中的某一局部区域或某一个特定对象。这种“全图一次性预测”的方式在自动化流程中具有效率优势，但在探索式、交互式或分析式场景中往往显得冗余。

再次，传统分割模型对大规模、高质量标注数据高度依赖。无论是语义分割还是实例分割，像素级标注都需要大量人工成本。一旦应用场景或数据分布发生变化，原有模型往往需要重新收集数据并进行训练，迁移成本较高。

这些假设在封闭环境下并不构成严重问题，但在开放场景、长尾分布以及人机协同系统中，其局限性开始集中暴露。模型虽然可能在标准评测指标上表现优异，却难以灵活响应实际需求的变化。

3.2 可提示分割的提出：从模型自动决定到外部条件指定

可提示分割的核心思想在于：分割任务的具体目标不再完全由模型参数隐式决定，而是通过外部输入在推理阶段显式指定。与其要求模型在所有情况下输出完整分割结果，不如允许外部条件明确指出“希望分割什么”。

在这一设定下，分割模型的角色发生了根本性变化。模型不再是一个封闭的自动预测器，而是转变为一个可被条件化调用的分割引擎。外部条件可以以多种形式存在，例如在图像中给出一个或多个点、一个粗略的边界框，或是一段描述性文本。这些输入并非简单的辅助信息，而是直接参与分割推理过程，影响模型最终输出的掩码结果。

从问题定义的角度来看，可提示分割将原本隐含在训练数据与模型参数中的任务约束，显式地暴露为推理阶段的可控变量。模型不再需要预先覆盖所有可能的目标类别，而是专注于在当前条件约束下，生成与提示一致的分割结果。这种方式在开放场景中具有显著优势，也为分割模型的泛化能力提供了新的实现路径。

3.3 可提示分割与传统分割的差异与联系

尽管问题设定发生了变化，可提示分割并非对传统分割范式的完全否定。两者在本质上仍然共享相同的核心能力，即从图像中提取多层次特征，并将其映射为像素级的结构化输出。不同之处在于，分割决策过程是否受到外部条件的显式约束。

在传统自动分割中，模型在推理阶段面对的是一个相对封闭的问题空间，其输出的多样性主要来自输入图像本身。而在可提示分割中，输出空间同时受到图像内容与提示信息的共同制约。相同的图像，在不同提示条件下，可以产生截然不同但同样合理的分割结果。

这种差异也直接影响了评价视角。在可提示分割场景中，分割质量不再仅由单一的精度指标衡量，还需要结合交互成本、提示次数以及结果稳定性等因素进行综合分析。从这一角度看，可提示分割更接近一种人机协同问题，而非纯粹的离线预测任务。

图3-1 可提示分割的输入–输出关系示意图（Segment Anything）

该图展示了可提示分割模型的基本工作方式强调“分割由提示条件驱动”的核心思想。模型的输入不仅包含原始图像，还包括来自外部的分割提示信息。提示可以采用多种形式，例如前景或背景点、边界框、已有的粗略掩码，或文本描述等，这些不同形式的提示在模型中被统一编码，并作为条件约束参与分割推理过程。

在给定图像与提示的共同作用下，模型生成与提示语义一致的有效分割掩码。图中可以看到，相同的输入图像在不同提示条件下，模型关注的目标区域会发生变化，最终输出的分割结果也随之调整。这一流程表明，分割结果不再是模型对图像的唯一、固定预测，而是由图像内容与提示信息共同决定。

该示意直观体现了可提示分割相较于传统自动分割的根本差异，即将“分割什么”的决策权部分从模型内部转移到推理阶段，使分割模型成为一种可被外部指令控制的视觉能力模块。

本章小结
本章从问题设定的角度讨论了分割范式的转变。传统自动分割模型在固定任务与封闭数据分布下表现稳定，但在开放环境中暴露出灵活性与可控性不足的问题。可提示分割通过引入外部条件，将“分割什么”的决策权部分转移到推理阶段，从而为分割模型提供了更高的可控性与泛化潜力。

在这一背景下，分割模型不再仅仅是一个静态的预测工具，而逐渐演变为一种可交互、可复用的视觉能力模块。下一章将围绕这一思想，进一步分析 Segment Anything Model 的系统设计及其如何在工程层面实现可提示分割。

4. Segment Anything Model：作为通用分割工具的系统设计

在前一章中，分割问题的设定已经从“模型自动完成整幅图像的分割任务”转向“在外部条件约束下生成所需的分割结果”。在这一新设定下，模型不再仅仅面对固定类别或固定输出形式，而需要在多种提示条件下稳定执行分割。Segment Anything Model 正是在这一背景下提出，其目标并非针对某一具体数据集或单一应用场景进行优化，而是构建一个可被反复调用、可被外部指令控制的通用分割工具。

本章将从系统设计的角度，对 Segment Anything Model 的整体结构、提示机制以及能力边界进行分析，重点解决三个问题：为何这种模型能够工作、应当如何使用、以及在什么情况下不适合使用。

4.1 SAM 的整体架构与工作流程

从结构上看，Segment Anything Model 并未追求端到端的一体化设计，而是明确划分为三个功能相对独立、职责清晰的模块：图像编码器、提示编码器与掩码解码器。这种模块化结构是 SAM 能够在多种使用场景中保持灵活性的关键。

• 图像编码器负责从输入图像中提取高层次的视觉特征。该模块通常基于大规模视觉 Transformer 进行训练，其输出是一组具有较强语义表达能力的特征表示。这一步可以被视为一次通用视觉理解过程，其结果在后续不同提示条件下可以被重复使用，从而显著降低交互式使用时的整体计算成本。
• 提示编码器用于处理外部输入的提示信息。无论是点、框还是已有掩码，这些提示都不会直接参与像素级计算，而是被映射为与图像特征处于同一表示空间中的嵌入向量。通过这一设计，不同形式的提示可以被统一建模，并以一致的方式影响分割推理过程。
• 掩码解码器是 SAM 中最具交互特性的模块。它接收图像特征与提示嵌入，通过注意力机制生成一个或多个候选分割掩码。值得注意的是，解码器通常采用相对轻量的结构，使得在交互式使用场景中能够快速响应提示变化，而无需重复执行代价较高的图像编码步骤。

从整体流程来看，SAM 的一次分割预测并非单纯的前向传播，而是由图像理解、条件指定与结果生成三步协同完成。这种解耦设计使模型在工程层面更接近一个可复用的功能模块，而非一次性执行的任务模型。

图4-1 Segment Anything Model（SAM）整体架构与数据流示意图

该图展示了 Segment Anything Model 的整体系统架构及其在推理阶段的数据流向。输入图像首先经过图像编码器进行一次性特征提取，生成高维的图像嵌入表示。该图像特征在后续分割过程中被缓存并重复使用，使得模型在多次交互中无需重复执行高成本的图像编码操作。

来自外部的分割提示通过提示编码器进行处理，不同形式的提示（如点、边界框、文本或已有掩码）被统一映射为提示嵌入，并在掩码解码阶段注入。掩码解码器同时接收图像嵌入与提示嵌入，通过注意力机制生成多个候选分割掩码及其对应的置信度评分。

图中右侧展示了模型输出的多掩码预测结果，每个掩码均附带一个评分，用于衡量其与当前提示条件的匹配程度。通过将图像理解与提示驱动的掩码生成过程解耦，SAM 能够在同一图像特征上高效地反复应用不同提示，从而支持快速、低成本的交互式分割。这一结构设计体现了 SAM 作为通用、可调用分割工具的核心思想。

4.2 SAM 支持的提示形式与使用逻辑

SAM 的一个核心特征在于其对多种提示形式的原生支持。不同提示并非等价替代关系，而是对应不同程度的约束强度与使用目的。

点提示是最基础的提示方式。通过在图像中指定前景点或背景点，模型被引导关注局部区域。这种方式交互成本最低，适合快速探索图像结构，但在目标边界复杂或目标密集的场景中，往往需要多次交互才能获得稳定结果。

框提示提供了更强的空间约束。通过给定一个粗略的边界框，模型的搜索空间被显著压缩，分割结果通常更加稳定。这种方式在目标位置大致已知的情况下尤为高效，常被用于半自动标注流程中。

掩码提示用于在已有分割结果的基础上进行细化或修正。模型将输入掩码视为一种软约束，在此基础上生成更符合边界的输出。这一机制使 SAM 能够支持渐进式交互，而非每次从零开始预测。

在实际使用中，这些提示形式往往被组合使用。点提示用于初始定位，框提示用于稳定结果，掩码提示用于精修边界。SAM 并未强制规定提示的使用顺序，而是通过统一的提示编码机制，为分割过程提供了足够的灵活性，使结果能够逐步收敛。

4.3 SAM 的能力边界与常见失败模式

尽管 SAM 在通用性与交互性方面表现突出，但其能力并非没有边界。明确这些边界，是合理使用该模型的前提。

在处理尺寸极小或结构极为细碎的目标时，SAM 的分割结果往往不稳定。这一问题与图像编码器的特征分辨率以及训练数据中目标尺度分布密切相关。在此类场景中，单纯增加提示数量并不一定能够显著改善结果。

在复杂遮挡或高度重叠的场景中，提示信息可能无法唯一确定期望分割的对象，从而导致模型在多个候选掩码之间摇摆。这种不确定性在交互式使用时尤为明显，需要通过更强约束或人工判断进行干预。

此外，分割质量与交互成本之间并不存在简单的线性关系。在某些情况下，模型能够在较少提示下生成高质量掩码；而在另一些情况下，即便结果精度较高，也可能需要多次提示才能达到可用状态。因此，单一精度指标不足以全面评价 SAM 的实际效果。

这些现象表明，SAM 更适合作为一种辅助型通用工具，而非完全替代任务专用分割模型的解决方案。合理的使用方式应当结合具体应用需求，在自动化程度、交互成本与结果质量之间进行权衡。

本章小结
本章从系统设计的角度分析了 Segment Anything Model 的核心结构与使用逻辑。通过模块化架构，SAM 将图像理解、提示条件与掩码生成有效解耦，从而支持多种形式的可提示分割。在实际应用中，点、框与掩码等不同提示形式为分割过程提供了灵活且可控的干预手段。

同时，SAM 也存在明确的能力边界，其表现受到目标尺度、场景复杂度以及交互策略等多方面因素的影响。理解这些特性，有助于在后续实践中更合理地将 SAM 融入数据构建与分割流程中。下一章将进一步通过具体实践，展示如何利用 SAM 进行交互式分割标注，并评估其在真实任务中的效率与效果。

5. 实践：基于 Segment Anything 的交互式分割标注

在前述章节中，Segment Anything Model 的问题设定、系统结构与能力边界已经得到系统阐述。然而，模型能力并不天然等价于工程价值。对于分割模型而言，其实际意义往往体现在数据构建与标注流程中，而非仅仅体现在固定测试集上的极限性能。

因此，本章将 Segment Anything 置于真实的交互式标注场景中，通过一个可复现的工程实验，系统分析在人工参与条件下，分割质量如何随交互成本变化，从而判断可提示分割在数据构建流程中的实际适用性。

5.1 实践目标与任务设定

交互式分割标注的核心目标，并非完全消除人工参与，而是通过模型辅助，显著降低像素级标注的复杂度与重复性。在实际工程中，像素级分割标注往往是数据构建中最耗时、最昂贵的环节之一。

任务设定
实验采用如下设定：

• 输入：自然场景图像（COCO val2017 子集）
• 输出：单目标二值分割掩码
• 交互方式：
  • 鼠标左键：前景点（foreground）
  • 鼠标右键：背景点（background）
  • p：触发预测
  • s：确认并保存
• 人工不直接绘制掩码，而仅通过点提示与模型交互

评估同时关注两个维度：

• 分割结果的可用性
• 交互成本（提示次数、时间）

5.2 交互式分割标注系统实现

5.2.1 图像特征的单次编码

在每张图像进入交互前，系统首先对图像进行一次前向编码，并缓存特征：

from segment_anything import sam_model_registry, SamPredictor
import cv2

sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device)
predictor = SamPredictor(sam)

image = cv2.imread(img_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
predictor.set_image(image)

该设计确保后续多轮提示不会重复进行高成本的图像编码，是交互式使用的关键工程前提。

5.2.2 基于鼠标提示的多轮预测

系统在 OpenCV 窗口中注册鼠标回调，实时记录前景与背景点：

points, labels = [], []

def on_mouse(event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        points.append([x, y])
        labels.append(1)  # foreground
    elif event == cv2.EVENT_RBUTTONDOWN:
        points.append([x, y])
        labels.append(0)  # background

当按下 p 键时，触发预测：

import numpy as np

point_coords = np.array(points, dtype=np.float32)
point_labels = np.array(labels, dtype=np.int32)

masks, scores, _ = predictor.predict(
    point_coords=point_coords,
    point_labels=point_labels,
    multimask_output=True
)

best_idx = int(np.argmax(scores))
best_mask = masks[best_idx]
best_score = float(scores[best_idx])

该过程返回多个候选掩码，系统选择内部置信度最高的结果作为当前输出。

5.2.3 掩码确认与结果保存

当人工认为当前掩码达到可用状态时，按下 s 进行保存，同时记录完整实验信息：

import time
import json

elapsed_sec = time.time() - start_time

cv2.imwrite(
    f"outputs/masks/{image_stem}.png",
    (best_mask.astype("uint8") * 255)
)

summary_writer.writerow([
    image_name,
    len(points),
    labels.count(1),
    labels.count(0),
    elapsed_sec,
    min(max(best_score, 0.0), 1.0),
    iou,
    dice,
    f"masks/{image_stem}.png",
    json.dumps({
        "points": points,
        "labels": labels,
        "label_meaning": "1=foreground(LMB), 0=background(RMB)"
    })
])

这一设计使每一次标注不仅生成结果，同时也生成可分析的过程数据。

5.3 基于 COCO 标注的真值掩码构建

为了在部分样本上定量评估分割质量，本实验引入像素级真值掩码。COCO 官方标注以 JSON 形式存储，无法直接用于逐像素比较，因此需进行离线转换。

COCO JSON → PNG 掩码
核心逻辑如下：

from pycocotools.coco import COCO
import cv2
import numpy as np

coco = COCO("instances_val2017.json")
img_id = coco.getImgIds(imgIds=[])[0]
anns = coco.loadAnns(coco.getAnnIds(imgIds=[img_id]))

h, w = img_info["height"], img_info["width"]
mask = np.zeros((h, w), dtype=np.uint8)

largest = max(anns, key=lambda a: a["area"])
mask = coco.annToMask(largest)

cv2.imwrite(f"data/gts/{image_stem}.png", mask * 255)

默认采用面积最大实例作为真值目标，用于保证评估的一致性。

5.4 评估指标与实验结果

5.4.1 分割质量指标

intersection = np.logical_and(pred, gt).sum()
union = np.logical_or(pred, gt).sum()

iou = intersection / (union + 1e-6)
dice = 2 * intersection / (pred.sum() + gt.sum() + 1e-6)

5.4.2 实验结果示例

在上述实验设置下，对基于 Segment Anything 的交互式分割标注流程进行了实际运行。以下内容基于真实运行日志、自动生成的统计记录（JSON / CSV）以及对应的分割可视化结果，对实验现象进行具体分析。

实验运行示例

实验通过如下命令启动，对 COCO val2017 图像进行逐张交互式分割标注：

python scripts/sam_interactive_annotate.py \
  --img_dir data/images \
  --gt_dir data/gts \
  --out_dir outputs \
  --sam_ckpt checkpoints/sam_vit_h_4b8939.pth

系统在每张图像上提供鼠标交互界面，支持前景与背景点提示，并在触发预测后输出候选掩码、置信度评分以及评估指标。

以下为连续两张样本图像的运行日志节选：

=== [1/4986] 000000000632.jpg ===
[PRED] candidates=3 best_score=1.0009 clicks=2
[EVAL] IoU=0.9130 Dice=0.9545
[SAVE] mask -> outputs/masks/000000000632.png

=== [2/4986] 000000000872.jpg ===
[PRED] candidates=3 best_score=0.9929 clicks=4
[EVAL] IoU=0.8985 Dice=0.9465
[SAVE] mask -> outputs/masks/000000000872.png

可以看到，在极少交互次数下，模型已经能够生成质量较高的分割结果。

交互成本与分割质量的定量结果

系统在每次保存分割结果时，都会将交互过程与评估结果写入结构化 JSON 记录。对应上述两张图像，其统计结果如下：

图像	点击次数	前景点	背景点	用时（秒）	SAM 置信度	IoU	Dice
000000000632.jpg	2	2	0	20.99	1.0009	0.9130	0.9545
000000000872.jpg	4	4	0	23.18	0.9929	0.8985	0.9465

这些数据直接反映了交互式分割在工程层面的几个关键特征。首先，在目标语义明确、空间结构相对集中的场景中，仅需 2–4 次前景点提示，即可获得 IoU 约 0.9、Dice 约 0.95 的分割质量。这一质量水平已能够满足大多数训练数据构建与分析任务的需求。

其次，尽管第二个样本使用了更多的交互点，其分割质量与第一个样本处于同一数量级，表明分割质量在少量交互后迅速进入稳定区间，提示次数并不存在明显的线性增益关系。

图5-1 分割结果的可视化对照

上图展示了交互式分割完成后的实际可视化结果示例。图中可以看到，模型生成的掩码在目标主体区域内具有良好的覆盖性，同时在边界处保持了较高的一致性。

模型评分与真实质量的一致性观察

在上述两个样本中，模型返回的候选掩码内部评分（sam_best_score）均接近 1.0，且与最终计算得到的 IoU 与 Dice 指标保持一致的高水平。这说明在当前实验条件下，SAM 的候选掩码排序机制能够较好地反映分割结果的相对质量。

需要注意的是，该评分并非像素级精度指标，而是用于候选掩码之间的选择。在多实例或语义不明确的场景中，其与真实分割质量之间的关系仍需进一步分析。

综合运行日志、定量统计结果与可视化对照，可以得到以下结论：在交互目标与真值实例一致的前提下，Segment Anything Model 能够在极低交互成本下完成高质量分割；分割质量在少量交互后迅速达到稳定区间，额外提示的边际收益有限；
交互式分割的工程价值主要体现在效率、可控性与可复用性，而非追求完全自动化或极限精度。

5.5 工程注意点与实践经验

• 仅使用前景点时，掩码易扩张；适量背景点可显著提升稳定性
• SAM 的 best_score 不等价于 IoU，仅适合候选排序
• 多实例图像中，GT 实例选择策略对评估结果影响显著
• 在无 GT 场景中，应以交互成本而非精度作为核心指标

本章小结
本章通过一个示例验证了 Segment Anything Model 在交互式分割标注场景中的实际价值。实验表明，可提示分割的优势不在于完全自动化，而在于将复杂的标注任务转化为一系列可控、可修正、可量化的交互过程。

6. 提示设计对分割结果的影响与经验总结

在前一章的实践中可以看到，Segment Anything Model 的分割质量并非仅由模型本身决定，提示的形式、数量与组织方式同样对结果产生显著影响。提示并不是简单的触发信号，而是作为条件信息直接参与分割推理过程。不同提示策略所引导的分割路径，往往会在稳定性、精度以及交互成本等方面呈现出明显差异。

本章将围绕提示设计这一核心问题展开讨论，通过对不同提示策略的对比分析，总结其对分割结果的影响规律，并在实践经验的基础上归纳可复用的设计原则。

6.1 不同提示策略的效果差异

从功能角度看，提示可以被理解为对分割搜索空间的逐步约束手段。约束越强，模型输出的不确定性越低，但同时也会提高对提示准确性的依赖程度。因此，不同提示形式在实际使用中各有侧重。

点提示是交互成本最低的提示方式。通过在目标内部或背景区域指定少量点，模型即可生成候选分割结果。在目标与背景具有明显区分特征的场景中，点提示往往能够快速引导模型获得较为完整的掩码。然而，当目标边界复杂或背景干扰较强时，仅依赖点提示容易出现漏分或过分割现象。

多点提示通过在目标不同区域引入额外约束，能够显著提升分割结果的稳定性。相较于单点提示，多点策略更适合结构复杂或与背景高度相似的目标，但提示数量的增加也意味着更高的交互成本。因此，多点提示通常作为对初始结果的补充，而非默认起点。

框提示提供了一种更强的空间先验。通过给定一个粗略边界框，模型的搜索空间被显著压缩，分割结果在多数情况下更加稳定。这种方式在目标位置大致已知的场景中尤为高效，尤其适用于半自动标注流程。但若框选范围不合理，也可能限制模型对目标完整边界的恢复能力 。

掩码提示主要用于对已有结果进行细化。与点或框提示不同，掩码提示本身携带了较为完整的空间结构信息，模型在此基础上进行修正时，通常能够更好地贴合真实边界。但其效果高度依赖于初始掩码质量，若初始结果存在系统性偏差，后续修正空间有限。

6.2 提示组合与引入顺序的影响

在实际使用中，提示往往并非孤立出现，而是以组合形式参与分割过程。提示的引入顺序，会在一定程度上影响模型的收敛路径与最终结果。

一种常见且有效的策略是由弱约束逐步过渡到强约束。在初始阶段，使用点提示对目标进行粗定位，使模型快速生成候选掩码；随后，根据输出情况引入额外点提示或框提示，进一步缩小搜索空间；在结果基本稳定后，再通过掩码提示对边界进行精细调整。这种顺序既符合交互直觉，也有助于控制整体交互成本。

相反，若在初始阶段即引入强约束提示，例如不精确的框或掩码，模型可能在早期便被限制在次优区域内，导致后续调整空间受限。这种现象在目标边界模糊或存在遮挡的场景中尤为明显。

上述现象表明，可提示分割并非一次性决策问题，而是一个具有路径依赖性的交互过程。合理的提示设计需要关注分割过程的演化，而不仅仅是最终输出。

6.3 提示设计的经验性原则

综合不同提示策略在实践中的表现，可以总结出若干具有普遍意义的经验性原则。

在大多数情况下，提示应提供必要而非充分的约束。过强的初始约束虽然能够快速收敛，但也可能放大早期误差；适度的不确定性反而有助于模型利用自身表征能力进行补偿。

提示应优先用于消除歧义，而非替代模型判断。当目标与背景高度相似、或存在多个潜在候选区域时，提示的价值最为明显；而在结构清晰、语义突出的场景中，过多提示并不会带来显著收益。

提示策略还应与具体任务目标相匹配。在效率优先的场景中，允许一定程度的边界误差以减少交互次数；而在精度优先的场景中，则应接受更高的交互成本，以换取稳定可靠的分割结果。

这些原则并非严格规则，而是在实践中逐步形成的经验总结。它们强调了提示设计在可提示分割中的核心地位，也说明了模型能力与使用策略之间的紧密关联。

本章小结
本章围绕提示设计这一关键因素，分析了不同提示策略及其组合方式对分割结果的影响。通过对比可以看到，提示不仅决定了分割结果的初始方向，还影响了整个交互过程的收敛效率与稳定性。

从这一视角出发，可提示分割不再仅被视为模型性能的体现，而是模型表征能力与提示策略共同作用的结果。理解并合理运用这一关系，是在实际场景中充分发挥 Segment Anything Model 价值的重要前提。

7. 工程视角下的应用边界与实践建议

在前述章节中，Segment Anything Model 的问题设定、系统结构、交互流程与提示策略已经得到较为完整的讨论。然而，在将这一模型引入真实工程环境时，一个不可回避的问题是：在什么条件下应当使用 SAM，在什么条件下不应当使用，或者需要与其他方法配合使用。从工程视角出发，对模型能力边界、资源成本与流程整合进行理性评估，是确保技术方案可落地、可维护的关键。

本章将围绕应用适配性、资源与性能约束、系统协同方式三个方面，对 SAM 在工程实践中的使用给出经验性建议。

7.1 适用场景分析：何时使用 SAM 更具优势

从实际应用效果来看，SAM 在以下类型的场景中往往能够体现出明显优势。

首先，在数据规模有限、标注成本高昂的场景中，SAM 能够显著降低像素级标注的工作量。通过交互式分割方式，可以在不完全依赖人工精细描绘的前提下，快速构建质量可控的分割数据集。这一优势在新领域探索、原型系统搭建以及长尾类别数据收集过程中尤为突出。

其次，在任务目标不固定或需求频繁变化的场景中，可提示分割的灵活性具有明显价值。当分割目标无法在事先被完整枚举时，固定类别的自动分割模型往往难以适应，而 SAM 允许在推理阶段通过提示动态指定分割对象，从而减少模型重训练与数据再标注的成本。

再次，在需要人机协同的交互式系统中，SAM 更接近一种通用视觉工具。分割过程不再是一次性输出，而是可以随着需求变化逐步修正与优化。这种特性在视觉分析工具、标注平台与辅助决策系统中具有较高的实用价值。

7.2 不适用或需谨慎使用的场景

尽管 SAM 在通用性方面表现突出，但在某些应用条件下，其使用并不一定是最优选择。

在对实时性与算力消耗高度敏感的系统中，SAM 的计算成本可能成为主要限制因素。其图像编码阶段通常依赖大规模视觉 Transformer，在资源受限或低延迟要求的环境中难以高效运行。在此类场景中，针对特定任务训练的轻量级分割模型往往更具工程优势。

在完全自动化、无人工干预的生产流水线中，可提示分割的交互特性反而可能成为负担。若应用场景与训练数据分布高度一致，传统自动分割模型在稳定性与推理效率上更容易满足工程需求。

此外，对于结构高度规则、边界清晰且类别固定的任务，SAM 的通用性优势难以充分发挥，其性能往往受限于通用训练目标，而不如专用模型经过针对性优化后的效果稳定。

7.3 与其他分割模型的协同使用方式

在实际工程中，SAM 并不一定需要作为唯一的分割解决方案。更合理的做法是将其视为分割系统中的一个功能模块，与其他模型形成互补关系。

一种常见策略是将 SAM 用于数据构建阶段。通过交互式分割快速生成初始标注数据，再利用这些数据训练任务专用分割模型。这样既能降低标注成本，又能在部署阶段获得更高效、更稳定的推理性能。

另一种策略是在系统中同时保留自动分割模型与 SAM。当自动模型输出结果不确定或质量不足时，引入 SAM 作为辅助工具进行局部修正，从而在保证整体效率的同时提升结果可靠性。

这种协同使用方式强调的是工具组合而非模型替代，有助于在复杂工程环境中平衡灵活性、性能与维护成本。

7.4 工程落地中的实践建议

结合实际经验，在工程层面引入 SAM 时，可以遵循若干通用建议。

在系统设计阶段，应明确区分离线高质量处理与在线低延迟需求，避免在不必要的场景中引入高成本模块。
在交互式流程中，应对提示策略进行规范化约束，避免不同样本间操作随意导致结果不可比。
在评估阶段，应同时记录分割质量指标与交互成本指标，而非仅关注最终精度。

这些建议并非固定规范，而是用于帮助在复杂工程条件下，合理评估 SAM 的引入价值与使用方式。

本章小结
本章从工程实践的角度，对 Segment Anything Model 的适用场景、使用限制以及协同策略进行了系统分析。可以看到，SAM 更适合作为一种通用、可交互的分割工具，在数据构建、分析式任务与开放场景中发挥作用，而并非在所有条件下替代任务专用模型。

通过理性评估模型能力与工程需求之间的匹配关系，并将 SAM 与其他分割方法进行合理组合，可以更有效地将可提示分割理念转化为具有实际价值的工程实践。下一章将对全文内容进行总结，并讨论从分割模型走向可调用视觉能力的更长期发展方向。

8. 总结与展望：从分割模型到可调用的视觉能力

在前述章节中，围绕视觉分割任务的基本定义、模型结构演进、问题设定转变以及 Segment Anything Model 的实践应用，已经形成了一条较为完整的技术脉络。本章将对这些内容进行综合性回顾，并在此基础上讨论可提示分割模型对视觉系统设计方式所带来的更深层影响。

需要强调的是，本章的目的并非对某一具体模型给出结论性评价，而是尝试从方法论与系统设计层面总结经验，并梳理未来可能的发展方向。

8.1 核心内容回顾

从任务视角来看，视觉分割本质上是一类对空间结构高度敏感的像素级预测问题。语义分割、实例分割与全景分割虽然在输出形式上存在差异，但都围绕“如何将连续的视觉信号转化为结构化表示”这一核心目标展开。分割任务的价值，正体现在其对目标形状、边界与空间关系的精确刻画能力。

从模型结构演进的角度来看，分割模型的发展并非简单的线性替代过程。UNet 通过编码器–解码器结构与跳跃连接解决了像素级预测中语义与细节融合的问题；DeepLab 通过引入空洞卷积与多尺度上下文建模提升了模型对全局语义的感知能力；Mask2Former 则进一步将分割统一为基于查询的掩码预测问题，弱化了不同分割任务之间的建模差异。

在问题设定层面，可提示分割代表了一种显著不同的思路。分割目标不再完全由训练阶段的标注规则隐式决定，而是通过推理阶段的外部条件进行动态指定。这一变化使分割模型从封闭的任务执行器，逐渐转变为可被反复调用与组合使用的视觉能力模块。

在实践层面，Segment Anything Model 展示了这一思路在工程中的可行性。通过模块化设计与多种提示形式的支持，SAM 能够在交互式分割与数据构建场景中显著降低人工成本。同时，其能力边界与使用限制也表明，通用性并不等同于适用于所有任务，合理的使用方式仍需结合具体需求进行判断。

8.2 可提示分割带来的方法论启示

从更宏观的角度看，可提示分割的意义不仅在于提升某一类任务的性能，而在于改变了视觉模型的使用方式。模型不再被视为“针对固定问题给出固定答案的系统”，而是逐渐演化为“在条件约束下提供视觉能力的工具”。

这一转变带来了若干重要启示。首先，模型能力与任务定义之间的边界开始模糊。通过提示机制，部分任务约束被从模型参数中解耦出来，转移到推理阶段进行控制，从而降低了模型面对新需求时的适配成本。

其次，评价标准发生了变化。在可提示分割场景中，分割质量不再是唯一关注点，交互成本、结果稳定性与使用效率逐渐成为同等重要的指标。这一变化有助于推动模型设计更加贴近真实应用场景。

最后，可提示分割强调了人机协同在视觉系统中的价值。模型并不需要在所有情况下独立完成任务，而是可以在外部引导下逐步逼近目标结果。这一思想在复杂环境和开放问题中尤为重要。

8.3 未来发展方向与挑战

尽管可提示分割已经展现出较高的实用价值，其发展仍面临诸多挑战。计算成本依然是通用分割模型大规模部署的主要障碍之一，如何在保持通用性的同时降低资源消耗，是后续研究的重要方向。

此外，提示设计仍高度依赖经验。如何对提示策略进行系统建模，使其具备可分析、可优化的理论基础，有助于进一步提升交互式分割的稳定性与可预测性。

从更长远的角度看，可提示分割可能只是视觉模型“接口化”的一个起点。随着多模态模型的发展，分割、检测、理解等能力有望在统一框架下通过指令进行调用，视觉系统将不再局限于单一任务，而是作为通用感知模块服务于更复杂的决策与推理过程。

9. 备注

• coco数据集Images http://images.cocodataset.org/zips/val2017.zip
• coco数据集Annotations: http://images.cocodataset.org/annotations/annotations_trainval2017.zip
• sam_vit_h_4b8939.pthdefault or vit_h: https://github.com/facebookresearch/segment-anything
• sam_interactive_annotation完整代码: https://github.com/keychankc/dl_code_for_blog/tree/main/050-sam_interactive_annotation