医学影像新范式 | Query机制+Transformer解码的细胞实例分割方案

本文主要解决了什么问题

1. 1. 生物医学成像中实例分割的挑战，特别是细胞的精确分割，这些细胞经常重叠且尺寸各异，传统方法难以准确区分。
2. 2. 现有基于Query的方法在U-Net架构中的潜力未被充分探索，而U-Net是医学图像分割的首选架构。
3. 3. 明场显微镜图像对比度低、噪声大且变化明显，导致精确的细胞分割困难，需要针对该模式开发专用方法。
4. 4. 现有基于Query的模型通常依赖单级特征生成Query，未充分利用Shortcut和解码器特征图提供的完整特征范围，限制了捕捉精确实例细化所需的丰富多尺度上下文的能力。
5. 5. 现有细胞分割方法在准确分割重叠细胞和处理复杂的细胞形态方面存在局限性。

本文的核心创新是什么

1. 1. 提出了IAUNet，一种新颖的基于Query的U-Net架构，将U-Net模型与实例分割任务连接，通过基于Query的机制增强U-Net实例感知能力。
2. 2. 引入了一种轻量级的卷积像素解码器，使模型能够在使用更大Backbone网络的同时有效扩展，同时保持在小数据集和大数据集上的高性能。
3. 3. 提出了一种Transformer解码器，用于多尺度目标特征的细化，通过迭代过程更新Query，在每个解码器阶段细化实例特征。
4. 4. 引入了2025 Revvity全细胞分割数据集，这是一个独特的资源，包含亮场图像中重叠细胞质的高精度标注，为生物医学实例分割设立了新的基准。

结果相较于以前的方法有哪些提升

1. 1. 在多个公开数据集（LIVECell、EVICAN2、ISBI2014）和作者的数据集上的实验表明，IAUNet优于大多数基于全卷积、基于Transformer和基于Query的模型以及细胞分割特定模型。
2. 2. IAUNet在使用更少的参数（39M）和更低的FLOPs（49G）的情况下，在LiveCell上实现了45.3的AP和75.3的AP50，优于Mask R-CNN、PointRend、Mask2Former和MaskDINO。
3. 3. 在Revvity-25数据集上，IAUNet使用ResNet-50时AP分数为49.7，使用Swin-B时为53.7，在多个Backbone网络中取得了最高分数。
4. 4. IAUNet在处理重叠细胞和复杂细胞形态方面表现更好，提供了更精细的分割，捕捉了更长的像素关系，并在某些情况下有效处理了重叠区域。

局限性总结

1. 1. 在小目标分割方面存在困难，模型在低目标计数情况下可能导致部分Query预测重复。
2. 2. 在高实例图像上可能受益于进一步优化，以提高处理大量实例时的效率和准确性。

导读

实例分割在生物医学成像中至关重要，用于准确区分单个物体，如细胞，这些物体经常重叠且尺寸各异。近年来，基于 Query 的方法（其中物体 Query 指导分割）已展现出优异的性能。尽管U-Net已成为医学图像分割的首选架构，但其基于 Query 方法的潜力仍基本未得到探索。在本工作中，作者提出了IAUNet，一种新颖的基于 Query 的U-Net架构。其核心设计包含一个完整的U-Net架构，并通过一种新型的轻量级卷积Pixel解码器进行增强，使模型更高效并减少参数数量。此外，作者提出了一种Transformer解码器，用于在多个尺度上细化特定物体的特征。最后，作者引入了2025 Revvity全细胞分割数据集，这是一个独特的资源，包含亮场图像中重叠细胞质的高精度标注，为生物医学实例分割设立了新的基准。在多个公开数据集和作者的数据集上的实验表明，IAUNet优于大多数基于全卷积、基于Transformer和基于 Query 的模型以及细胞分割特定模型，为细胞实例分割任务提供了强大的基准。

代码可在 https://github.com/SlavkoPrytula/IAUNet

1. 引言

---

在生物医学成像中，精确的细胞实例分割至关重要[1]，因为它能够实现单个细胞的精确识别和分析。这一过程对于理解细胞行为和疾病机制[24]至关重要。然而，细胞的多样性和不规则形状给分割算法带来了重大挑战[35, 46]。细胞形态的变化、重叠结构以及不同的成像条件都可能导致分割错误[1]。应对这些挑战需要开发先进的分割模型，这些模型能够处理与细胞形状相关的复杂性。深度学习模型在细胞分割领域取得了显著进展，往往超越传统方法[21, 42, 52]。然而，由于不同显微镜模式下细胞的异质性外观、重叠现象以及物体密度的差异，细胞分割仍然是一项挑战，需要能够跨条件泛化的模型。

明场显微镜因其简单性和经济性而备受青睐，但在分割方面存在独特挑战[1]。与需要染色技术的荧光显微镜以及依赖特殊光学增强透明标本对比度的相差显微镜不同，明场显微镜仅使用自然光[45]。这使得明场显微镜在科研和临床环境中都适合实时观察[1, 36, 51]。然而，明场图像本质上对比度低、噪声大且变化明显，导致精确的细胞分割困难，并凸显了针对该模式开发专用方法的必要性。

许多先前工作将自然图像中的实例分割模型应用于医学图像，而无需进行模型特定的调整[22, 40, 50]。与这些方法中的许多不同，U-Net[42]长期以来一直是语义分割的首选架构。其轻量级框架，以 Shortcut 和编码器-解码器结构为特征，能够实现精确定位并有效捕捉复杂细节，使其特别适用于生物医学应用。U-Net的效率在处理较小的显微镜数据集时尤为有利，因为它通常比更复杂的模型需要更少的数据进行训练。这就是作者选择在研究中重点关注U-Net的原因，基于其在显微镜数据上的成熟流行度和适用性。

基于DETR [5]在目标检测方面的成功，基于 Query 的单阶段实例分割方法[7-9, 14, 20, 28]逐渐受到关注。这些方法摒弃了传统的卷积方法，利用强大的注意力机制[49]和可学习的 Query ，以端到端的方式直接预测目标类别和分割 Mask 。然而，这些模型通常依赖单级特征生成 Query ，在优化过程中未充分利用 Shortcut 和解码器特征图提供的完整特征范围。这限制了它们捕捉精确实例细化所需的丰富多尺度上下文的能力。

为解决这些局限性，作者连接了广泛应用于生物医学成像的U-Net模型与实例分割任务。作者提出了IAUNet，这是一种通过基于 Query 的机制增强U-Net实例感知能力的新颖架构。该设计集成了一个轻量级的卷积像素解码器，使模型能够在使用更大 Backbone 网络的同时有效扩展，同时保持在小数据集和大数据集上的高性能。IAUNet还引入了一个Transformer解码器，用于多尺度目标特征的细化。

作为作者的贡献之一，作者介绍了2025年Revvity全细胞分割数据集，该数据集专门用于基准测试模型性能。该数据集包含数百个在高清明场图像中经过精心标注的细胞实例，每个实例都经过人工详细标注和验证。其独特之处之一在于能够精确标注细胞边界，即使在重叠细胞的情况下也能做到，从而能够捕捉复杂的细胞相互作用。该数据集是评估模型在捕捉精细细节和处理具有复杂细胞形态的挑战性分割任务方面准确性的宝贵资源。

作者的主要贡献如下：

• • 作者在U-Net中引入了一种轻量级的Pixel-Transformer解码器，用于多尺度目标特征细化，并能高效地扩展以适应更大的 Backbone。
• • 作者介绍了一个具有详细标注的2025 Revvity全细胞分割数据集，并为其提供了实例分割基准。

2. 相关工作

---

实例分割方法通常分为基于区域、基于 Query 和需要预处理的专业方法。

基于区域的分割方法以Mask R-CNN[17, 22, 41]为例，凭借其基于 Proposal 的结构在自然图像分割领域树立了标准。基于Faster RCNN[41]，Mask R-CNN通过首先检测边界框，然后应用感兴趣区域（Region of Interest, RoI）操作如RoI-Pooling[17]或RoI-Align[22]提取特征用于分类和 Mask 生成，从而实现端到端的实例分割。然而，这类两阶段方法常产生大量冗余的区域 Proposal ，降低效率[10, 20]。尽管它们在多个基准测试中表现优异，但依赖小RoI区域的特性导致 Mask 预测往往较为粗糙。部分方法专注于提升检测边界框的精度[3]，而PointRend[26]等方法则通过在不确定点处细化边界来专门解决低质量分割 Mask 问题，从而提高分割质量。即便如此，传统基于区域的分割方法在生物医学图像分割[7]中仍面临局限，因为该领域中的目标具有复杂的形状、方向和尺寸。在这些场景下，传统轴对齐边界框难以捕捉详细轮廓，尤其对于不规则和重叠的细胞结构[15, 25]。

专用的细胞实例分割方法如StarDist [43] 通过将物体表示为星凸多边形来分割生物医学图像，预测从中心点到边界在多个方向上的距离。该方法与其他类似方法如DeepWatershed [2] 和Micro-Net [39] 在处理星形或圆形细胞时表现良好，但在处理不规则、细长形状和重叠细胞时存在困难。相比之下，CellPose [48] 类似于Hover-Net [18]，使用U-Net预测水平和垂直梯度以及二值细胞图，创建一个将像素引导至细胞中心的矢量场。虽然该方法能有效分离单个细胞，但通常依赖于额外的尺寸模型 [37] 来估计物体直径，这在细胞尺寸和形状变化时变得具有挑战性。尽管这些方法在传统技术的基础上取得了进步，但在准确分割重叠细胞和处理复杂的细胞形态方面仍存在局限性。

基于 Query 的方法自DETR[5]引入以来广受欢迎，该研究展示了基于Transformer的架构在实例分割方面的潜力。与传统基于区域的模型不同，基于 Query 的方法使用目标 Query 直接预测目标实例，无需预定义的边界框。在DETR的基础上，Mask2Former[9]和FastInst[20]等模型引入了 Mask 注意力机制，以提升收敛性和分割精度。这些模型高度依赖MSDeformAttn Transformer[54]像素解码器生成精细特征。MaskDINO[28]通过添加一个 Mask 预测分支，利用 Query 嵌入生成高分辨率二值 Mask ，进一步推动了实例分割的发展，实现了统一分割任务。近期，基于 Query 的模型在生物医学领域也出现了适应性应用。例如，Cell-DETR[38]通过利用 Query 专门针对细胞分割进行DETR的适配，以检测单个实例。该模型使用编码器的最终特征图进行 Query 初始化，限制了跨解码器特征的尺度 Query 细化。其分割头在编码器和解码器特征之间应用多头注意力，随后通过CNN解码器。然而，它仅在最低层将 Query 与解码器特征合并，迫使CNN解码器处理大部分实例分离，导致模型在具有大量 Query 的高分辨率输入上效率低下。此外，Cell-DETR应用softmax抑制重叠预测，降低了其有效分割遮挡细胞的能力。近期如PCTrans[7]等基于Mask2Former的工作，引入了位置引导Transformer和 Query 对比损失。与DETR类似，位置引导通过预测每个目标的归一化中心坐标实现。虽然自然目标通常是凸形的，但细胞形状更为复杂，其中心常落在边界之外，特别是在细长结构中[11]，导致 Mask 表示效果不佳。

所有先前的基于 Query 的模型[5, 7, 9, 28]均围绕基于Transformer的像素解码器设计，这引发了其可扩展性至较小数据集的担忧。与这些模型不同，作者提出了一种轻量级的像素解码器，该解码器在较小数据集上提升了性能。在表2中，作者展示了IAUNet在不同 Backbone 网络下始终优于当前最优模型，同时在大型数据集上保持了优异结果（表1）。作者的实验表明，IAUNet在参数更少的情况下优于大多数替代方案，并实现了更高的效率。

3. 模型概述

---

IAUNet模型遵循U-Net设计，如图1所示。该模型由三个主要组件构成：编码器、像素解码器和Transformer解码器。给定输入图像

，编码器在相对于原始图像分辨率为

、

、

和

的四个多尺度语义特征图。这些特征图作为解码器中的 Shortcut 使用。像素解码器首先处理这些特征以生成主解码器特征

。在每个解码器层中，这些特征通过轻量级 Mask 分支生成精细的 Mask 特征

，然后与目标 Query 交互。Transformer解码器进一步使用 Mask 特征细化实例 Query 。该过程是迭代的，更新后的 Query 通过每个解码器阶段。在最终阶段， Mask 头结合 Mask 特征和实例 Query 生成输出实例 Mask 。

3.1. 像素解码器

在生物医学领域，U-Net [42] 及其所有变体 [4, 6, 19, 52] 仍然是精确分割任务中最优越的网络。这主要归功于U-Net解码器的设计，其通过 Shortcut 维持了较高的语义一致性。作者引入了一种卷积解码器，称为像素解码器。作者的像素解码器（图1中间面板）处理两种特征类型：主要特征X和 Mask 特征Xm。主要特征与原始U-Net中的特征类似，通过 Shortcut Xs聚合图像的空間上下文。 Mask 特征则细化X并捕获更丰富的语义信息。所有这些特征均针对实例分割进行设计，并与Transformer解码器紧密集成（参见第3.2节）。

在每个层级中，相应的 Shortcut

首先被映射到一个256维的特征图。然后它与前一层的上采样解码器特征

进行拼接，并通过一个轻量级的双

点卷积、批归一化和ReLU层

（公式(1)）。接下来，作者应用一个Squeeze-and-Excitation（SE）[23]模块来生成最终的主特征

。然后，作者通过将主特征

与前一层的上采样 Mask 特征

相加，并随后通过两个堆叠的

卷积层

（公式(2)）来更新 Mask 特征。整个过程在保持轻量级结构的同时保留了多尺度语义信息。更新后的 Mask 特征随后用于对应Transformer模块中的 Query 细化。最后，作者使用双线性上采样将所有特征传播到下一层解码器。

3.2. Transformer解码器

目标 Query 是实例分割的核心[9, 12, 14, 20]，它们作为可学习的嵌入，将每个目标表示为唯一的

维特征向量。这些 Query 通过交叉注意力机制将与之相关的像素特征分组，通常针对每个特定目标。在Transformer架构[5]中，它们以端到端的方式被处理和优化，尤其重要。在现有的模型如DETR[5]、可变形DETR[53]、MaskFormer[8]和Mask2Former[9]中， Query 在分割或检测任务中对于表示目标至关重要。在作者的工作中，作者使用

个可学习的 Query

。每个 Query 都是一个256维的表示，捕捉更精细的语义目标特征。这些实例 Query 通过 Mask 特征

，通过多层Transformer解码器逐步优化（见第3.2节）。在每个解码器层

，作者使用三个Transformer解码器层。来自前一个解码器层的 Query 通过这些层迭代处理（图1，红色模块），并使用相应的展平 Mask 特征

，其中

为第

个解码器层。

3.2.1. 位置嵌入

为了维持空间感知能力，这对基于Transformer的模型至关重要，作者为每个实例 Query 添加了

个可学习的位置嵌入。遵循先前的工作[5]，作者将正弦位置嵌入

添加到 Mask

中

3.2.2. 实例 Query 更新

作者使用 Mask 特征

通过交叉注意力层（图1，红色模块）随后是 Query 与前馈神经网络层之间的自注意力层来更新

个实例 Query 。因此，所有 Query 相互关注，确保更好的目标分离。更新表示如下：

其中

表示第

层的转换 Query ， Key和Value

由 Mask 特征

计算得到。 Query 在解码器每一层的Transformer模块中按顺序更新。

3.2.3. Mask 头

为了在保持预测过程轻量化的同时不牺牲性能，作者仅融合高分辨率特征。如图1中红色箭头所示，作者通过结合1/4分辨率的 Backbone 特征图

与来自像素解码器的上采样1/8分辨率 Mask 特征

来构建像素嵌入图。具体而言，作者对精细化的实例 Query

应用两个线性投影，以获得 Mask 嵌入

和目标类别分数。最终的 Mask 预测是通过将每个 Mask 嵌入与融合特征图进行点积运算得到的。

其中

是分割头，

是一个卷积层，用于调整通道维度以匹配Transformer的隐藏空间，

是一个简单的

上采样函数，应用于

。此外，每个实例 Query 预测目标类别的概率，包括一个“无目标”

。在推理过程中，作者重新对预测的 Mask 进行评分。对于每个实例，作者计算 Mask 性度量 [9]，记为

，其中

是预测的实例 Mask 。然后，通过将类别概率分数

与 Mask 性分数

相乘，计算每个实例的组合置信度分数。

3.3. Mask Level 匹配

在训练过程中，模型输出

预测 Mask ，其中

，为真实 Mask 数量

。为计算匹配预测的损失，作者使用匈牙利算法[47]在

和

之间进行二分图匹配，该算法找到使匹配成本最小化的最优排列

：

对于匹配成本，作者采用分类和 Mask 成本的综合方法：

遵循文献[9]，作者设置

和

以控制每个代价项的权重。此处，

表示用于目标分类的交叉熵损失，其中"无目标"类别权重为0.1。

和

分别表示分割 Mask [34]的二值交叉熵损失和Dice损失。

对于损失函数，作者通过应用相同的系数来使其与匹配成本保持一致，以确保一致性。最终的损失函数定义为：

4. 实验

---

在本节中，作者评估了作者的IAUNet在多个数据集上的表现，包括作者新提出的Revvity-25数据集。作者还将其与多个当前最先进模型在分割性能方面进行了比较。此外，作者进行了消融研究，展示了IAUNet组件的有效性。为了进行全面比较，作者使用了多种数据集：

LIVECell [13] 是关于图像和标注细胞用于实例分割的最广泛数据集之一。它包含 5,239 张高分辨率的相差图像（

像素），超过 160 万个经过专家验证的标注细胞。它包括八种形状和密度各异的细胞类型。

EVICAN2 [44] 是细胞分割领域最异构的数据集，包含5,237张显微镜图像，涵盖明场、相差和荧光三种模态，其中有52,959个标注的细胞和细胞核实例。该数据集包括训练集和验证集，其中训练集和验证集共有4,640张部分标注图像，以及98张完全标注的测试集。测试集根据图像质量分为简单、中等和困难三个难度等级。

ISB12014 [33] 是来自重叠宫颈细胞学图像分割挑战赛的数据集。它包含16张真实的扩展景深（EDF）宫颈细胞学图像和945张合成图像。该数据集为细胞核和细胞质提供了高分辨率的像素级标注，分辨率为

。作者遵循挑战赛设置 [33]，使用45张合成图像进行训练，90张用于验证，810张用于测试。

本文的一个关键贡献是创建了一个名为Revvity-25的新型细胞实例分割数据集。该数据集包含110张高分辨率的

明场图像，每张图像平均包含27个经过人工标注和专家验证的癌细胞，共计2937个标注细胞。据作者所知，这是首个提供精确且详细标注的细胞边界和重叠的数据集，每个细胞平均使用60个多边形点进行标注，对于更复杂的结构，标注点数可达400个。Revvity-25数据集为模态和非模态语义和实例分割模型的测试与基准测试提供了一个独特的资源，开辟了新的可能性。

4.1. 实现细节

所有实验均在单个Tesla V100 GPU（32GB内存）上进行。作者采用早期工作中提出的训练方案[9]。作者使用CosineAnnealingLR调度器[31]，最小学习率为1e-6，并采用AdamW优化器[32]，初始学习率为1e-4，权重衰减为0.05。在训练过程中，作者采用最长边缩放将所有图像缩放到512×512像素，同时保持原始宽高比。对于数据增强，作者在0.8到1.5的范围内应用尺度抖动[16]，然后进行固定尺寸裁剪至512×512，并随机翻转。所有模型均使用批大小为8进行训练直至完全收敛。除非特别说明，作者在推理过程中也采用相同的缩放过程，并在所有模型中使用一致的0.5 Mask 预测阈值。

4.2 主要结果

在本节中，作者概述了用于训练的数据集设置并展示了结果。对于LIVECell数据集，作者通过随机裁剪图像至最多100个实例来预处理图像，确保不同数据集间预测计数的一致性。作者使用所有模型的原始训练、验证和测试划分。对于ISBI2014数据集，作者遵循原始的训练、验证和测试划分。除CellPose [48]外，所有模型均训练以分割细胞和细胞核类别。由于CellPose默认不支持多类别分割，作者为每个类别训练单独模型并平均性能。Revvity25数据集平均分为训练集和测试集，每份包含55张图像。对于EVICAN2，作者在简单、中等和困难测试集上报告结果。所有数据集均设置最多100个 Query 。例如，在表1中，IAUNet与不同数据集上的最先进模型进行了比较。在基于卷积的 Backbone 网络模型中，IAUNet使用ResNet-50在LiveCell上实现了45.3的AP和75.3的AP50，同时使用更少的参数（39M）和更低的FLOPs（49G），优于Mask R-CNN、PointRend、Mask2Former和MaskDINO。使用ResNet-101 Backbone 网络时，IAUNet记录了45.4的AP和75.5的AP50。与MaskDINO相比，IAUNet在使用基于Transformer的 Backbone 网络时扩展性更好。虽然IAUNet在LIVECell上表现最佳，但在ISB12014上仍有改进空间，因为低目标计数导致部分 Query 预测重复。在专门的细胞分割方法中，IAUNet优于CellPose、CellPose+ S M 和 CellDETR。CellDETR在高清图像上使用softmax头扩展至100个目标，计算成本和参数数量较高，不适合某些数据集。由于CellPose依赖目标直径进行后处理，当训练集和测试集中的目标尺寸差异显著时（如EVICAN2所示），其泛化能力较差。

在图3中，作者可视化了预测结果并计算了图像 Level 的AP分数。IAUNet始终优于其他最先进的模型。IAUNet明显提供了更精细的分割，捕捉了更长的像素关系，并在某些情况下有效处理了重叠区域。在表2中，作者展示了IAUNet在Revvity-25数据集上的优势，它在多个 Backbone 网络中取得了最高分数，使用ResNet-50时AP分数为49.7，使用Swin-B时为53.7。

4.3. 消融实验

在本节中，作者进行一项消融研究，以评估IAUNet架构中每个组件的影响。作者重点关注分析像素解码器和Transformer解码器对整体模型性能的贡献。所有消融研究均在LIVECell数据集上进行。

Shortcut 。IAUNet基于U-Net架构。表3展示了不同 Shortcut 配置的影响。模型在主特征

上的全 Shortcut 表现最佳，其中通道数不减少。为了平衡计算效率，在通过拼接或加法融合特征之前，通过

卷积将跳跃通道数减少到256。拼接产生最佳性能和稳定性，而加法在解码器中创建了一个类似FPN[29]的结构，导致性能进一步下降。最后，添加一个轻量级 Mask 头生成高分辨率特征，在不显著降低性能的情况下将FLOP计数进一步减少到42G。

像素解码器。在表4中，作者分别研究了像素解码器的每个组件。为了进一步细化像素解码器中的特征，通过专门的 Mask 分支解耦 Mask 特征有助于此目的。为了提高可扩展性，作者将前馈维度降低到1024，并添加了一个Squeeze-and-Excitation [23]模块以增强特征表示。作者观察到，模型从对多个不规则形状的分组目标提供额外的空间信息中受益。在每个 Level 使用CoordConv [30]丰富了主特征

，在进一步处理之前，这有助于模型更好地捕捉目标位置并提高翻译 Aware 。此修改提高了分割性能，将AP提高到44.7。

Transformer解码器。作者在表4中评估了缩放Transformer解码器的影响。首先，作者为每个解码器层引入三个Transformer解码器块，总共产生

个Transformer块。作者探索了两种主要的精炼目标 Query 策略。第一种方法受[9]启发，采用循环更新机制，其中 Query 在每个解码器层的一个Transformer块中逐个被精炼，并传递到下一个块，形成一个返回到低分辨率特征的循环。相比之下，作者提出了一种顺序（seq.）更新策略，其中目标 Query 首先在所有解码器层的每个解码器块内被精炼，将AP提升至45.1。在此基础上，作者通过使用更新后的 Query 和高分辨率Pixel解码器特征

在每次Transformer解码器层后计算损失，应用深度监督。此外，在表5中，作者评估了 Query 数量的可扩展性，表明随着 Query 数量的增加，模型实现了峰值性能。

5. 结论

---

作者介绍了IAUNet，一种基于 Query 的U-Net架构，该架构具有轻量级的卷积像素解码器和Transformer解码器，用于生物医学图像中的实例分割，Transformer解码器对特定目标 Query 进行监督。IAUNet在领先方法中表现更优，特别是在中等和大型目标分割方面，并在作者的Revvity25数据集上确立了强大的细胞分割任务 Baseline 。虽然IAUNet在大多数任务中表现良好，但在小目标分割方面存在困难，且在高实例图像上可能受益于优化。未来的工作将集中于改进这些方面的性能。

参考

[1]. IAUNet: Instance-Aware U-Net