点击下方卡片，关注「AI视界引擎」公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
论文名称：Co-Seg: Mutual Prompt-Guided Collaborative Learning for Tissue and Nuclei Segmentation
会议名称：Miccai（Medical Image Computing and Computer Assisted Intervention, 医学影像计算与计算机辅助介入）
组织病理图像分析至关重要，但由于肿瘤微环境与细胞形态学分析需要对组织区域和细胞核实例进行分割，因此面临挑战。
现有研究分别聚焦于组织语义分割或细胞核实例分割，却忽视了这两项任务之间的内在关系，导致对组织病理的理解不足。为解决这一问题，我们提出了用于组织与细胞核协同分割的 Co-Seg 框架。
具体而言，我们引入了一种新的协同分割范式，使组织分割与细胞核分割任务能够相互增强。为此，我们首先设计了区域感知提示编码器（RP-Encoder），以提供高质量的语义与实例区域提示作为先验约束。
此外，我们设计了互提示掩膜解码器（MP-Decoder），利用交叉引导增强两项任务的上下文一致性，协同计算语义与实例分割掩膜。
在 PUMA 数据集上的大量实验表明，所提出的 Co-Seg 在肿瘤组织与细胞核实例的语义、实例以及全景分割方面均优于当前最先进的方法。
代码：https://github.com/xq141839/Co-Seg
- 研究内容
医学图像分割在临床应用中起着至关重要的作用，并已在研究中受到广泛关注。尤其是，组织病理图像分析面临着对组织区域进行勾画以及在这些区域内进一步分离单个细胞核的挑战，以便评估组织亚型和肿瘤分级。这些需求催生了该领域中的两个重要分割任务，即组织语义分割和细胞核实例分割。
对于医学语义分割，现有方法依赖分层的编码与解码，以增强多尺度感知来实现精确的掩膜生成。尤其地，基于 ViT 的和基于 Mamba 的架构能够建模长程依赖，从而获取目标区域的全局上下文。对于实例分割，一系列工作采用了不同的距离代理图来提升对实例边界的理解。近期的基于 SAM 的方法通过手动提供相应的任务提示，在医学语义与实例分割上表现出色。
尽管取得了进展，现有方法通常专注于组织语义或细胞核实例分割任务的优化，而这两者只能在相互隔离的知识下进行监督。事实上，这两个任务高度相关，因为它们都旨在实现对组织病理图像的充分感知与理解。例如，准确识别细胞核能够为理解底层的组织结构提供有价值的线索，而组织分割又可以帮助定位细胞核。因此，这种强烈的相互依赖性促使我们提出一种协作式方法，将组织与细胞核分割进行整合，以推动组织病理图像分析的最新进展。
图 1. 我们的 Co-Seg 与现有组织与细胞核分割工作的比较。（a）用于组织与细胞核分割的两个独立网络。（b）共享图像编码器、但任务解码器分离的组织与细胞核分割。（c）我们的 Co-Seg 通过互相提示实现组织与细胞核的协作分割。
为克服这一瓶颈，我们提出了 Co-Seg，这是一种协作式的组织与细胞核分割框架，使语义分割与实例分割任务能够相互增强。正如图 1(c) 所示，Co-Seg 基于一种联合分割范式，通过捕获两项任务之间的上下文依赖来提升分割掩膜的质量。具体而言，我们首先设计了区域感知提示编码器（RP-Encoder），如图 2(a)所示，从两项任务的目标区域中提取高质量的语义与实例提示，以此引导分割解码。进一步地，我们提出了互提示掩膜解码器（MP-Decoder），如图2(b)所示, 借助交叉引导联合计算语义与实例图。该协作式学习方法实现了上下文一致性，从而减少了两项任务中的预测误差。在黑色素瘤的组织与细胞核分割任务上，实验结果表明，我们的 Co-Seg 在性能上显著优于当前的先进分割方法。
![图示
图2. (a) 提出的Co-Seg协同组织与核分割框架概述，包含(b) RP-Encoder和(c) MP-Decoder。Co-Seg通过利用互补提示充分挖掘互补信息。
为验证所提出 Co-Seg 的有效性，我们采用针对黑色素瘤的组织病理数据集 PUMA，用于组织语义分割与细胞核实例分割任务。该数据集包含 206 张分辨率为 1024×1024 的组织病理图像，并按照训练集、验证集与测试集 7:1:2 的常规比例进行划分。我们在一块 NVIDIA A5000 GPU 上、基于 PyTorch 进行全部实验。为实现公平对比，我们在相同的训练设置与配置下实现所有的组织分割与细胞核分割方法。对医学 SAM 基线，我们采用预训练的 SAM ViT-H 结构作为图像编码器。优化器使用 Adam，初始学习率设为 1×10−4，并采用指数衰减策略以 0.98 的因子调整学习率。批大小与训练轮数分别设为 16 与 300。组织分割以交叉熵损失与 Dice 损失的组合进行监督；细胞核分割遵循由 Focal 损失、Dice 损失、MSE 损失与 MSGE 损失组成的标准组合。损失系数 λ1 与 λ2 分别设为 2 与 1。在微调过程中，与基线（见图 4）相比，我们的 Co-Seg 额外引入了 9.1% 的可学习参数。
图3. 与组织语义分割领域最新研究成果的对比
我们首先在组织语义分割上评估所有模型的性能。如图 3 所示，我们观察到，经典的语义分割方法不及医学领域的 SAM，例如，H-SAM 相较于 EMCAD 的 Dice 提升了 0.51%。值得注意的是，我们的 Co-Seg 取得了最佳性能，P 值 <0.005，Dice 为 92.51%，且 HD 最低为 206.72，表明其能够精确定位组织边界。
图4. 与核实例分割领域最新研究成果的对比
细胞核实例分割的比较见图 4。我们的 Co-Seg 框架在四个指标上展现出压倒性表现。尤其是，Co-Seg 相较于第二名的 PromptNucSeg 具有显著优势，例如，P 值 <0.001，F1 分数提升 3.23%，AJI 提升 2.43%。
图5. 与组织病理学全景分割领域最先进技术的比较
随后我们进一步采用全景分割评测协议对 Co-Seg 的性能进行全面评估。如图5所示，我们的Co-Seg算法凭借创新的协同分割范式，在全部六项指标中均取得最佳性能，并在组织与细胞核分割任务中实现了显著的PQ值提升（分别达1.51%和2.74%）。定性对比结果如图6所示。
图6. 三种评估协议在组织语义分割与核实例分割方面的定性比较。得益于语义分割与实例分割任务的相互强化，我们的Co-Seg方法能够勾勒出精确的组织区域并分割准确的核，且包含更少的假阳性结果。
为研究我们提出的协同分割范式 C、RP-Encoder 和 MP-Decoder 的有效性，我们进一步在 PUMA 数据集的组织语义分割与细胞核实例分割上进行了全面的消融研究，如图 7 所示。通过从 Co-Seg 中移除定制模块，我们构建了两个相互独立的、基于 Hiera ViT 的语义分割与实例分割网络作为消融基线。引入 RP-Encoder 后，性能分别在组织语义分割的 Dice 和细胞核实例分割的 F1 分数上提升了 0.25% 和 0.66%。
此外，我们考察了 RP-Encoder 与 MP-Decoder 联合使用的效果，取得了更优的性能，其中 Dice 达到 91.76%，F1 分数达到 78.19%。最后，我们基于所提出的协同分割范式建立了完整框架。结果证明，该设计能够显著提升语义与实例分割能力。由此，这些消融实验证明了 RP-Encoder、MP-Decoder 以及协同分割范式在我们的 Co-Seg 框架中的有效性。
图7. 基于PUMA的组织与细胞核分割的共定位消融研究。
点击上方卡片，关注「AI视界引擎」公众号