CellPilot 在病理学分割中实现自动与交互的完美结合 ！

点击下方卡片，关注「集智书童」公众号

点击加入👉「集智书童」交流群

想要了解更多：

前沿AI视觉感知全栈知识👉「分类、检测、分割、关键点、车道线检测、3D视觉（分割、检测）、多模态、目标跟踪、NerF」

行业技术方案 👉「AI安防、AI医疗、AI自动驾驶」

AI模型部署落地实战 👉「CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平线框架」

欢迎扫描上方二维码，加入「 集智书童-知识星球 」，日常分享论文、学习笔记、问题解决方案、部署方案以及全栈式答疑，期待交流！

免责声明

凡本公众号注明“来源：XXX（非集智书童）”的作品，均转载自其它媒体，版权归原作者所有，如有侵权请联系我们删除，谢谢。

病理学，即对患病组织的显微镜下研究，正日益数字化，从而提高了可视化效果并简化了工作流程。在病理学中，细胞和腺体的分割是一项重要任务，这对于确定形状和频率，这些频率可以作为疾病指标具有重要意义。

深度学习工具在病理学中得到了广泛应用。然而，组织外观和细胞形态的变异性为实现可靠的分割带来了挑战，通常需要手动校正以提高准确性。

本工作引入了CellPilot，该框架通过提供初始自动分割以及引导式交互式精炼，在自动和交互式分割之间架起了桥梁。作者的模型在包括16个器官的9种不同的细胞和腺体分割数据集（共675,000个 Mask ）上进行训练。CellPilot在三个保留的病理学数据集上的表现优于其他交互式工具，同时实现了自动分割。

作者将模型和为实践者设计的有益于创建大规模标注数据集的图形用户界面作为开源，以促进更强大和通用的诊断模型的开发。

1 Introduction

病理学，涉及对病变组织的显微镜检查，对于癌症的诊断至关重要。组织中细胞和腺体的分割允许对形状和频率进行分析，这可以作为疾病的指示器。虽然深度学习模型可以自动化这项任务的一部分，但由于组织外观、细胞形态和成像条件的可变性，分割具有挑战性。全自动基于AI的分割可能缺乏精度，而交互式方法可能耗时，因此需要在自动化和用户控制之间取得平衡。

交互式分割模型包括Segment Anything Model（SAM），它在大规模自然图像数据集上进行训练，允许使用 Prompt （如文本、点和边界框）进行交互式分割物体[2]。然而，SAM在诸如病理学等特定领域的性能仍然有限[3]。已经提出了几种方法来适应SAM进行医学图像分割：马等人对SAM的 Mask 解码器进行微调以适应医学应用（MedSAM）[4]，张等人将低秩自适应（LoRA）应用于图像编码器（SAMed）以实现完全自动分割[5]。在病理学中，SAM通过重新训练特定组件以增强在语义分割任务中的性能[6, 7]。然而，这些方法并不允许交互式细化[6]，并且仅支持肿瘤区域的交互式分割[7]。

在本工作中，作者提出了一种可以弥合纯自动分割和完全交互式分割之间差距的模型。CellPilot通过边界框和点实现对细胞和腺体的自动分割和交互式细化。它使用九个多样化的病理学分割数据集进行训练，总共包括7,913张图像，超过675,000个 Mask 。为了评估其性能，它在三个独立的测试集上与交互式方法SAM [2]，MedSAM [4]和SimpleClick [8]进行了比较。作者的主要贡献是：

自动与交互式分割的融合：CellPilot 结合了自动分割和交互式精炼的优势，使得用户能够在实现高初始精度的同时，能够交互式地纠正错误。

大型多样化训练：作者在涵盖16个器官的9个多样化数据集上训练作者的模型，超过675,000张 Mask 图像，从而增强其在不同病理图像和条件下的泛化能力。

开源工具用于创建数据集：作者提供了一个开源工具，旨在加速新标注数据集的创建，使研究行人和实践者能够更高效地开发全自动化模型。

2 Experiments & Methods

Method

细胞导航框架由SAM的微调版本和CellViT（图1a）的组合构成。CellViT [1]为细胞生成边界框，作为SAM自动分割细胞的初始 Prompt 。对于腺体，用户需要提供一个 Prompt 。 Mask 解码器将 Prompt 解码为初始自动分割阶段的分割 Mask 。为了纠正自动分割的错误，用户可以添加正负点或框 Prompt ，添加或删除 Mask 。

训练。作者在病理组织图像上微调SAM，通过训练 Prompt 编码器和解码器，并应用低秩自适应（LoRA）[9]到图像编码器。在训练过程中，作者模拟交互式 Prompt ，遵循SimpleClick[8]：从真实 Mask 的随机点或其周围的矩形中随机采样一个点，用作 Prompt 以获得初始预测。然后，从此预测的最大误差区域中再采样一个点。这可以是在欠预测情况下作为 Prompt 的正点，或是在过预测情况下作为 Prompt 的负点。这个过程迭代重复直到作者得到最终预测。

在训练过程中，n的值在[0,5]之间随机采样。得到的结果预测将与 GT 值进行比较。作为损失函数，使用加权 dice 和交叉熵损失的加权总和。CellPilot模型使用免费的 AdamW 优化器[10]进行训练。批量大小为4，累积梯度为4步。模型训练20个周期，在 NVIDIA A40 GPU（48GB）上需要6天。学习率设置为 $10^{-5}$。对于每个实例，采样十个点 Prompt 和十个框 Prompt 以加速训练。使用的 SAM [2] 图像编码器和解码器的 ViT-B 版本为4。作为增强，使用了 albumentation 库中的随机缩放、色调饱和度和对比度 D4 [11]。

推理。 对于细胞，CellViT [1] 用于生成初始边界框，并将其输入 SAM 的 Prompt 编码器。对于腺体，用户需要自己输入 Prompt 。SAM 然后为每个边界框和 Prompt 生成分割 Mask 。用户可以通过添加额外的点和平行框来进一步优化这些。

Datasets

总的来说，本研究中使用了12个数据集（图1c），其中9个在训练集中，3个在独立测试集中。

表1中显示了相应的图像数量和 Mask 数量。以下数据集用于训练：

Experimental setup

作者将CellPilot在交互式细胞和腺体分割任务上进行比较。将图像重新缩放，使较长的一边长度为1024，同时保持宽高比，然后根据需要填充到1024 $\times$ 1024的大小。对于SimpleClick，图像缩放到448 $\times$ 448。

对于每个图像，作者从真实值中随机选择十个二进制细胞或腺体分割 Mask 。对于每个 Mask ，作者随机选择一个在真实 Mask 周围额外添加0到10像素的框 Prompt 。对于点 Prompt ，作者使用真实 Mask 内的一个随机点。为了模拟模型的交互使用，作者遵循Liu等人[8]的方法，从最大误差区域迭代地采样正负点 Prompt 。

Results

交互式细化。 对于初始提供一点和初始提供一个框 Prompt ，CellPilot在增加更正后持续改进，表现出比MedSAM、SimpleClick和SAM更好的交互性能。这一点在两个细胞和单个腺体分割数据集（图2）上都有所体现。MedSAM的性能最低；增加的点 Prompt 仅对初始点 Prompt 有帮助，当提供边界框时，交互式添加点甚至会使分数变得更糟。SimpleClicks在获得额外点 Prompt 时的改进相当大，但开始时相对较低的平均IoU，并且始终比CellPilot表现更差。SAM的性能最好，通常来说，增加点 Prompt 是有帮助的，但与CellPilot相比，改进幅度较小，除在腺体分割任务CRAG的单个点 Prompt 外，所有评估中的总体表现都较差。

表格2中可见，CellPilot模型在细胞分割任务中，使用点或框 Prompt 时，优于其他最先进的交互模型。SAM [2] 总体表现第二好，而仅针对框 Prompt 进行微调的MedSAM [4]则相对较弱。SimpleClick [8]由于是在自然图像上进行训练，因此在细胞分割任务中表现不佳。

同样，在提供边界框的情况下，CellPilot模型在交互性腺分割任务上超过了SAM [2]，MedSAM [4]和SimpleClick [8]。使用点 Prompt ，所有模型都表现较弱，其中SAM相对于CellPilot略有优势。

如图3所示，可以看出MedSAM在处理点 Prompt 方面表现不佳。SAM和SimpleClick倾向于分割看起来语义相似但不一定具有生物学意义的结构，而CellPilot则准确地分割细胞和腺体。

3 Conclusion

在这项工作中，作者提出了一种方法和一种经过广泛训练的模型，允许在病理学图像中进行交互式和自动分割。

实验结果表明，作者的交互式分割阶段在三个不同的验证数据集上超过了SAM、MedSAM和SimpleClick，无论是单个 Prompt 还是多个 Prompt ，表现都很好。尽管它有这些优点，但作者的模型也面临一些局限性。

其中最大的挑战在于它依赖于最小的用户输入，这可能导致难以区分细胞和腺体。未来的研究可以通过固定 Prompt 或改进训练技术来探索增强模型区分细胞和腺体能力的方法。

CellPilot的混合结构，结合了SAM[2]和CellViT[1]的组件，导致了模型尺寸的增加。此外，需要计算图像嵌入两次的需求，引入了计算开销，可能会减慢分割过程。

此外，结合一个分类模块可以实现语义分割，允许更详细地识别细胞类型，并更好地区分健康组织和异常组织。

[0]. Cellpilot: A Unified Approach to Automatic and Interactive Segmentation in Histopathology.

扫码加入👉「集智书童」交流群

（备注： 方向+学校/公司+昵称 ）

点击下方“ 阅读原文 ”，

了解更多AI学习路上的 「武功秘籍」