点击下方卡片，关注「AI视界引擎」公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
U形编码器-解码器架构结合 Shortcut 已成为医学图像分割领域的主流范式，因其简单有效。尽管许多近期研究致力于通过设计更强大的编码器和解码器来改进该框架，采用先进的卷积神经网络（CNN）进行局部特征提取，Transformer或状态空间模型（ssMs）如Mamba进行全局上下文建模，或两者混合组合，但这些方法常因结构不匹配而难以充分利用预训练的视觉 Backbone 网络（例如ResNet、ViT、VMamba）。
为弥补这一差距，作者引入ACM-UNet，一种通用的分割框架，它保留类似UNet的简单设计，同时通过轻量级 Adapter 机制有效整合预训练的CNN和Mamba模型。该 Adapter 解决了架构不兼容问题，并使模型能够利用CNN和SSMs的互补优势——即细粒度局部细节提取和长距离依赖建模。
此外，作者在解码器中提出了一种分层多尺度小波变换模块，以增强特征融合和重建保真度。
在Synapse和ACDC基准测试上的大量实验表明，ACM-UNet实现了最先进的性能，同时保持了计算效率。
值得注意的是，在Synapse数据集上，该模型以17.93G FLOPs的算力达到了85.12%的Dice分数和13.89 mm HD95，展现了其有效性和可扩展性。
- 引言
医学图像分割在勾勒解剖结构和支持下游临床决策中发挥着基础性作用。近年来，深度学习的快速发展显著推动了该领域的进步。自著名的U-Net[1]问世以来，带有 Shortcut 的U形编码器-解码器架构已成为医学图像分割的默认标准[2, 3, 4, 5, 6]。该架构最初基于卷积神经网络（CNN）构建，具备强大的捕获细粒度局部特征的能力。其 Shortcut 有效连接Low-Level细节和High-Level语义，实现精确的空间定位。近期，扩散模型[7, 8, 9]作为医学图像任务中的一种强大生成范式出现，在生成细粒度解剖细节和处理数据稀缺性方面表现出色，通过条件采样实现。它们[10, 11]对复杂空间分布的建模能力以及整合多尺度先验的能力，使基于扩散的架构成为分割框架的潜在替代或补充 Backbone 。然而，随着医学图像结构复杂性的增加，纯CNN基础的U-Net变体往往难以捕捉长距离依赖关系，限制其在复杂场景中的分割精度。
为解决这一问题，许多研究通过在三个主要方向上增强编码器-解码器设计来扩展经典的UNet范式。首先，一些工作通过架构创新来增强卷积的表达能力。例如，DeepLab系列逐步增强Atrous Spatial Pyramid Pooling (ASPP)模块以有效捕获多尺度上下文信息，而DCN[16]利用可变形卷积进行自适应感受野建模。
近期，提出了DwConv[17]、CondConv[18]、Dynamic Convolution[19]、MixConv[20]和PinwheelConv[21]等新型卷积算子，以进一步改进局部特征提取和灵活性。尽管这些方法在增强局部特征方面效果显著，但它们仍缺乏建模全局上下文的能力。其次，近期方法直接将全局建模模块（如Transformer[22]或状态空间模型（SSM）[23]如Mamba[23]）集成到编码器中。例如，Swin-UNet[4]利用Swin Transformer[24]的层次化自注意力机制进行多尺度全局推理，而VM-UNet[5]集成了视觉状态空间（VSs）[25]模块，以实现具有线性复杂度的有效长距离依赖建模。
第三，混合设计结合CNN和全局模块以发挥其互补优势。例如，TransUNet[3]使用CNN提取局部特征，然后利用Transformer细化全局上下文。TransFuse[26]提出了一种双分支架构，以并行和互补的方式融合CNN和Transformer特征，实现局部细节和全局语义的有效整合。类似地，HC-Mamba[27]引入了混合卷积-Mamba模块，以增强医学图像中的局部性和上下文建模能力。
尽管这些混合架构在分割性能上表现出色，但也引入了两个关键限制。首先，增加的架构复杂度往往会降低效率，使其不太适合实际部署。
其次，大多数模型采用紧密耦合的结构，这阻碍了即用型预训练 Backbone 网络（例如ResNet [28]、ViT [29]、VMamba [25]）的无缝集成。这限制了预训练视觉特征的复用性，导致训练成本增加和泛化能力下降。这些问题对临床应用构成了重大挑战，因为在临床应用中，计算效率和模型适应性至关重要。
为克服这些局限性，作者提出了ACM-UNet，这是一个简单但通用的分割框架，能够自适应地将预训练的视觉CNN和Mamba模块集成到类似UNet的架构中。如图1(b)所示，ACM-UNet遵循标准的U形编码器-解码器设计。在编码器中，作者集成了成熟的预训练 Backbone 网络，ResNet-50[28]用于局部细节表示，VMamba[25]用于建模长程语义。
为解决CNN和Mamba模块之间的结构差异，作者引入了一个轻量级 Adapter ，实现平滑的特征融合并保持计算效率。为进一步增强解码过程，作者提出了一种多尺度小波变换模块（MSwT），嵌入到解码器每个上采样阶段（图1(d)）。该模块细化了层次特征，并加强了空间和上下文信息的融合。在Synapse和ACDC两个公开基准数据集上的大量实验验证了ACM-UNet的有效性。与现有先进方法相比，该模型实现了更优的分割精度和效率，同时保持了简单且可扩展的设计。
作者的贡献总结如下：
-
作者提出了ACM-UNet，一种新型的UNet风格分割框架，通过轻量级 Adapter 自适应地整合预训练的ResNet和VMamba Backbone 网络。该设计能够有效复用视觉先验，同时保持模型的简洁性和通用性。
-
作者为解码器开发了一种多尺度小波变换模块（MSwT），该模块增强了多级特征融合，有助于更精确的边界保留和分割性能。
-
在Synapse和ACDC数据集上的大量实验表明，ACM-UNet在分割精度上优于现有的最先进方法，同时保持了良好的计算效率。
-
相关工作
2.1 视觉状态空间模块
状态空间模型（SSMs）近年来取得了显著进展，从早期的线性表示如S4[30]及其对角变体S4D[31]，发展到更具表达力和效率的Mamba[23]架构。这些模型为基于注意力的Transformer提供了一种有吸引力的替代方案，特别是在长程序列建模方面。为解决将原始Mamba[23]应用于计算机视觉领域的挑战，研究行人提出了几种针对视觉的扩展，包括Vim[32]和VMamba[25]。Vim[32]引入了具有双向Mamba模块的视觉 Backbone 网络，展示了Mamba架构在图像分类等视觉任务中的潜力。在此基础上，Yu等人提出了一种新型视觉 Backbone 网络VMamba[25]，其中视觉状态空间块即VSS块是其基本组件，类似于ResNet[28]中单个残差层的角色。图1(a)展示了VSS块的基本结构，其中SS2D被称为2D选择性扫描模块。该模块是实现Mamba架构在2D图像数据中的关键，由三个连续步骤组成：扫描扩展、通过Mamba的S6块进行特征提取，以及扫描合并。
在本研究中，作者采用源自先前预训练的VMamba的VSS模块，以实现医学图像中全局特征提取的长程依赖建模。图2展示了通过四种不同扫描方式对医学图像进行扫描扩展和扫描合并的过程，从而获得来自不同方向的每个图像块的环境信息。具体而言，如图2(a)所示，在扫描扩展步骤中，医学图像首先沿四个不同方向（即从左上到右下、从右下到左上、从右上到左下以及从左下到右上）展开为序列。随后，这些序列由Mamba的S6模块进行处理，该模块本质上是一种状态空间模型的具体实现。接下来，如图2(b)所示，通过S6模块从四个方向得到的序列被合并，恢复与输入相同大小的输出图像。
2.2. 小波变换卷积
传统卷积核在固定尺度下操作时，往往难以充分捕捉信号中的高频细节和低频轮廓。为解决这一问题，近期提出了小波变换卷积，即WTConv [33]，该技术结合了小波变换与卷积的原理，在信号与图像处理中展现出卓越的多尺度特征提取能力。
具体而言，WTConv利用经典的离散小波变换在卷积过程中并行分解输入信号的时频特性，从而对不同频率分量进行针对性处理。在此过程中，低频分量用于学习全局上下文信息，而高频分量用于捕获局部细节，从而增强特征表示能力。此外，通过在性能和计算效率之间取得平衡，WTConv展现出在轻量级模型中部署的强大潜力。因此，在本工作中，作者采用WTConv为模型解码器开发一个特定的可插拔模块，以在考虑模型效率的同时优化融合特征。
- 方法
3.1. ACM-UNet概述
为了在遵循采用简单设计策略意图的同时实现竞争性性能和效率，本文提出ACM-UNet。它仍然利用在医学图像分割领域广泛接受的具有编码器和解码器的UNet类架构。图1展示了其网络结构。与其他UNet类分割模型，例如Swin-UNet [4]、TransUNet [3]和HCMamba [27]不同，作者的ACM-UNet更倾向于简洁和高效。
ACM-UNet的编码器详细由四个阶段组成，其中前三个阶段分别包含一个ResNet50层模块，而其最终阶段则是一个由ResNet50层、两个不可或缺的 Adapter 以及
个VSS模块组成的模块序列。在此，每个ResNet50层（在图1中 Token 为后缀
）是一个堆叠的卷积结构模块，代表原始ResNet50[28]的相应阶段，该模块由基本卷积、ReLU激活、最大池化操作和残差连接组成。VSS模块源自VMamba[25]，它通过特定的选择性扫描机制（例如SS2D）增强上述基于CNN的局部特征，从而获得全局感受野。此外，为了弥合ResNet50层和VSS模块之间特征维度和语义的差距，并保证作者分割模型的效率，作者引入了一个轻量级的 Adapter 模块，该模块设计为常见线性操作的组合。
相应地，ACM-UNet的解码器包含三个阶段，每个阶段都包含一个上采样模块。图1(c)详细展示了单个上采样模块的网络结构及其内部特征维度的变化。该模块接收来自前一阶段的表征，并通过 Shortcut 接收编码器中对应阶段的输出，然后将它们进一步连接作为深度可分离卷积（即DwConv）的输入。随后，在普通ResNet模块（ResBlock）之后，作者有意引入了一个多尺度小波变换模块，称为MSWT，以进一步细化先前融合的表征。最后，通过一个简洁的分割头获得分割结果，该头实际应用了二维卷积算子。
3.2. 简洁且通用的编码器设计
如图1(b)所示，作者的编码器采用一种简洁的混合架构，该架构分层地使用了两个广泛使用的通用视觉 Backbone 网络，即ResNet50[28]和VMamba[25]。在此，所有基于ResNet50的模块负责提取与医学细节相关的局部特征，而基于VMamba的其他模块则专注于捕获医学图像中先前局部特征的长程依赖关系。此外，它还引入了一个定制模块—— Adapter ，用于处理上述两种模块在特征维度和语义上的差异。为了降低模型成本， Adapter 模块也采用了轻量级设计策略。重要的是，除了 Adapter 之外，编码器中的其他模块，即ResNet50-layer0...3和每个VSS模块，都利用了在大型数据集（例如ImageNet-1K[34]）上预训练的那些现成资源。这种设计的目的是为了方便训练作者的编码器，同时从通用的超大规模预训练先验中继承更多基础视觉知识。因此，模型的准确性和泛化能力可以得到保证。
在编码器中，前三个阶段，即ResNet50-layer0...2，利用原始ResNet50的相应预训练层，逐步提取多尺度特征，分别表示为
、
和
。具体而言，作者的ResNet50-layer0在第一阶段从输入
中捕获Low-Level局部特征
。ResNet50-layer1在第二阶段生成中级纹理相关特征
，而ResNet50-layer2在第三阶段提供与语义相关的特征
。然后，第四阶段通过轻量级 Adapter 融合ResNet50-layer3和VMamba的两个预训练良好的VSS模块，输出编码器的最终表示
。在VSS模块中，作者遵循VMamba的2D选择性扫描（SS2D）策略。图2展示了其在作者的医学图像分割任务中的应用。
最终，通过上述简洁而通用的设计，作者的编码器具备高效捕捉局部细节和全局上下文的能力，这对后续高质量解码以实现最终精确的医学图像分割至关重要。
3.3. 多尺度小波变换策略
从医学图像中捕获鲁棒且出色的表征对于基于深度学习的语义分割方法至关重要。尽管上述编码器通过CNN和Mamba考虑了医学图像中的局部细节和全局上下文，但作者仍希望进一步提升模型的表征能力。因此，作者开发了一个新模块以实现多尺度小波变换，称为MSwT，该模块可以独立地集成到作者解码过程的每个阶段，用于细化先前的特征。这种策略有助于获取更细粒度的表征，以实现最终的精确分割。
图1(d)展示了作者开发的MSwT结构。在MSWT中，作者对三种不同核尺度的Wavelet Transform Convolutions（即WTConv）进行并行化处理，每个WTConv均能实现小波域中的表示信号分解与重建，并通过指定的二维卷积进行特征提取。具体而言，对于输入特征图
，MSwT首先将空间表示信号投影到小波域，并进一步将其分解为高频和低频分量，分别代表局部细节和全局上下文。随后，在各个频域分量中应用多个不同尺度的二维卷积核
（在MSWT中
，例如
、
或
）。这些卷积结果
通过加法进行整合，并随后经过批量归一化（BN）和非线性激活（ReLU）处理。最后，通过残差连接将融合特征与原始输入结合，生成MSwT的输出，即精细化的表示
。形式上，MSWT的整个处理过程定义如下：
这种双域（即频率域和空间域）的信号处理方法能够有效捕捉医学图像的全局结构和细粒度细节，同时保证计算效率。
3.4. 带特征融合精炼的解码器
为了高效获取高分辨率特征图以实现医学图像的精确语义分割，作者基于先前的编码过程，将解码网络组织为渐进式上采样和多层特征融合的方式。如图1(c)所示，上采样模块是其基本单元，其中引入了深度可分离卷积（即DwConv）以减少参数数量并提高计算效率。重要的是，在每个上采样模块中，作者依次部署了两个开发的多尺度小波变换（即MSwT）模块，以细化当前层的融合特征，进一步保留对识别器官边缘至关重要的细节。因此，经过三层上采样模块后，作者解码器中表征的语义得到了显著丰富。这是因为作者的多层解码过程有意关注了医学图像中的局部细节和全局上下文。
随后，这些表征被输入到一个轻量级的分割头中进行最终的密集类别预测。该简洁的分割头首先通过一个基本的上采样算子和深度可分离卷积将特征图上采样到目标分辨率，然后实现从表征空间到类别分布的转换。
- 实验与结果
4.1. 数据集
作者评估了所提出的ACM-UNet在两种医学图像数据集上的性能，即CT图像和MRI图像。这两个数据集在医学图像分割算法评估中被广泛采用。它们分别是Synapse腹部多器官分割数据集（Synapse）和自动心脏诊断挑战数据集（ACDC）。
4.1.1. Synapse数据集[35]
该数据集包含30名患者的腹部多器官分割临床CT图像，共计3779张轴位增强图像。图像具有统一的分辨率
像素，并提供精确的器官轮廓标注。遵循TransUNet [3]，作者将数据集随机分为18例用于训练和12例用于测试，并专注于仅对8个腹部器官进行分割：主动脉、胆囊、左肾、右肾、肝脏、胰腺、脾脏和胃。
4.1.2. ACDC数据集[36]
该数据集来自自动化心脏诊断挑战赛，收集了不同患者的心脏MRI扫描图像。每个患者的扫描图像均由人工标注，包含三个亚器官的真实标签，即左心室（LV）、右心室（RV）和心肌（Myo）。与TransUNet [3]类似，作者选择70个案例用于训练，10个用于验证，20个用于测试。
4.2. 实现细节与评估指标
4.2.1. 实现细节
作者基于PyTorch 2.1.1框架实现了ACM-UNet，并在单个NVIDIA GeForce RTX 3090 GPU上开展所有实验。对于ACM-UNet中的每个ResNet50层模块，作者利用预训练的ResNet50对应层进行初始化；对于ACM-UNet中的VSS模块，作者采用ImageNet-1k数据集的预训练权重进行初始化。在训练过程中，作者采用广泛的数据增强策略，包括将输入图像调整大小为
，水平与垂直翻转、随机旋转、高斯噪声、高斯模糊和对比度增强。整个网络使用AdamW优化器进行优化，批大小为32，训练300个epoch。初始学习率设置为5e-4，并使用余弦退火算法随训练过程进行缩放。与MSVMUNet [6]类似，作者设置不同的权重衰减值以减少过拟合，其中Synapse数据集为1e-3，ACDC数据集为1e-4。同时，作者采用简单的损失函数进行训练，该损失函数定义为Dice损失函数和交叉熵（CE）损失函数的组合，如下所示：
α
α
其中
和
分别代表500ice损失和交叉熵损失的权重。
4.2.2. 评估指标
作者采用两种常用指标来评估ACM-UNet在Synapse和ACDC数据集上的性能。它们分别是Dice相似度系数（DsC）和95% Hausdorff距离（HD95）。数学上，给定预测分割 Mask
和真实分割 Mask
，Dice相似度系数定义为：
其中
表示预测分割 Mask
与真实分割 Mask
交集的基数（元素数量），而
和
分别表示预测分割 Mask 和真实分割 Mask 的基数。接下来，设
为预测分割图像的边界点集，
为真实分割图像的边界点集，Hausdorff距离
计算如下：
为获得HD95，作者首先按照上述方法计算A和B中所有点之间的两两距离，然后对这些距离进行升序排序，最后选择排序后列表中第95百分位的数值。
4.3. 与当前最优方法的性能比较
为评估所提出模型的性能，作者在上述两个数据集上通过将作者的ACM-UNet与基于CNN、Transformer和Mamba的一些最先进（SOTA）模型进行比较来进行实验。
4.3.2. ACDC数据集上的结果
与此同时，实验结果也验证了作者的ACM-UNet与其他优秀方法（例如上述MSVM-UNet）一样具有良好的泛化能力，因为它在不同的医学图像数据模态（CT和MRI）上表现良好。
4.4. 模型复杂度与效率分析
作者通过比较ACM-UNet与几种经典SOTA方法的参数规模和计算成本来研究模型复杂度和效率。这些方法分别基于CNN、Transformer和Mamba。在此，作者使用参数数量来表示模型的参数规模，并采用FLOPs（即每秒浮点运算次数）作为指标来评估每个深度学习模型计算成本。此外，报告模型的参数数量和FLOPs是使用流行的python包calflop计算的，输入大小为
。
如表3所示，ACM-UNet在参数规模方面表现出色。尽管其计算成本并非最优，但仍取得了具有竞争力的结果。具体而言，ACM-UNet的参数数量仅为16.48M，显著低于TransUNet（96.07M）和2D D-LKA Net（101.6M），也低于Swin-UNet（27.17M）和MSVM-UNet（35.93M）的参数规模。同时，在计算成本方面，ACM-UNet实现了17.93G的FLOPs，显著低于TransUNet（88.91G）和MixFormer（108.32G），与2D D-LKA Net（19.92G）和MSVMUNet（15.53G）相近。这些结果也证明了ACM-UNet的效率，这对于分割模型在临床应用中的重要性至关重要，尤其是在实时或资源受限的环境中。
4.5. 定性分析
为进行定性分析，作者在Synapse多器官数据集上对ACM-UNet与几种SOTA模型进行了2D视觉比较。图3展示了比较结果。可以看出，yinqing-ACM-UNet_2505在器官分割上表现更优，特别是其边界界定相当准确，例如最后两行中左肾和右肾的分割。原因是作者的ACM-UNet更好地利用了预训练卷积网络，并且对视觉细节更为敏感。此外，与其他方法相比，yinqing-ACM-UNet_2505在一定程度上避免了大型器官的过度分割（例如第一行背景和第二行肝脏的分割）。这是由于通过定制 Adapter 引入了预训练的VSS模块，弥补了先前卷积网络缺乏全局依赖建模的不足，从而生成了更具判别性的特征表示，并获得了更好的分割结果。
4.6. 消融实验
与众多SOTA方法类似，作者提出的ACM-UNet仍然遵循医学图像分割中流行的架构，即UNet类似的编码器-解码器结构。然而，与基于CNN、Transformer或Mamba的方法不同，除了追求简洁的设计方案以实现UNet类似的模型架构外，作者有意在ACM-UNet中引入了两个关键组件：预训练的VSS模块用于编码器，以及定制的MSwT模块用于解码器。为了验证这两个组件的重要性，作者在Synapse数据集上对ACM-UNet进行了全面的消融研究。
4.6.1. 视觉状态空间模块和多尺度小波变换模块对ACM-UNet性能的影响
作者进行了一系列实验来评估ACM-UNet中两个组件的影响。表4展示了VSS模块和MSWT模块对ACM-UNet性能影响的消融研究结果。实验结果表明，这两个组件的引入显著提升了分割模型的性能。具体而言，当ACM-UNet单独使用MSWT模块时，DSC从83.52%增加到84.68%，HD95显著从25.95 mm降低到13.80 mm，表明作者的多尺度特征提取策略有效增强了模型捕捉器官复杂结构和边界区域的能力；当单独使用VSS模块时，DSC进一步增加到84.86%，而HD95降低到11.14 mm，表明作者的全局上下文建模方案进一步优化了分割效果，特别是在定位器官边界区域方面；当ACM-UNet同时应用MSWT模块和VSS模块时，整个模型达到最佳性能，DSC为85.12%，HD95为13.89 mm。尽管代表计算成本的FLOPs从10.46G增加到17.93G，参数数量从11.04M增加到16.48M，ACM-UNet的性能（DSC和HD95）明显得到提升，特别是在处理左肾和主动脉等复杂解剖结构方面。
因此，作者提出的MSwT模块和VSS模块对于提升ACM-UNet的分割能力具有重要意义。同时，这也表明作者结合多尺度特征提取和全局上下文建模的方法能够有效应对医学图像分割中的关键挑战。
4.6.2. VSS块数量对ACM-UNet性能的影响
VSS模块在捕获全局视觉上下文方面的能力已在VMamba[25]中得到验证，并且上述实验也证实了其在ACM-UNet中的重要作用。因此，在本节中，作者通过消融实验研究ACM-UNet中VSS模块数量对模型性能的影响。
图3展示了在特定区域内的器官分割预测结果。其中，achl代表ACM-UNet、MS-UNet、Swin-UNet和TransUNet的分割预测结果。可以看出，作者的CMUNet在橙色矩形圈定的器官区域中表现更优。
17.93G) 和参数数量 (16.48M)。相比之下，当提供四个VSS模块时，DSC略微下降至84.43%，而HD95增加到15.58mm。在ACM-UNet中部署八个VSS模块时，DSC进一步下降至84.86%，而HD95增加到18.92mm，参数规模显著增加到25.86M。简而言之，结果表明过多的VSS模块会导致全局特征和局部特征之间的不平衡，从而限制了作者分割模型的性能提升。因此，适当数量的VSS模块可以在确保满意性能的同时，实现局部特征提取和长距离依赖建模之间的适度权衡。
此外，可以看出两个VSS模块是ACM-UNet的一个合理配置，它能够提供令人印象深刻的分割性能和效率，即在使用Synapse数据集时，其DSC为85.12%，HD95为13.89mm，同时具有17.93G FLOPs和16.48M参数规模。重要的是，该设置适用于那些具有实时需求或计算资源受限的医学图像分割任务。
- 结论
为便于为医学图像分割任务提供简单通用的模型，作者提出了ACM-UNet，这是一种基于预训练指导的自适应CNN-Mamba UNet。ACM-UNet遵循经典的U形编码器-解码器风格架构，同时坚持简洁设计理念。具体而言，在作者的UNet类结构编码器中，ACM-UNet通过轻量级 Adapter 直接整合了两个杰出的通用特征提取器的现成资源，以捕捉医学图像中的局部细节和全局表示。同时，为增强ACM-UNet的解码能力，作者还特意设计了一个多尺度小波变换模块，该模块逐层引入解码器中进行特征融合优化。
实验结果表明，与最新的SOTA模型相比，作者提出的ACM-UNet在保持参数规模较小的情况下，实现了具有竞争力的性能和计算效率。作者的未来工作将集中于进一步优化模型复杂度，提升其性能和效率，以支持在实时或资源受限的临床环境中实现更广泛的应用。
参考
[1]. ACM-UNet: Adaptive Integration of CNNs and Mamba for Efficient Medical Image Segmentation
点击上方卡片，关注「AI视界引擎」公众号