点击下方卡片，关注 「AI视界引擎」 公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
目的：自动精确地分割眼底血管图像已成为计算机辅助诊断眼科疾病（如糖尿病性视网膜病变）的必备条件。由于眼底血管分支端之间的对比度低、血管跨度长且细、眼底血管图像中视盘和玻璃体的形态变化，高精度视网膜血管分割仍面临困难。
方法：作者提出了一种更先进的U型结构，用于混合Transformer和CNN：TransUNext，它将高效自注意力机制集成到U-Net的编码器和解码器中，以捕捉局部特征和全局依赖关系，同时计算开销最小。同时，引入了全局多尺度融合（GMSF）模块，以升级跳接，融合高级语义和低级详细信息，并消除高低级语义差异。受到ConvNeXt的启发，作者设计了TransNeXt块，以优化U-Net中每个基本模块的计算复杂性，并避免在转换不同维度特征空间时产生的信息损失。
结果：作者在四个公开数据集DRIVE、STARE、CHASE-DB1和HRF上评估了所提出的方法。实验结果显示，AUC（ROC曲线下的面积）值分别为0.9867、0.9869、0.9910和0.9887，分别优于其他最先进（SOTA）方法。此外，在消融研究中还使用了评价指标CAL（连接性-面积-长度）来量化粗血管和细血管的分割。
结论：定量与定性结果验证了所提出方法在视网膜血管分割方面的优越性能，并在具有挑战性的情况下（如视网膜盘区病变或细小血管）的鲁棒性得到了充分展示。
1 Introduction
自动分割视网膜血管图像的核心是将图像中的血管像素与周围像素进行二分。在临床应用中，视网膜血管图像更为复杂。它们需要经验丰富的专业行人手动完成分割。不仅主观且低效，而且随着视网膜图像数据的爆炸式增长，在视网膜图像中实现计算机辅助的血管网络自动分割具有重要的临床价值[17]。
目前，用于眼底血管图像的自动分割方法主要分为两大类：一类是基于无监督方法，另一类是基于监督方法，包括机器学习和深度学习策略。
根据无监督机器学习方法，Chaudhuri等人[2]成功实现了基于二维高斯匹配滤波器的眼底图像血管分割。此后，一些基于血管形态和特定像素的分割方法出现。例如，杨等人[43]提出了一种形态处理方法，首先增强血管特征，抑制背景信息，然后应用模糊聚类实现血管分割；赵等人[44]也提出了一种基于可变形模型的分割方法，利用不同血管类型的区域信息实现分割；李等人[13]优化了匹配滤波方法，并将其应用于血管分割任务。基于无监督学习的分割方法速度快，但分割结果粗糙，准确度低。
监督机器学习分割方法通过增强训练模型，通过手动标注图像更好地提取了血管特征信息。Staal等人[23]和Soares等人[22]使用二维滤波器提取视网膜图像的整体特征，然后使用朴素贝叶斯分类视网膜背景和血管。Ricci等人[20]在图像预处理过程中首先提取了黄斑图像的绿色通道，然后使用支持向量机根据血管宽度差异进行分割。Fraz等人[6]提出了结合AdaBoost和Bagging模型的方法，将复杂特征提取的结果和二分类模型的结果集成，并使用监督方法自动分割视网膜血管图像。尽管监督机器学习方法的准确性已经提高，但由于算法本身无法适应血管的形状、尺度和几何变换，仍存在一些问题，如分割小血管和血管交点时的低准确性和低鲁棒性，以及难以为临床诊断提供客观依据。
随着CNN的出现，基于深度学习的语义分割方法可以准确预测船体和非船体像素，并提供船体尺度、形状、多曲率等信息的描述。在医学图像语义分割方法中，U-Net [21]被认为是非常成功的网络，由卷积编码和解码单元组成。它可以用少量的样本完成训练，从而在分割任务上表现更好。其衍生作品 也实现了先进的视网膜血管分割结果。为了进一步提高视网膜血管分割的准确性，Wang B等人 [26] 提出了一个具有双编码器的U-Net变体，以捕获更丰富的上下文特征。李等人 [30] 也提出了一个改进的U-Net端到端网络。这个框架使用了包括压缩和激励（SE）模块、残差模块和环形结构等技术，并引入了增强的超分辨率生成自适应网络（ESR-GANS）[34] 和改进的数据增强方法，以实现视网膜血管分割。Wang B等人 [31] 还提供了一个从厚到薄的视网膜血管分割的监督框架。
然而，基于CNN的方法由于固有的归纳偏差（如局部性和翻译等效性）无法建模长程依赖性。因此，Transformer [25]，它完全依赖注意力机制构建全局依赖性，而不需要任何卷积操作，作为一种替代架构，在预训练大规模数据集（如ImageNet-21k和JFT-300M）的计算机视觉（CV）任务上，其性能优于CNN。视觉Transformer（Vit）[5]通过将图像分割成一系列 Token ，并使用堆叠的Transformer块建模它们之间的全局关系，彻底改变了CV领域。Swin Transformer [15]可以在低计算复杂度表示的移动窗口中产生层次特征，实现了在各种CV任务上的最先进性能。然而，医学图像数据集的大小远小于上述预训练数据集（如ImageNet-21k和JFT-300M）。因此，Transformer在医学图像分割方面的性能令人不满意。因此，许多结合CNN和Transformer的混合结构应运而生，它们具有优势，并逐渐成为在不需要对大规模数据集进行预训练的情况下，用于医学图像分割的折衷解决方案。
作者总结了基于Transformer和CNN的几种流行的混合架构，用于医学图像分割。这些混合架构将Transformer添加到基于CNN的 Backbone 模型中，或者替换一些架构组件。例如，UNETR [9] 使用了一个编码器-解码器架构，其中编码器由一个堆叠的Transformer单元组成，解码器是一个堆叠的卷积层，如图1(a)所示。TransBTS [33] 和 TransUNet [3] 引入了编码器和解码器之间存在一种由CNN和Transformer组成的关系，如图1(b)所示。coTr [39] 通过Transformer将所有阶段从编码器到解码器贯穿起来，不仅相邻的阶段，允许在多个尺度上利用全局依赖性，如图1(c)所示。此外，nn-Former [45; 1] 将Transformer和卷积块编织成一个混合模型，其中卷积编码精确的空间信息，而Transformer捕捉全局上下文信息，如图1(d)所示。如图1所示，这些架构从宏观的角度实现了Transformer和CNN的串行组合。然而，在这些组合中，卷积和自注意力机制不能在整个网络结构中应用，这使得有效地建模局部和全局特征具有挑战性。
在本文中，作者提出了一种更先进的U形混合Transformer架构，用于视网膜血管图像分割（TransUNext），其模式如图1（e）所示，TransUNext结合了图1（c）和图1（d）的优势。它可以充分利用多尺度的全局依赖性，融合高级语义和低级细节信息，并有效地聚合局部和全局特征。此外，受ConvNeXt[16]的启发，作者还优化了U形架构中每个基础卷积块，以在计算复杂度较低时保持出色的分割能力。
作者发现，TransUNext可以通过以下主要贡献进一步提高船舶分割的准确性：
TransNeXt 块被提出作为 U 形架构的基础块。该基础块在信息在不同维度的特征空间之间转换时，避免因压缩维度导致的信息损失，并利用自注意力机制捕捉全局依赖关系。同时，它还避免了 Transformer 的大规模预训练，并具有更小的计算开销。
通过使用全局多尺度融合（GMSF）结构和在所有尺度上的所有 Token 之间传播信息以实现全对全注意力，升级U-Net的 Short-Cut 可以实现语义和空间的全多尺度融合，从而充分利用高级语义和低级细节信息。
所提出的算法在四个公共数据集上进行了评估，分别是DRIVE、STARE、CHASE-DB1和HRF，其中HRF的数据集图像具有高分辨率。此外，除了一些通用评估指标，如AUC外，作者还使用了CAL来衡量视网膜血管分割任务的特定性[7]。
2 Proposed method
Dataset Pre-processing
许多样本在视网膜血管图像数据集中具有 poor contrast 和 high noise。因此，对于后续的训练，适当的预处理至关重要。本文使用四种预处理方法，包括灰度转换、数据归一化、对比有限自适应直方图均衡化（CLAHE）和伽马校正 [7, 8, 35]，对每个原始视网膜血管图像进行处理。图2提供了在灰度转换、CLAHE和伽马校正后原始颜色视网膜图像的阶段处理结果的示意图。如图所示，预处理后的图像具有清晰的纹理、突出的边缘和增强的细节信息。
由于视网膜血管图像数据集中的数据量相对较小，为了减少过拟合的影响，进行了新的数据增强。在使用的数据集中，视网膜血管图像是一个圆形区域，通过以固定角度随机旋转图像，可以模拟不同的获取环境，而不会改变图像本身的结构。此外，通过随机裁剪从DRIVE、STARE、CHASE-DB1和HRF数据集的每个训练图像中提取了15,000个大小为128的随机块，相应的 GT 值也被处理成相同的。放大的图像数据如图3所示。
不同于训练阶段的裁剪方法，在测试阶段，每个图像块都需要重新拼接成一个完整的图像，然后进行二值化以获得分割结果。所有块必须拼接以恢复它们的分辨率至原始黄斑图像的水平。
然而，基于索引的拼接方法的时间和空间复杂度非常高，如果使用随机裁剪。为了避免这个问题，作者在测试阶段使用重叠裁剪。步长设置为12是基于工作站性能权衡的。
Overall Architecture
如图4(a)所示，TransUNext的结构概述。TransUNext遵循U形网络编码器和解码器的结构，主要由纯卷积模块和TransNeXt模块组成。作者的初衷是构建一个完全混合架构，包括Transformer和ConvNeXt。然而，在作者的实现中，引入了级联纯卷积模块和降采样操作，以逐步提取具有高分辨率的基础特征，并获得精细的空间信息。
同样，这些纯卷积模块在解码器的相同阶段中部署，通过上采样恢复原始图像尺寸。需要注意的是，作者没有在原始分辨率上应用Transformer，因为在网络的非常浅层添加Transformer模块并不利于实验，但会增加额外的计算。可能有以下原因：网络的浅层更注重细节纹理，其中收集全局上下文可能并不具有信息量[14]。
值得指出的是，TransUNext并未采用简单的 Shortcut 来连接编码器和解码器。相反，全局多尺度融合（GMSF）通过在每一层的所有 Token 之间传播信息，实现了语义和空间的全局多尺度融合，这可以充分利用高级语义和低级细节信息。
给定输入体积，其中、和分别表示高度、宽度和深度，作者首先利用多个纯卷积模块来获得特征图，其中和分别表示模块数量和基本通道数。然后，作者将Transformer和ConvNeXt混合模块应用于模型局部和全局特征的层次表示，该过程重复次，输出分辨率分别为，通道数为。TransUNext的结构简单且可更改，其中每个模块的数量可以根据医学图像分割任务进行调整，即和。
TransNeXt Block
混合模块在TransUNext的深度阶段中部署，其中作为核心的TransNeXt Block通过ConvNeXt和Transformer聚合局部和全局表示。图4(b)显示了从下到上的TransNeXt Block结构，基本组件包括DepthWise (DW) Conv、LayerNorm、 Conv、GELU、多头自注意力（MHSA）和三个残差连接。作者将这个结构作为U形架构的基本模块，可以捕获局部特征并避免在输入从不同维度的特征空间转换时因压缩维度而造成的信息损失。此外，Transformer的自注意力机制可以有效地捕捉全局依赖关系。
重新审视ConvNeXt。刘等人提出了一个用于2020年代ConvNeXt网络的卷积神经网络模型。作者使用Swin-transformer、ResNeXt [38]和MobileNet [10]的思想，在宏 Level 上改变不同阶段的计算量，如大规模卷积核卷积、组卷积等。在微设计中，将RELU激活函数替换为GELU激活函数，减少了激活函数和归一化层的使用，LN代替了BN。该网络在许多分类和识别任务上超过了Swin-t模型，实现了最佳性能。
具体而言，如图4(b)的 Head 所示，输入首先经过大小为7、步长为1、填充为3的DepthWise Conv，目的是在参数较少的条件下获得比标准基础卷积块更好的结果。在通道 Level 上，其大小从C变为4C，然后又降低到C。ConvNeXt块采用小、大、小尺寸的形式，以避免在信息在不同尺寸特征空间之间转换时由于压缩维度导致的信息损失。
如图4(b)所示，TransNeXt模块基于核心的MHSA模块构建。该模块允许模型从不同的表示子空间联合推理注意力。多个头的结果被拼接在一起，然后通过 FFN 进行转换。在本论文中，作者使用了四个头；更多关于多头维度的详细信息请参见代码。
如图5所示，使用3个1x1卷积将X投影到 Query 、键、值嵌入：,其中是每个头中嵌入的维度。然后，被 flatten 并转置成大小为的序列，其中。通过向量点积和softmax实现自注意力机制。然而，图像是一种高度结构化的数据，除边界区域外，高分辨率特征图中的大多数像素具有相似的特征。因此，在整个图像上进行配对注意力计算是不必要的[32]。
作者使用与图5中的SubSample组件对应的Efficient Self-attention Mechanism。主要思想是使用两个投影用于 Key和Value ，计算处理后的自注意力如下：
将 映射到低维嵌入空间：,且 ， 和 是经过下采样后特征图的缩减大小。其中，softmax 的形状为 ， 的形状为 。
通过这种方式，计算复杂度降低到了，而不是简单点积的复杂度。值得注意的是，向低维嵌入的投影可以是任何降采样操作，例如步长卷积，或者平均池化/最大池化。这种方法的优势在于，例如，对于高分辨率眼底图像数据集HRF，由于其特征图的高分辨率，n比d大得多。因此，序列长度主导自注意力计算，使其在高分辨率特征图上应用自注意力变得不可行。在作者的实现中，作者仍然使用11卷积 followed by a simple interpolation来降采样特征图。
Global Multi-Scale Fusion
如图6所示，展示了一个空间和语义全局多尺度融合（GMSF）模块，该模块将来自多尺度语义图的信息与较小的计算开销集成。在解码器中，TransUNext通过TransNeXt块和上采样层逐步恢复分辨率，并将编码器的高分辨率特征图通过GMSF替代传统的U-网络跳接连接，最终输出分割图。
全球多尺度融合在密集预测任务中起着关键作用，它将高层次语义信息和低层次细节信息相结合。在TransNeXt模块中，输出的特征图自然用于全局多尺度融合模块。首先，从多个尺度接收2D特征图：
, Map Fusion 包含来自所有尺度的特征图，这些特征图通过 ConCat 和 Reshape 多个输入的特征图得到。然后，它被传递到 Transformer 块进行多尺度语义融合。最后，将融合的多尺度图分成块并 Reshape 为 2D 特征图。与 Shortcut 不同，所提出的方法通过所有到所有注意力传播信息到每个尺度的所有 Token ，形成语义和空间全局多尺度融合。即，“ Shortcut ”现在具有一个注意力机制，可以消除高低级语义差异并提高特征重用。
Evaluation metrics
为了评估所提出方法的性能，本文使用了多个指标，包括准确率(Acc)、特异性(SP)、敏感度(SE)、精确度(Precision)、F1得分(F1-Score)、ROC曲线下的面积(AUC)和连通性-面积-长度(CAL)[7, 27]。
：它衡量了正确分类像素的比例，是衡量船体分割任务的典型代表性评估指标。
SP: 它指的是正确分类的非船舶像素比例与实际非船舶像素比例。
也被称为召回率（Recall），它指的是正确分类的血管像素与实际血管像素的比例。
精度：它指的是正确分类的船只像素占总船只像素的比例。
F1分数：它衡量了二分类模型的性能，考虑了模型的精确率和召回率。当SE和Precision的值较高时，F1分数可以被视为精确率和召回率的调和平均值，表现出令人满意的结果。
此外，作者描绘了接收者操作特征曲线（ROC），该曲线以 TP 为纵坐标，FP 为横坐标生成。作者还提供了 ROC 曲线下面积（AUC），它考虑了在不同阈值下 SE 和 SP，适用于测量视网膜血管分割。
此外，一些特定用于船舶分割的度量标准已在先前的研究中广泛应用。例如，Gegundez等人提出了一套度量标准[36]，用于评估预测的船舶的连通性（_C_）、重叠区域(A)和船舶长度的一致性(L)。整体度量标准(F)被定义为
这样做可以使粗细血管的分割更加均衡。
3 Experiments
Datasets
作者在四个公开的眼底图像数据集上评估了所提出的方法，包括DRIVE、STARE、CHASE-DB1和HRF。图7展示了这四个数据集的一些典型案例。
DRIVE数据集：DRIVE数据集（https://drive.grand-challenge.org/DRIVE）包含40张视网膜颜色图像，其中7张来自糖尿病初期视网膜病变患者，分辨率为565×584，并以JPEG格式存储。原始数据集使用20张图像进行训练和20张图像进行测试，同时使用 Mask 。两位专家手动标注了该数据集。在本论文中，作者将数据集分为训练集、验证集和测试集，比例为18:2:20。
STARE 数据集：STARE 数据集（http://cecas.clemson.edu/~ahoover/stare/probing）提供了 20 张眼底彩色图像，分辨率为 605 × 700。作者使用其中的 15 张图像进行训练，5 张图像进行测试。与 DRIVE 数据集不同，该数据集没有将数据集划分为验证集。因此，作者选择训练数据的 10% 作为验证集。STARE 数据集还提供了两位专家标注的图像。
CHASE-DB1 数据集：CHASE-DB1 数据集（https://blogs.kingston.ac.uk/retinal/chasedb1）包含 28 张颜色视网膜图像，分辨率为 996 × 960。这些图像分别来自 14 名儿童的左右眼睛。作者使用了其中的 21 张图像进行训练，并使用了 7 张图像进行测试。
HRF 数据集：HRF 数据集中有 45 张视网膜图像(https://www5.cs.fau.de/fileadmin/research/datasets/fundus-images)，分辨率为 3504 × 2336。每个组别的健康儿童、糖尿病视网膜病变和青光眼患者各有 38 张图像作为训练集，其余 7 张图像作为测试集。
表1中显示了四个数据集的详细划分。
Implementation details
作者在torch-1.9.0-cu11.1-cudnn8下实现了TransUNext，并使用单张英伟达RTX 2080 Ti进行了实验。
在训练过程中，作者设置最大训练周期为25，批量大小为8，初始学习率为0.0005。二进制交叉熵损失（BCE）作为目标函数来监督模型的训练过程。执行梯度更新的优化器使用Adam。DRIVE、STARE、CHASE-DB1和HRF数据集遵循相同的数据增强策略：从预处理图像中随机提取128x128的图像块。在TransUNext中，作者实际设置超参数[N1，N2]为[1，3]。
与训练阶段不同，作者在原始图像上进行重叠裁剪，步长固定。由于这些 Patch 有重叠区域（即每个像素在不同的 Patch 中出现多次），作者分别计算了属于视网膜血管的每个像素的概率值，并设定阈值以获得二值化的预测图。此外，作者还使用了一个早期停止机制来防止过拟合的发生。
Results
3.3.1 Ablation study
作者在DRIVE数据集上进行了消融实验，以验证每个模块对整个模型性能的贡献。从表2可以看出，TransUNext的AUC、C、A和L值分别为0.9867、99.85%、93.58%和91.28%。与DRIVE数据集的 Baseline 模型相比，最终模型的性能分别提高了0.8%、1.05%、1.11%和1.09%。
尽管TransUNext的FLOPs和Params高于Baseline，但内存消耗和存储空间的增长是可以接受的，考虑到其在分割精度上的提高。将两行数据进行比较：_Baseline w/CNN和Trans块_与_Baseline + all (作者的TransUNext)_, 前者遵循图1(e)的设计；发现作者提出的TransNeXt Block，可以优化U-Net中每个基本模块的计算复杂性，具有更高的性能和更少的参数。
为了更好地评估整个消融实验，图8显示了TransUNext在DRIVE测试数据集上的ROC曲线。经过可视化，还可以发现GMSF和TransNeXt Block分别具有0.9830和0.9860的AUC值，旨在提高分割性能。
4.2.2 Results on four datasets
表3和图9展示了作者提出的TransUNext方法在四个数据集上的部分分割结果。图9(d)和图9(c)说明了在四个数据集上的灰度分割和二值化典型结果。从表和图可以看出，作者提出的TransUNext的分割结果非常接近真实值，能够从背景中提取主要血管并正确分割血管边缘。TransUNext在处理视网膜图像中长而细的血管跨度以及视盘和视杯的变形方面表现出应对复杂性的能力。
4.2.3 Comparisons with SOTA methods
与SOTA方法在DRIVE测试数据集上的比较。
作者进一步将所提出的方法与现有的最先进（state-of-the-art，SOTA）方法进行比较，以验证所提出方法的有效性。表4中的比较基于DRIVE数据集，TransUNext在AUC和ACC性能方面居于首位。
Title
虽然AUC和ACC略低于[27]和[40]，但SP和SE达到了最大值。
在STARE测试数据集上与SOTA方法的比较。为了验证TransUNext的泛化能力，表5将TransUNext与STARE数据集进行了比较，该数据集也位于更高层次。尽管作者在STARE数据集上的测试结果的平均值较[31]弱，但DRIVE和CHASE-DB1数据集上的性能更为突出。
在CHASE-DB1测试数据集上与SOTA方法进行比较。表6中的比较基于CHASE-DB1数据集，在该数据集中，TransUNext的SP和SE达到最大值，而AUC值略低于[40]。
在HRF测试数据集上的比较与SOTA方法。与上述三个数据集不同，HRF图像具有更高的分辨率，许多SOTA方法尚未在此数据集上进行验证。表7显示了在HRF数据集上比较TransUNext与其他方法的结果，表明TransUNext能够准确分割高分辨率视网膜血管图像，进一步证明了其泛化能力。
定性视觉化提出的TransUNext和其他最先进的方法。图10比较了几个最先进方法的视觉化结果。
Title
在四个数据集上，作者的方法从局部放大的图像中实现了令人满意的分割结果。与其他改进方法相比，例如TransUNet [3]和Swin-UNet [1]，作者提出的TransUNext可以更准确地检测视网膜血管，减少误分类的视网膜血管像素。此外，对于微小血管和边缘区域的认识也有更好的效果。
3.3.2 Discussion
在TransUNext中，TransNeXt模块用于改进传统U-Net的基础模块，同时结合Transformer和ConvNeXt的优势，避免了Transformer的大量预训练，并降低了计算开销。此外，GMSF机制替代了U-Net的 Shortcut ，实现语义和空间全局多尺度融合，使得TransUNext的整体架构遵循图1(e)的设计。大量实验表明，TransUNext在视网膜血管分割任务上带来了显著的性能提升。未来，作者将进一步改进Transformer和ConvNeXt模块的混合方法，如同时的并行混合架构设计，并探索如何使Transformer端到端地进行预训练，以进一步提高分割性能。
Conclusion
作者提出了一个视网膜血管分割方法TransUNext，该方法将高效自注意力机制集成到U-Net的编码器和解码器中，以捕捉局部特征和全局依赖关系，同时计算开销最小。与其他将模块化Transformer嵌入到CNN中的混合架构不同，TransUNext构建了在整个模型中由Transformer和ConvNeXt组成的混合模块，它们不断聚合全局和局部特征表示，充分发挥两者优势。
其中，GMSF模块升级了 Shortcut ，将高级语义信息和低级细节信息融合，并消除了高级和低级语义差异。
此外，作者还设计TransNeXt模块作为U形架构的基础模块，不仅可以捕捉局部特征，还可以避免在信息从不同维度的特征空间转换时因压缩维度导致的信息损失。
作者开发的TransUNext在DRIVE、SATRE、CHASE-DB1和HRF数据集上的视网膜血管分割任务上，明显优于其他最先进的方法。该方法还可以应用于其他高分辨率或条纹目标和病变分割任务。
[0]. TransUNext: towards a more advanced U-shaped framework for automatic vessel segmentation in the fundus image.
点击上方卡片，关注 「AI视界引擎」 公众号