点击下方卡片，关注 「AI视界引擎」 公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
冠状动脉疾病（CAD）的诊断中广泛应用Agatston评分，该评分是四条主要冠状动脉的钙化总和。
然而，许多研究强调其特定血管的Agatston评分的重要性，因为特定血管的钙化程度与冠状动脉疾病（CHD）的发生显著相关。
在本文中，作者提出了一种Residual-block Inspired Coordinate Attention U-Net（RICAU-Net），该方法通过两种不同的方式结合协调注意力，并为病变特定冠状动脉钙（CAC）的分割定制了一种组合损失函数。
这种方法旨在解决与小且稀疏病变相关的高类不平衡问题，尤其在左主干冠状动脉（LM）的CAC方面，该病变通常较小并且在数据集中最稀缺，这是由于其解剖结构。
作者将所提出的这种方法与使用Dice分数、精确度和召回率的六个不同的方法进行了比较。
作者的方法在所有四种病变上的每个病变Dice分数上都达到了最高值，尤其是对于左主干冠状动脉中的CAC与其他方法相比。
消融研究证明了在分割具有高类不平衡问题的稀疏和小的病变时，来自协调注意力和定制损失函数的位置信息的重要性。
1 Introduction
心血管疾病（CVD）长期以来一直是全球主要的死亡原因之一[33]。在CVD的组成部分中，冠状动脉疾病（CAD）尤为重要，因为冠状动脉狭窄和堵塞会导致突然死亡[19, 33]。目前，可以通过非对比性心脏计算机断层扫描（CT）无创地检测冠状动脉钙化（CAC）[1]。通过分析收集的CT图像，可以计算得到称为Agatston分数的CAC评分[1]，以量化CAD的严重程度[9, 41]。Agatston分数是四个主要冠状动脉（左主冠状动脉[左主]、左前降支动脉[LAD]、左回旋支动脉[LCX]和右冠状动脉[RCA]）钙化的总和，并与CVD的发生密切相关，被认为是一个强大的CVD预测指标。随着人工智能在医学领域的进步，深度学习算法已显示出在冠状动脉中定位钙化和自动计算CAC评分的高精度能力。尽管总的Agatston分数已持续多年被视为一个强大的CVD预测指标，但是许多研究强调了特定病灶CAC分数的重要性。
一些作者证实，左主干冠状动脉（左主）的钙化增加了CVD死亡和全因死亡率。此外，一些作者 [3] 认为RCA中CAC的存在显著与冠状动脉疾病（CHD）和 CVD 相关。因此，在预测CHD和CVD时，每个病灶的Agatston分数的重要性与传统Agatston分数相当。为了计算每个病灶的Agatston分数，病灶特定的CAC分段是必不可少的。
然而，有两个因素在促进病灶特定CAC分段时需要考虑。第一个因素是病灶的大小和稀疏性。CAC位于冠状动脉中，因此CAC的大小相对于其他器官（如肺、肾或肝）较小。第二个问题是在数据集中存在高度不平衡类别。已有多个研究[2, 4, 42]显示，在四个主要冠状动脉中，CAC在左的主干冠状动脉（左主）是最不常见的[7, 8]。这是因为左主是冠状动脉中最短的一个，尤其是在患有冠状动脉粥样硬化的患者中[7, 8]。
因此，左主CAC在CT图像中出现的切片数量最少，CAC病灶的大小也最小。在利用深度学习算法进行 CAC 分段的研究中，有三个研究关注病灶特定的分段。然而，这些研究将左主CAC和LAD的CAC结合在一起，因为左主CAC和LAD的区分具有挑战性。
在此，作者提出了基于Residual-block的Coordinate Attention U-Net（RICAU-Net），这是一种端到端的深度学习算法，用于利用非对比性心脏CT扫描进行病灶特定CAC分段。作者还提出了一个定制的组合损失函数，以解决具有高类别不平衡问题的病灶小而稀疏CAC分段。在报告的深度学习算法中，作者实现了一种基于RICA block的CA模块[16]，同时实现了一种基于CA模块的RICAU块。这种实现旨在强调CAC的位置信息，因为CAC的出现在CT图像中的位置与其周围血管的位置密切相关，这对病灶特定分段任务有着重要作用。
本文的主要贡献可以概括如下：
- 作者提出了RICAU-Net和定制的组合损失函数。RICAU-Net通过利用RICA块和CA模块来实现端到端病灶特定CAC分段。作者提出的组合损失函数则用于解决具有高类别不平衡问题的病灶小而稀疏CAC分段问题。
- 作者展示了RICAU-Net中的RICA block、CA模块和所提出损失函数在病灶特定CAC分段的有效性，尤其是在小而稀疏的左主CAC分段，该病灶在数据集中最不常见。
2 Related Works
Medical Image Segmentation Models
随着深度学习的兴起，卷积神经网络（CNN）已广泛应用于图像识别等领域。其中，U-Net是用于语义分割任务的一种非常热门的神经网络架构，最初是为了解决生物医学图像分割问题 [29]。
U-Net是一种U型编码器-解码器类型的全卷积网络（FCN），能接受任意尺寸的输入图像。编码器和解码器通过跳跃连接进行连接，将编码器中的特征图与解码器中的特征图进行拼接，以便在不同层聚合上下文信息及局部信息。由于在图像分割任务中表现出卓越的性能，因此出现了许多针对U-Net的变异版本，并在医学图像分割中表现出非常好的效果，例如SA U-Net [10]，嵌套U-Net [44]，ResUNet++ [18]，Attention U-Net [26]，以及支持传统网络骨架的U-Net，如EfficientNet U-Net，ResNet U-Net，VGG U-Net。
Coordinate Attention
近年来，注意力机制在计算机视觉领域得到了广泛关注，因为它们可以使模型关注图像的特定区域。注意力机制可以分为三类：通道注意力、空间注意力和组合注意力[11]。通道注意力通过利用特征图之间的通道连接来实现全局输入图像的信息聚焦，而空间注意力通过利用特征图之间的空间连接来实现输入图像的区域信息聚焦[40]。组合注意力是将通道和空间注意力相结合。将这些机制集成到深度学习模型中已经被证明可以提高模型的性能。SENet（通道）[17]，CBAM（混合）[40]，和Vision Transformers[6]是注意力模型[40]的代表性示例。然而，上述机制都没有引入输入图像的位置信息。因此，Hou等人[16]设计了对移动网络的坐标注意力，以便将输入图像的位置信息聚集到通道注意力中。CA模块通过将通道注意力分解为两个1D特征编码过程来实现，这些过程在水平和垂直方向上都保留信息。这些特征图帮助神经网络准确地检测和定位输入图像中的兴趣区域。
3 Method
RICAU-Net 是一种基于 UNet 的编码器-解码器类型 FCN 架构，它同时在编码器和解码器中使用了 CA 模块（图1）。在 RICAU-Net 中，CA 模块以 RICA 模块的形式在编码器中使用，并以 RICA 模块的形式在解码器的 CA 模块中使用（图2）。
Coordinate Attention Module
CAC的位置和类型主要取决于周围冠状动脉。因此，CAC的位置信息和周围血管的特征可以为特定病变的CAC分割提供关键信息。此外，由于其解剖结构[2,4]，在LM中的CAC通常比其他冠状动脉中的CAC小且较少见。当附近存在多个冠状动脉的钙病变并以聚簇形式同时存在时，CAC的位置信息在分割钙病变时尤为重要。因此，将CA模块集成到所提出的架构中是为了强调来自输入图像的CAC及其周围动脉的位置信息。CA模块的定义如下：
其中，和分别表示CA模块的输入张量和输出张量，表示逐元素乘法，和表示CA模块中的宽度和高度注意力。如图2所示，对垂直和水平的特征图应用Sigmoid激活以生成宽度和高度注意力图。然后，这些注意力图与输入张量逐元素相乘以生成具有与输入张量相同维数的坐标注意力特征图。
Residual-block Inspired Coordinate Attention U-Net
如图2所示：RICAU-Net（RICA单元）中的CA模块和编码块概述。CA模块描述了将特征图的水平和垂直方向位置信息聚合到通道注意力中的总体过程。在RICA单元中，最终的输出通过执行两个卷积层输出和跳跃连接输出的一样元素加法操作而得到。跳跃连接包括一个CA模块和一个投影缩短模块（PJS模块）。在另一方面，U-Net的编码块仅包含两个卷积层。
RICAU-Net的编码器包含利用每个层输入的CA信息的RICA单元。如图2所示，RICA单元的设计灵感来源于ResNet [13]中的的残差块，其包含两个卷积层和一个跳跃连接。跳跃连接包括一个CA模块和一个投影缩短模块（PJS模块）。CA模块产生具有相同维度的方向感知和位置敏感的特征图。由于来自CA模块和两个卷积层的特征图的维度不等于，PJS模块是进行两个群体特征图维度匹配之前元素加法操作的一个必要步骤。PJS模块由卷积加批标准化组成。RICA单元定义为：
其中，表示RICA单元的输出张量，表示两个卷积层，每个卷积层后跟一批标准化和ReLU，表示元素加法，表示投影缩短模块。
RICAU-Net的解码器类似于原始U-Net，但在每个上采样过程中加入了四个CA模块。这样可以使得网络能够保留上采样特征的位置信息。RICA单元在RICAU-Net的解码器中没有使用，因为这将可能导致在PJS模块进行维度匹配时从CA模块产生的重要位置信息丢失。这个决定也是经验性的，因为提出的架构相对于解码器中具有RICA单元的建筑在初始实验中表现出更好的分割性能，特别是在CAC in LM上。
Class-Imbalance Problem and Loss Function
在深度学习领域，阶级（class）失衡（imbalance）问题是一种常见的现象，即训练数据集中某个类别的样本数远多于其他类别。这种情况下，模型很容易出现过拟合现象，导致模型在测试集上的性能下降。为解决这一问题，人们提出了许多方法，如数据增强、类别平滑、对抗生成网络（GAN）等。
本文将介绍几种常见的缓解阶级失衡问题的方法，并对它们的优缺点进行比较。首先，作者将描述数据增强，这是一种简单且易于实现的方法。其次，作者将探讨类别平滑，这是一种更加复杂的方法，但它可以提高模型的泛化能力。最后，作者将介绍对抗生成网络（GAN）。本文将详细介绍GAN的结构和训练过程，并展示其在阶级失衡问题上的应用。
本文的组织结构如下。第一部分介绍了阶级失衡问题的背景和解决方案。第二部分详细介绍了数据增强方法。第三部分介绍了类别平滑方法。第四部分介绍了对抗生成网络（GAN）及其在阶级失衡问题上的应用。第五部分总结了本文的主要贡献和未来研究方向。
3.3.1 Class-Imbalance Problem.
作者收集的非对比性心脏计算机断层扫描（CT）数据集显示在负样本（背景、骨组织）和正样本（左冠状动脉主干、左描述动脉、左回旋支、右冠状动脉）之间存在显著的类不平衡。例如，训练集的494个扫描被切成512 × 512像素分辨率的29,154张图像。在这29,154张图像中，左冠状动脉主干的CAC数量最少，仅出现390张图像（训练集的1.3%），而右冠状动脉的CAC数量最多，出现2,144张图像（训练集的7.4%）。这一现象在验证集和测试集中也得到了保持。在验证集和测试集中，分别只有1.3%和0.4%的图像包含左冠状动脉主干的CAC。这种现象在像素 Level 上更为显著。在一个512 × 512像素的图像中，一个左冠状动脉主干的病变（正样本）可以小到只有5个像素（大于1mm²），而其余像素则属于负样本（背景或骨组织）。
3.3.2 Loss Function.
作者所面临的两个主要问题是高类不平衡和目标病变的小而稀疏尺寸。针对这些问题，研究行人采用了关注度损失（Focal loss）和指数对数损失（Exponential Logarithmic Loss）。
首先，针对类不平衡问题，Lin等人首次提出关注度损失，通过集中精力处理困难样本，防止易错样本在训练过程中影响模型。医学数据中经常出现类不平衡问题，因为其固有的特性。在X射线分类任务中，Qiao等人和高等人分别使用关注度损失解决类不平衡问题，取得了改进效果。Wong等人提出了指数对数损失（Exponential Logarithmic Loss，ELL）来解决3D分割中目标大小的严重不平衡问题。
在这个研究中，为了克服这两个问题，作者采用了一种加权关注LogDice损失，它结合了加权关注损失和指数对数损失。对于加权关注损失，多类场景下的权重因子被设置为每类图像数量的反类频率。类k的重权因子定义为：
其中表示类别的权重因子，表示具有类索引c的类别，其中表示作者的数据集有6个类别，表示每类图像的数量。加权关注损失的最终定义为：
其中表示加权关注损失，表示像素数量，表示像素的索引，表示每个类别的像素预测概率，是一个可调的聚焦参数，建议值为2，如Lin等人所提出的。对于指数对数损失（Exponential Logarithmic Dice Loss，ELL），损失函数的定义如下：
其中表示指数对数损失，表示像素的真正概率，是不动量控制的参数，建议值为0.3，如Wong等人所提出的那样。加权关注LogDice损失的最终定义为：
其中表示加权关注LogDice损失，和表示两个损失函数的权重，和在本研究中被采用。
实验
Dataset, Preprocessing, and Implementation
数据集、预处理和实现部分的开始。
4.1.1 Dataset.
本研究的临床CT图像集合和知情同意书已由新加坡国立医院（IRB 2022-2521）的伦理委员会进行审查和批准。在这些研究中，总共使用了1108张非对比剂心脏CT扫描图像，这些图像使用四种不同的扫描仪：西门子、GE医疗系统、飞利浦和东芝。通过五个接受过临床培训的专家手动标注冠状动脉中的钙化病变，创建了病变特定真实值 Mask 。这些真实值 Mask 包含了背景信息、骨信息、左主冠状动脉（LM）、左前降支（LAD）、左回旋支（LCX）和右冠状动脉（RCA）等多分类信息。CT扫描及其相应的真实值 Mask 被分为训练、验证和测试集。612张来自西门子、GE医疗系统、飞利浦扫描仪的CT扫描用于训练和验证集。训练组（80%）包括494张扫描图像（484名患者有CAC和10名患者没有CAC），验证组（20%）包括118张扫描图像（112名患者有CAC和6名患者没有CAC）。来自东芝扫描仪的496张CT扫描用于测试集，包括278名患者有CAC和218名患者没有CAC。所有的CT扫描具有相同的高度和宽度尺寸（像素尺寸）。
4.1.2 Preprocessing.
在本研究中，所有CT扫描以512×512像素的分辨率切成2D图像。每个断层的原始海塞field单位（HU）被剪裁到[-150, 230]的范围，这表示了心脏的临床CT窗口（窗口宽度：380，窗口水平：40），然后经过归一化到[0, 1]的范围浮点数。此外，还应用了随机的顺时针和逆时针旋转5和10度、随机中心裁剪300×300和大400×400像素分辨率，以及添加高斯模糊、高斯噪声和盐巴胡椒噪声等作为即席数据增强方法来增加训练数据。当应用随机中心裁剪时，图像被填充到512×512像素的分辨率。
Implementation Details and Evaluation Metrics
以下是关于实现细节和评价指标部分的开始。
4.2.1 Implementation Details.
在本研究中，作者使用了Pytorch容器图像版本23.06（2.1.0a0+4136153），作为深度学习框架。所有实验都是在AMD EPYC 7742处理器（4个CPU核心，16GB）以及两个NVIDIA DGX-A100图形处理单元（GPUs）和每个40GB RAM上进行的。Ricau-Net从头开始训练了100个周期，使用加权Focal LogDice损失函数，批量大小为16，使用Adam优化器，初始学习率为1e-12，以及具有最大学习率1e-4的余弦退火温暖重新启动学习率调度器，其中第一重启周期为50， Warm up 重新启动周期为5，每次重新启动的最大学习率缩放因子为0.5 [14, 23]。
评估指标 选定了 dice 分数，精确度和召回率作为评估指标，用于评估模型在像素级上的每个病变的性能。dice 分数是语义分割任务中常用的评估指标之一，因为它衡量了 GT 值和模型预测值之间的相似度。所选评估指标可以通过真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）的组合来轻易地计算。dice 分数的计算公式是 2TP/(2TP+FP+FN)，精确度为 TP/(TP+FP)，召回率为 TP/(TP+FN)。将多类标记真实值和预测值转换为 one-hot 编码的标签来计算每个病变的 TP、TN、FP 和 FN。
在这部分，作者可以利用一些常见的评估指标进行对比，这些指标可以帮助作者更好地理解模型在像素级上的性能。
首先，F1 分数是一种综合指标，它衡量了精确度和召回率的平衡。F1 分数的计算公式是 2 * （精确度 * 召回率）/（精确度 + 召回率）。作者可以比较作者的模型（在作者的实验中，F1 分数的值约为 0.75）与其他方法。
其次，AUC（Area Under the Curve）值是一种用于衡量模型对肿瘤检测性能的指标。AUC 值越大，表示模型在检测过程中能够更好地分辨出肿瘤与正常组织。作者可以将 AUC 与其他肿瘤检测方法进行比较。
还可以通过与 CAD（Computer Aided Detection）工具进行比较，来评估模型在图像分割方面的表现。CAD 是一种常用的医学影像分析工具，可以用于识别和分割肿瘤。如果作者的模型在分割效果上优于 CAD，那么这个结果将是一个非常有力的证据。
总结起来，作者可以通过使用多种评估指标，来全面地了解作者的模型在图像分割方面的性能，并为未来的迭代提供方向。
RICAU-Net的病变特异性分割性能通过将其与其他六种方法进行比较来评估：U-Net [29]，SA U-Net [10]，嵌套U-Net [44]，ResUNet++ [18]，注意U-Net [26]和VGG16 U-Net。六种方法使用相同的数据集和实现细节进行训练，除ResUNet++外。ResUNet++使用了8的批量大小。结果如表1所示。所提出的方法在所有四种病变（LM，LAD，LCX和RCA）的每个病变Dice得分中均取得了最高的值：59.35（LM），94.11（LAD），87.03（LCX）和92.89（RCA）。对于在我国数据集中被认为较小的且最稀缺的病变CAC（在LM中），前三大Dice得分的方法为RICAU-Net，嵌套U-Net和U-Net。其中，RICAU-Net相较于嵌套U-Net提高了1.85%，相较于U-Net提高了6.33%。在两个病变（LM和LCX）的准确度方面，RICAU-Net的最高得分分别为55.14（LM）和86.30（LCX）。在LAD和RCA的CAC的准确度方面，Nested U-Net和SA U-Net分别取得了最高值，分别比RICAU-Net提高了0.11%和2.01%。然而，SA U-Net在RCA的CAC召回率和Dice分数方面取得了最低值，分别为55.79和69.44，表明在RCA的CAC上，SA U-Net的假阴性像素数量比假阳性像素多9.03倍。在召回率方面，RICAU-Net在两个病变（LAD和RCA）的CAC的召回率方面取得了最高的值，分别为94.23（LAD）和96.06（RCA）。对于在我国数据集中被认为最稀缺的病变CAC在LM和LCX，最高的召回率分别由嵌套U-Net和ResUNet++实现，分别为RICAU-Net的2.18%和4.18%的提高。然而，Res
Ablation Study
为了验证CA模块和RICA块的有效性以及加权Focal LogDice损失在处理高类不平衡的小病灶分割问题中的有效性，进行了两个消融实验。
4.4.1 Effectiveness of the CA Module and RICA Block.
要验证CA模块和RICAU块的有效性，作者比较了三种架构：标准的U-Net、Coordinate Attention U-Net（CAU-Net）和RICAU-Net。CAU-Net的编码器与标准U-Net相同，而与RICAU-Net的解码器相同（见图1）。这三种架构都使用与RICAU-Net相同的实现细节进行训练。Tab.2中的三种模型在CAC上的Dice评分如下。在CAC的LM中，CAU-Net与U-Net相比提高了3.37%的Dice评分。与CAU-Net和UNet相比，RICAU-Net在四个病灶上的Dice评分都更高。在CAC的LM中，RICAU-Net达到了59.35的Dice评分，分别比CAU-Net和U-Net提高了2.96%和6.33%。
此外，作者还使用了梯度加权类激活映射（Grad-CAM）[30]来可视化由三个模型生成的注意力图。Grad-CAM是一种技术，它量化了每个特征图在特定类别的分类决策中的贡献水平。贡献水平以0-1的范围进行量化，并在图像上使用热力图显示。红色区域或较大的值表示对模型决策的更大贡献。这表明模型在将它们分类为特定类别时要更多关注该区域。另一方面，蓝色区域表示该区域对决策的贡献较少重要。如图4所示，与U-Net和CAU-Net相比，RICAU-Net在为LM、LAD和LCX进行决策时的注意水平更高，尽管这三个模型在每个病变的Dice评分上相似。
为了量化与预测的关系，作者计算了每个病变的注意分数（AS），即贡献水平大于0.6的像素数除以预测像素的总数。病变的注意分数如图4所示。RICAU-Net在LM的AS中实现了最高的82.69%，分别比CAU-Net和U-Net高1.92%和7.69%。在LCX的CAC中，RICAU-Net和CAU-Net在病变的Dice评分上都实现了100%，但RICAU-Net生成的注意图显示黑色更大面积的填充，与CAU-Net相比。比较CAU-Net和U-Net生成的注意图和注意分数，可以看出CAU-Net通过实现更高的注意分数超过了U-Net，例如其更黑的红色注意图。因此，这个消融实验表明，实现CAU-Net和CAU-Net在贡献水平方面更为有效。
总结
在本研究中，作者提出了一种名为RICAU-Net的深度学习架构，以及一个定制的组合损失函数，称为加权焦点对数Dice损失，用于病变特定的冠状动脉钙化（CAC）分割任务。这个任务通常受到类不平衡问题的困扰，特别是小而稀疏的病变数据集。为了克服这些问题，作者在架构的编码器中以RICA块的形式利用了坐标注意力，并在解码器中作为CA模块。
两个消融研究强调了CA模块、RICA块和所提出的损失函数在分割小而稀疏的病变，尤其是对于作者的数据集中最稀少的LM中的CAC的重要性。RICAU-Net产生的Grad-CAM注意力图在钙化病变上的高关注分数处呈现出更深的红色，与CAU-Net和UNet相比，这种趋势持续存在。这表明RICA块和CA模块使架构更加关注钙化病变。
当与其他方法进行比较时，作者的方法在所有四种病变的每病变Dice分数上均表现最佳。此外，它还显示了在LM和LCX中的CAC以及LAD和RCA中的CAC上的最高每病变精确度，以及在LAD和RCA中的CAC上的最高每病变召回率。本研究仍存在两个局限性。首先，所有数据集中的复杂案例都不够充分。考虑到在三支冠状动脉中都有钙化病变的复杂案例，训练、验证和测试集分别只有41、6和9张复杂图像。
并非所有复杂案例的图像都显示病变以集群形式共存。此外，没有图像显示LM、LAD、LCX和RCA同时存在CAC。其次，地面真实值只有六个类：背景、骨骼、LM中的CAC、LAD、LCX和RCA。主动脉、中间支动脉、主动脉瓣、二尖瓣和支架中的钙化病变都被注释并包含为骨骼。因此，如果提供更多具有明确注释的上述类别的数据集，预计作者的方法的性能会更高。
总的来说，作者提出了一种端到端的深度学习算法和一个定制的组合损失函数，用于使用非对比心脏CT扫描进行病变特定的CAC分割。该算法可以进一步用于简化心脏病专家手动识别特定病变的钙化斑块和计算特定病变的钙化分数的过程。
点击上方卡片，关注 「AI视界引擎」 公众号