点击下方卡片，关注 「AI视界引擎」 公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
分割是图像处理中的一个重要步骤。图像分割是一种技术，它使得可以根据数字图像中像素的不同特征将图像分割成各种区域。尤其是乳腺超声图像分割在癌症识别中得到广泛应用。
由于包括斑点噪声、低信噪比和颜色不均匀性在内的各种超声伪影和噪声，准确地分割医疗图像（如超声图像）仍然是一个具有挑战性的任务。
在这篇论文中，作者提出了一种新的方法，以提高乳腺超声图像分割的准确性和有效性。
更具体地说，作者提出了一种基于U-Net的神经网络（NN）和新颖的编码器-解码器结构。通过将U-Net作为基础，同时开发出编码器和解码器部分，通过将U-Net与其他深度神经网络（Res-Net和MultiResUNet）相结合，并引入了一种新的思想和单元（Co-Block），这尽可能地保留了低 Level 和高 Level 特征。
设计好的网络在BUSI（乳腺超声图像）数据集上进行评估。该数据集包含780张图像，并将图像分为正常、良性肿瘤和恶性三个类别。根据作者在公共乳腺超声数据集上的广泛评估，设计的网络比其他最先进的深度学习方法更准确地分割了乳腺病变。
该网络只需要8.88M参数，而在BUSI数据集上，该网络（CResU-Net）在Dice相似系数（DSC）、交点与 Union（IoU）、平均值曲线（AUC）和全局准确性（ACC）方面分别达到了76.88%、71.5%、90.3%和97.4%。
unset
unset1 Introductionunset
unset
毫无疑问，乳腺癌是一种影响全球人类的致命性疾病。事实上，它已成为目前女性社会中死亡的主要病因 [1]。除了提高生活质量，早期发现同样对确保个人生存至关重要。在乳腺癌病例中，乳腺超声成像（BUS）是一种可靠、低成本、非侵入性、高效且普及的成像模式，可用于在早期检测乳腺癌 [2]。然而，超声图像质量较低，导致产生的图像遭受明显的斑点噪声影响。因此，计算机辅助诊断和准确检测乳腺癌是一项具有挑战性的任务。图像分割是图像处理中的一个最重要的步骤 [3]。此外，它有助于区分有病变区域和无病变区域，以及乳腺内不规则形状的病变 [4]。在超声图像中，特别是乳腺超声图像中，出现各种类型的噪声，如前文所述。因此，从这些图像中手动提取信息和分割超声图像非常困难。此外，放射科医生和医生需要具备高水平的经验和技能 [5]。因此，为了自动分割图像，有必要使用能够自动分割图像的不同模型。另外，自动化分割对医生来说更加方便，因为它节省了他们的时间。为了帮助医生作出正确的早期诊断，这些方法和模型必须是高度的精准和准确。
最近的研究表明，深度学习模型（如卷积神经网络（CNN）[6]）在计算机视觉、辅助诊断和图像处理领域（包括分割、检测目标和分类）可以取得令人瞩目的成果。U-Net [7] 已被证明是图像分割领域中其他CNN模型中最为可靠的模型。U-Net的不同变体已在图像分割领域得到应用。例如，DC-UNet [8] 是一种具有影响力的U-Net模型，该模型旨在取代编码器-解码器架构。此外，周倩等人[9]提出了一种名为LAED-Net的模型，它将网络参数显著削减。他们设计了一种轻量级解码块。
另一种有效的U-Net模型是NAT-Net [10]，它是一种端到端噪声标注容限网络。Ilesanmi等人[2]提出了一种基于U-Net架构的端到端网络，该网络具有多池化和双卷积技术。许多深层次学习模型，包括用于分割医学图像的U-Net，都是编码器-解码器模型。编码器部分使用卷积和降采样层。在卷积过程中，从输入图像中提取多种特征。此外，在降采样过程中，这些特征也被选择和过滤。一系列选择的特征被生成作为输出，称为密度张量。解码器部分包括卷积和升采样层。在解码过程中，密度张量作为输入。因此，它经过一系列卷积和降采样层。通过这些层计算预测张量，相应地分割图像。
至于准确度，编码器-解码器模型已被发现比传统的方法（如基于水坝的模型、基于聚类的模型和基于阈值的模型）要好，但是仍有一些需要解决的问题，例如：
- 降采样会导致丢失包含大量信息的低级特征。这种信息将帮助作者实现更好的分割精度。
- 在降采样背景下，与图像中的像素相关的局部信息将丢失。
上述挑战已经得到了研究行人的关注，并已经发展出了多种方法。在这篇论文中，为了进一步提高神经网络在图像分割方面的性能，作者提出了一种新方法，并在编码器和解码器部分对其进行了修改。作者设计了一种神经网络（NN），该网络采用编码器-解码器架构，并基于U-Net架构。利用U-Net作为基础，通过对编码器和解码器部分进行U-Net与其他深度神经网络（DNNs）的组合，并引入一个新的方法，从而保持尽可能多的低级特征。作者的方法在对乳腺癌超声图像（BUSI）数据集[11]的评价。数据集包含780张乳腺癌超声图像，分为正常、良性、恶性三类，作者的主要贡献如下：
- 提出了一种结合深度NN不同部分的编码器-解码器U-Net架构。为了获得更高的准确度，作者开发了Co-block。Co-block通过增加卷积层滤波器的数量来从输入图像中提取更复杂的特征，并通过使用连接运算符最大化提取特征的使用和保留。Co-block成为网络的一部分，在编码器和解码器部分都利用这些块。使用新增加的块允许作者保留有用的特征并将其作为输入传递到下一个块。
- 为了保留低级特征，作者提出了一种新的神经网络架构。通过使用Co-block和ResNet的身份/MultiResUNet的块可以对编码器和解码器部分进行修改，以实现预期的结果。这样，作者可以获得可靠的精度。
- 在提出的办法中，作者通过使用较少的特征来增加准确性，从而降低了计算的复杂性。
- 利用新设计的神经网络对乳腺癌超声图像（BUSI）数据集进行测试。除了dice分数（DSC），作者还使用了其他指标对设计的网络进行了评估，包括全局准确度（ACC）、交点与连通域（IoU）和曲线下面积（AUC）。实验结果表明，作者提出的方法取得了可靠的精度和效率。
论文的组织如下。第二部分概述了相关工作。第三部分描述了方法和设计的神经网络架构及数据集的详细信息。实验结果提供在第四部分。最后，结果和结论在第五和第六部分中分别加以呈现。
unset
unset2 Related worksunset
unset
在计算机视觉领域，有许多种可以用来进行图像分割技术，这些技术可以大致分为两大类：深度学习算法和传统算法，比如阈值分割、边缘检测和基于分水岭的算法[1]。
研究行人使用两种算法以不同的方式对图像进行分割。每个类别的简要说明如下：
unset
unset2.1.1 Thresholding-based methodunset
unset
阈值化是一种广泛应用于单色图像分割的技术，也被用于乳腺超声图像分割[12]。作为最简单的图像分割方法，阈值化基于一个剪辑 Level （或阈值值）将灰度图像转换为二进制图像。阈值化方法相对简单。然而，当应用于乳腺超声图像时，这种方法可能并不奏效，因为它只考虑了灰度级统计，并没有考虑空间信息。此外，在一些图像中，物体与背景之间在灰度级分布上存在一定的重叠比例。从2001年到2004年，Horsch等人[13]专注于BUSI的阈值分割，并提出了改进的算法。
unset
unset2.1.2 Watershed-based & Clustering-based methods:unset
unset
在水系方法中，图像的梯度幅度被认为是一种地形等级。这是最常用的灰度图像分割算法之一[14], [15]。人们普遍认为，梯度强度最高的像素所在的范围对应着显示区域边界的分水岭线。由于这种算法的敏感性质，当存在噪声时，它很容易过度分割图像。基于聚类的图像分割方法是一种像素级的分割方法。在这种分割中，试图将聚在一起的像素进行聚类[4]。
unset
unsetNeural networksunset
unset
基于神经网络（NN）的分割方法将分割问题转化为一个基于输入特征集的分类决策，得到了广泛应用并证明其准确度非常高[16]、[17]。1999年，Binder等人[18]研究了利用人工神经网络进行超声心动图图像分割。深度学习是机器学习和人工智能中的一个新研究方向，该方法使用深度神经网络模拟大脑的学习方式并从大规模数据集中提取特征，无需监督。作为深度学习模型家族的一员，卷积神经网络（CNN）在计算机视觉等领域如图像分类、目标识别等方面表现优异。CNN是由深度学习技术与图像处理技术相结合产生的一类结合深度学习技术的神经网络，这是一种有趣的应用。它始于Hubel和Wiesel的发现[19]。他们解释说，在初级视觉皮质中存在简单的神经元和复杂的神经元，视觉处理总是从简单的结构如一方向性边缘开始。
在不同的CNN模型中，U-Net表现出色。由于其性能高以及广泛应用于计算机视觉的各个领域，U-Net成为了优秀的计算机视觉工具。另一个有效的U-Net模型是双U-Net[21]，结合了两个U-Net模型。第一个模型的编码部分是一个预训练的VGG-19模型，然后他们在末端添加了另一个U-Net。使用这个模型，可以获取更多的语义信息。周子等人[23]提出了一种U-Net++模型；其结构基于U-Net，并在每个阶段的编码器与解码器之间建立了密集连接。Trans-UNet[24]是一种强大的U-Net模型，该模型利用了 Transformer 与U-Net技术，这使得Trans-UNet可以更好地利用空间细节。
在很多CNN模型中，Res-Net模型[25]是最具影响力的之一。表明残差网络相对于深度卷积神经网络更容易被优化。因此，使用这个框架，可以解决无法训练深度卷积神经网络的问题。为了实现端到端的像素级图像分割，Seg-Net[26] build an encoder-decoder对称结构 based on FCN的语义分割任务。VGG-16在编码器中用于研究目标信息。
根据每个像素的目标信息，解码器从解析的详细信息中生成最终的图像，每个像素都有自己的标签。在架构方面，将U-Net与Seg-Net的编码器-解码器结构进行比较。
U-Net是分割医学图像的优异工具，这主要是因为其结构允许同时结合低级信息和高级信息，这对于分割医学图像来说是非常理想的。总的来说，作者旨在通过将U-Net的编码器-解码器结构与深度学习网络相结合，来提高超声医学图像分割的准确性。
unset
unset3 Methodunset
unset
为进行这项研究，作者使用了BUSI数据集。该数据集包含正常乳腺超声图像以及乳腺良性和恶性肿块图像的混合。在埃及开罗的巴哈医院，使用名为LOGIQ E9和LOGIQ E9 Agile的超声系统获取了这些图像。研究包括了年龄在25岁至75岁之间的女性，她们在 Baseline 时进行了乳腺超声图像检查。该数据集包含780张平均大小为像素的图像，这是整个数据集的大小。此外，每张图像都有一个其本身的真实图像（ Mask 图像），作为每张图像的基础。表1显示了正常、良性、恶性图像的数量。图1说明了超声乳腺图像样本和真实图像。
unset
unsetPre-processingunset
unset
根据之前的讨论，图像输入的平均大小为500像素×500像素。通过降低输入图像的大小，计算变得更加简单，因此模型的性能将得到提高。此外，通过降低噪声和旋转训练数据图像进行数据增强。训练数据集中的斑点噪声通过非局部均值（NLM）方法[27]进行了减少。为了在超声图像中减少斑点噪声，NLM被广泛使用。将超声图像分割成多个重叠的块，通过计算每个块的平均值，确定参考块（搜索窗口）与图像剩余块的相似程度。因此，NLM可以不仅减少选定块附近的艺术，还可以减少远离选定块的地方的艺术。此外，将训练数据集中的图像以180度角旋转进行数据增强。
unset
unsetMethodologyunset
unset
图2显示了所提出网络的整体结构。所提出的网络结构是基于U-Net编码器-解码器结构的，其中编码器和解码器部分都经过了修改。这是通过将ResNet和其他深度网络模块结合到编码器和解码器部分实现的。作为编码器的一部分，U-Net算法包括卷积和降采样算法层，可以从数据中提取和过滤特征。需要注意的是，过滤提取的特征会导致低级特征的损失。所提出的网络的一个显著特点是其利用低级特征，在过滤之前将其提升到输出层。从这种方法中获得的信息帮助作者改进了分割过程的准确性。假设是在第i个池化层的第i个编码器块的输出，是第i个编码器块的输出，是第i个解码器块的输出。
unset
unset3.3.1 Encoderunset
unset
作者所提出的网络的编码部分由六个块组成（见图2）。作者设计了 ConCat 块（Co-Block）（见图3）。接下来，作者将提到哪些编码块是Co-Block。在 Co-block 中，添加了三个卷积层，随后是三个批归一化层，和三个激活层（ReLU函数）。在 Co-block 中，输入输入到第一个卷积层（核大小为3x3）。
然后，它通过激活（ReLU函数）和批归一化层。再次，将输出特征输入到第二个卷积层（具有第一个卷积层两倍过滤器的卷积层），一个激活层和一个批归一化层。输出与第一个卷积层的输出特征进行连接。连接的特征然后通过一个具有四倍过滤器的卷积层，一个激活层（ReLU函数）和批归一化层。
最后，将输出与第一个连接特征的输出进行连接。Co-block 具有显著优势，即增加了输入图像特征提取的深度。这是通过卷积层过滤器的扩展来实现的，导致提取更复杂的特征。
此外，Co-block 通过使用连接操作最大化提取特征的利用率和保护。输入图像具有256x256的大小，是第一个块的输入。第一、二和第四个 E-Blocks 包括设计的 Co-Blocks。此外，Res-Net 的身份块和 MultiResUNet 的块 [28] （见图4和5）分别组成第三个和第五个 E-Blocks。每个 E-Block 后面添加了一个池化层（池大小 = 2x2）。
身份块是在 Res-Nets 中使用的标准块，与输入激活和输出激活具有相同维度的对应情况。卷积层从输入图像中提取特征。同时，池化层用于过滤提取的特征，保持高阶特征可用，并减少图像大小。
首先，第一、二、三、四、五阶E-Block的卷积层作为输入，分别为16、32、64、128和256个过滤器。最后一个块有2个卷积层，每个层有512个过滤器，核大小为3x3，并带有dropout层。
同时，第五个块也有一个dropout层。如前所述，提出的Co-Block允许作者使用低级和高级特征。低级信息有助于提高准确性。此外，高级信息有助于提取复杂特征。
3.3.2 解码器
解码器的整体架构如图6所示。为了获得更准确的分割预测，算法将高级和低级特征融合和集成。为了进行融合，特征的维度必须相同。已经提到，和分别是第i个编码器和解码器块的输出。在解码器块中，添加了一个上采样层，然后是一个卷积层。然后，解码器块通过 ConCat 将上采样后的、和进行融合：
其中是连接融合后的第i个块的特征。需要提到的是，D-Block 5 & 1有两个输入（和），而D-Block 3只有一个输入（）。然后，将特征输入到设计的Co-Block或Res-Net的身份/MultiResUNet的块中，每个特征通道单独卷积。
最后一步是元素地将卷积后的与相加：
下一个块将作为输入。
与其它模块相比，第三和第五个D-模块之间存在差异。由于第三和第五个D-块中的特征匹配度相同，作者倾向于使用ResNet的身份模块/MultiResUNet的模块替代Co-模块。
unset
unset4 Resultsunset
unset
unset
unsetMetricsunset
unset
BUSI数据集被用于评估设计网络的分割精度水平。根据研究结果，可以明确地看出，设计网络实现了可靠且最高的分割精度。Dice分数(DSC)和全局精度(ACC)被用来评估模型的性能。上述参数定义如下：
其中，表示分割后的肿瘤区域中来自真实图像的像素数量。在真实分割后的图像中，表示没有肿瘤的背景区域中的像素。此外，被定义为一组使用特定方法进行分割的像素，这些像素似乎对应于肿瘤区域。
用于性能评估的其它指标有交并比(IoU)，精确度，召回率和曲线下的面积(AUC)。在这所有指标中，值越高表示网络性能越好。所有值均位于[0,1]的范围内。IoU评估指标的计算公式如下：
unset
unsetImplementationunset
unset
本模型使用TensorFlow和Keras框架实现。模型在一块NVIDIA GeForce RTX 2080显卡上进行训练。输入图像都经过重新缩放到像素大小，以适应数据集。数据集中的图像被划分为训练和测试图像。研究中采用五倍交叉验证，也就是说训练集由四部分（图像的80%）组成，测试集由一部分（图像的20%）组成。在训练过程中，对训练集的20%进行验证。对该网络进行五次训练，然后计算所有指标的平均均值和标准差。模型训练过程中有200个周期。为了进一步提高系统的性能，作者采用了一些数据增强技术。为了训练设计的网络，作者使用了Dice损失度量。由于作者的数据集中存在不平衡的类别，作者更喜欢使用Dice损失度量。在类别不平衡的情况下，Dice系数的表现更好。
unset
unsetExperimental resultsunset
unset
如图7所示，展示了U-Net、Seg-Net、D-Unet和提出的模型在BUSI数据集上的预测结果。可以发现，与其他模型相比，提出的模型在分割肿瘤的形状上预测得更好。此外，通过使用提出的算法，与其他模型相比，边缘检测更为准确。此外，在某些图像中，有两个肿瘤相邻。基于提出的模型，作者能够正确地将它们分离。相反，恶性肿瘤通常具有不规则的形状和鲜明的边缘或边界。因此，在 such cases下，分割肿瘤更具挑战性。将在BUSI数据集上的提出的和多种其他模型进行定量比较的详细结果如表2所示。可以看出，与其它模型相比，提出的模型在准确性、计算和参数方面具有更高的效率。
结果表明，与U-Net相比，提出的模型在DSC、IoU、ACC和AUC方面的性能提高了15.68%、18.1%、1.7%、5.5%。D-Unet的分割准确性（以DSC、IoU、ACC和AUC衡量）分别为63.6%、57.8%、96.0%和88.8%。与其他模型相比（以DSC、IoU、ACC和AUC衡量），提出的模型导致大约13.28%、13.8%、1.4%和1.6%的提高。因此，相比D-Unet，提出的模型在预测和检测边缘方面更加准确。
在BUSI数据集中，有三种类型的LAEDNet用于分割超声医学图像。在这些类型中，LAEDNet-L成为最有效的分割类型。虽然LAEDNet-L的分割准确性有所提高，然而，在DSC、IoU和AUC方面，分别为75.0%、67.6%和91.3%。令人遗憾的是，它们没有提供有关整体准确性的任何信息。在DSC、IoU方面，提出的模型实际上比它提高了1.88%、3.9%。
毫无疑问，U-Net++是分割医学图像最有效的模型之一。它获得的分割精度可以定义为DSC、IoU、AUC、分别为70.9%、63.8%、和90.4%。这些结果再次支持了提出的模型，尤其是在DSC、IoU方面，它分别比其竞争对手提高了5.98%、7.7%。网络参数也进行了测量，以评估网络的大小和计算量。与其它模型相比，提出的模型具有更少的参数，因此作者能够使其更轻便，计算量较小，从而使得网络运行更快。
在提出的这种方法中，分割准确性和计算时间的优化达到了均衡，使其成为最佳选择。此外，使用BUSI的良性及恶性乳腺超声图像进行分析，评估了该网络在分割恶性及良性病变的耐受性。与其他最先进的深度学习方法进行了比较，这些方法包括U-Net、Att U-net、U-Net++、Seg-Net、RCA-IU-net、和RRCNet。将在BUSI数据集上的提出的和多种其他模型进行定量比较的详细结果如表3所示。对BUSI进行了两倍交叉验证。
提出的方法在BUSI分割任务中实现了对良性及恶性图像的最优结果，具体如表3所示。相应的，该方法在良性BUSI上的指标分别为94.4%的DSC、86.1%的IoU、91.8%的准确度及93.7%的召回率。与第二最佳结果相比，这些指标分别提高了13.5%、14.3%、13.0%和10.3%。在恶性肿瘤的分割上，提出的该方法在DSC、IoU、准确度、召回率分别为72.7%、62.3%、85.8%、和69.4%，分别较第二最佳方法提高了1.9%、2.4%和16.1%。
unset
unset5 Discussionunset
unset
本文的目的是提出一个使用深度神经网络进行医学图像分割的分割算法，尤其是用于乳腺超声图像（BUSI）的分割。评价结果的概述可以在表2中找到。根据研究结果，提出的模型能够在低对比度乳腺超声图像中准确检测边界，并且在乳腺超声图像中能够分割出乳腺肿瘤。因此，通过准确检测肿瘤区域和边界，下一步就是要正确地将肿瘤分类为良性或恶性。
所有结果都表明，与其它模型相比，提出的模型在分割性能方面有了显着的改善。因为作者设计的模型，Co-block将低级和高级特征相结合。需要注意的是，为了提高准确性，需要低级特征，而要提取复杂的特征，则需要高级特征。作为评估提出的模型在BUSI上性能的手段，作者使用了DSC，IoU，ACC和AUC。与其它深度学习模型相比，提出的模型改善了DSC，IoU和ACC的分别是1.8%，3.9%和1.4%。
作者设计的模型单独对良性乳腺超声图像（BUSI）进行测试，来评估提出的方法的鲁棒性。作者使用了DSC，IoU，精确率和召回率来评估在良性乳腺超声图像上的分割性能。如表3所示，可以看出，相对于其它深度学习模型，提出的模型在良性乳腺超声图像和恶性乳腺超声图像上的分割性能都更好。与其它模型参数的比较也表明，与其它模型相比，所提出的网络使用了更少的参数。因此，作者有了一个轻量级且计算需求较低的网络。
有些定性的结果可以在图7中找到，其中包含了提出的模型和多种其他模型的分割结果。从图7中可以看出，提出的分割图像与真实图像非常匹配；提出的分割图像与真实图像在分割方面非常相似。从图7中可以看出，在某些BUSI中，有两个肿瘤非常接近。在提出的模型帮助下，作者能够准确地将它们分离和分割。
unset
unset6 Conclusionunset
unset
本文提出了一种基于编码器-解码器U-Net神经网络的改进 breast超声图像分割准确性的方法。预处理过程中，通过去噪和旋转数据实现了数据增强。使用NLM方法来减少 breast超声图像的斑点噪声。为了提高分割过程的准确性，作者设计了一种新的块，Co-Block，将低级和高级提取特征融合，并集成ResNet的身份块和MultiResUnet的块到U-Net架构，以实现更好的分割过程。
作者在BUSI数据集上进行了一组实验以验证设计的网络。使用BUSI数据集，作者对该网络方法进行分割性能评估，并与各种最先进的深度学习分割方法进行比较。
实验结果表明，所提出的网络在分割准确性方面超过了U-Net、D-UNet、U-Net++、Seg-Net、RRCNet等深度网络。在未来，作者将尝试将所提出的网络与transformer网络结合，以获得更好的医疗超声图像分割准确性。
还有一种可能性是将分割后的图像分类为良性肿瘤和恶性肿瘤，这样，使用设计的网络进行图像分割可以成为肿瘤分类的预处理步骤。
点击上方卡片，关注 「AI视界引擎」 公众号