点击下方卡片，关注 「AI视界引擎」 公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
基于深度学习的技术已广泛应用于使用单模和多模磁共振成像（MRI）图像的大脑肿瘤分割任务。大多数当前研究关注集中训练，因为跨诊所的数据共享具有内在挑战。
为了减轻隐私问题，研究行人已经提出了联邦学习（FL）方法来处理大脑肿瘤分割任务。然而，目前这些方法主要关注单一模态MRI，而多模MRI的研究还很少。挑战包括使用多模MRI的FL基于方法的复杂结构、大规模参数和过拟合问题。
为了应对上述挑战，作者提出了一种适合FL训练的多模MRI脑肿瘤分割框架（Fed-MUnet）。作者用公开可用的BraTS2022数据集评估作者的方法。实验结果表明，作者的框架实现了分布学习FL的性质和保留隐私。
对于增强肿瘤、肿瘤核心和整个肿瘤，五个主要指标的平均值分别达到87.5%，90.6%和92.2%，分别高于SOTA方法且保持隐私。
在参数计数、浮点运算（FLOPs）和推理方面，Fed-MUnet与最先进的分割 Backbone 相比是帕累托最优的，并实现了更高的性能和解决了隐私问题。
unset
unsetI Introductionunset
unset
然而，将深度学习（DL）应用于多模态磁共振成像（MRI）脑肿瘤分割任务，可以实现从多个中心化数据集获得训练与测试数据的方法，从而提高模型性能，同时更好地保护患者隐私。然而，在实际医院或组织之间直接收集和交换医学影像具有重大挑战。严格的数据保护制度和法规，如医疗保健及医疗账单责任改革法（HIPAA）[5] 和数据保护隐私规定（GDPR）[6]，使得在医院和机构之间共享医学影像数据变得困难。
为了解决隐私问题，罗奥（Luo）[7,8]扩展了低开销（FL）框架的成本效益研究。在FL中，原始数据保留在本地设备上，不上传到中央服务器或其他地方。只有中间结果，如模型参数或梯度更新，才进行加密并传输，这不能直接转换为原始数据，从而保护了数据隐私。最近的一些研究[9,10,11]将FL应用于医学任务，旨在解决脑肿瘤分割中涉及的隐私问题。然而，[9,10]中的方法由于多模态图像的复杂性，仅使用单个MRI作为输入来分割肿瘤。
为了解决上述问题，本研究主要探讨了联邦学习在多模态MRI脑肿瘤分割任务中的应用方法和技术，以实现不同医院或组织之间的安全共享医学影像数据。同时，本研究还对多模态分割任务的现代多模态模型进行了分析，并对这些模型进行了优化，从而提高多模态MRI脑肿瘤分割模型的性能和隐私保护水平。
首先，一些多模态模型采用了两阶段的结构，这极大地降低了FL训练的效率。比如，最近的工作[4]提出了一种先验变分自动编码器（VAE）的预训练方法，并在分割背桶中使用了预训练的VAE。当与FL相结合时，这种两阶段模型增加了通信开销，增加了由于网络异常或设备故障导致训练中断的风险。因此，在FL设置中，首选单阶段端到端架构。
其次，现有的多模态分割模型处理多模态输入时拥有大量参数，这对FL训练不利。在FL中，过拟合是一个常见问题。多模态模型（如DeepLabv3+[2]）中的大量参数加剧了过拟合。
为了解决上述挑战，在本文中，作者提出了一种基于Transformer的多模态FL框架（Fed-MUnet）用于多模态脑肿瘤分割。作者的模型遵循客户端-服务器架构，客户端使用新提出的分割背桶（Multi-modal U-net（M-Unet））来训练本地数据集。M-Unet利用U-Net的优点，如高效结构和较少的参数，同时具有多模态特征融合的能力。为了减轻FL中过拟合的问题，作者设计了一个轻量级的跨模态模块（CMM），帮助模型在没有显着增加FL范式中模型参数数的情况下实现最先进分割精度。CMM利用Transformer强大的全局信息捕获能力，有效地将多模态图像特征集成。尽管最近已经有一些先进的深度学习模型在多模态脑肿瘤分割中提出，如introVAE[4]和Deeplabv3+[2]，但大多数模型并不适合FL框架。作者对工作的关键贡献总结如下：
作者开发了一个端到端分割模型 M-Unet ，它集成了一个 CMM ，有效地解决了低训练效率问题，减轻了过拟合在FL中的影响。据作者所知，作者是第一个将FL与多模态相结合应用于脑肿瘤分割的。通过使用轻量级模型，在不增加复杂性和参数数量的情况下，作者提高了分割精度的性能。
作者提出了一种新颖的FL框架 (Fed-MUnet)，用于多模态脑肿瘤分割。在该框架中，作者实现了差分隐私，以保持患者数据的保密性。这种方法在保证高分割性能的同时，也保护了隐私。
在作者的评估结果中，BRAts2022证明了作者框架的准确性与集中学习方法相媲美：对于增强肿瘤、肿瘤核心和整个肿瘤，五个主要指标的均值分别为 (87.5%)，** (90.6%)** 和 (92.2%)，分别高于SOTA方法。
unset
unsetII Preliminary unset
unset
在这一部分，作者首先介绍了关于脑肿瘤分割的基本信息。在第二部分，作者详细介绍了作者模型部署的FL设置。
unset
unset Background unset
unset
脑肿瘤分割在临床医学中非常重要。为了更好地诊断脑肿瘤，我国医院广泛使用MRI数据集对脑肿瘤疾病进行诊断和治疗。MRI具有多参数和多序列成像的特点，可以反映肿瘤区域的多种信息，为脑肿瘤分割提供了丰富的数据基础。本研究的目标是开发一个能处理临床诊断MRI数据集的隐私保护的高精度多模态FL框架。
unset
unset Federated Learning Setting unset
unset
假设有 表示 MRI 数据集，每个客户 所拥有的本地数据集 随机采样于 。令 代表 中分配给 号的客户端占总数据集 的比例，。向量 是 Dirichlet 分布的具体样本，即 。
unset
unsetIII Method unset
unset
旨在实现隐私保护，作者采用了差分隐私（DP）作为一种强大的隐私保护机制，用于安全的模型参数传输和聚合。为了应对多模态模型在FL中难以部署的问题，作者提出了一种新颖的分割模型 Multi-modal U-net (M-Unet)，该模型主要基于 Transformer 和 U-net。
在此部分，作者将详细阐述作者实现的 Fed-MUnet 算法和局部分割模型 M-Unet。作者的模型 Fed-MUnet 的出色性能可以归功于 M-Unet。首先，作者阐述了更新和传输模型参数的特定算法。然后，作者解释了结构设计的原意。最后，作者描述了 CMM 的操作机制和设计原因。
unset
unset Federated Learning with Differential Privacy unset
unset
在作者的工作中，作者利用DP-FedAvg [13]来实现隐私保护。具体的步骤详细地体现在算法1和算法2中。
unset
unsetIii-A1 Client Side unset
unset
在客户端，初始化/聚合的参数 从服务器传输过来进行本地训练。值得注意的是，剪裁操作 确保不存在极值或异常值，这些值可能会显著地歪曲结果。此外，剪裁限制了模型输出相对于单个数据点的最大敏感性，从而允许在保持所需隐私水平的同时添加较少的噪声：
其中 S 是 的先验上界。
客户端算法1
客户端的训练结果将随机采样以概率 q 进行全局更新，以进一步保护隐私。为了效率，在每个全局 epoch 中，有 %的客户端将执行本地训练。
unset
unsetIii-A2 Server Side unset
unset
在服务器端，收集自所有客户端的参数差分聚合如下：
为了防止训练不稳定导致的梯度爆炸，作者在服务器端也采用剪枝操作：
最后，高斯噪声和用于更新全局模型参数。方差是一个超参数，可手动控制隐私保护的强度：
unset
unset The Segmentation Backbone unset
unset
由于在医学分割任务中获得了出色的性能，作者自然地选择了U-net。参考文献[12]和[14]证明了U-net的几个优势，包括其对称的编码器-解码器结构，跳跃连接以及适用于少样本学习的性质。如图2所示，多模态图像首先被输入到卷积神经网络（CNN）中，以提取不同层次的特征。由于卷积操作的局部性和权重共享特性，CNN在大规模图像数据处理时具有高训练效率。为了适应FL设置，作者选择CNN作为下采样特征提取器，而不是Transformer，以降低参数数量和模型复杂性。除了对称的端到端结构外，作者还提出了一种CMM用于处理多模态医疗特征。基于注意力的CMM旨在将CNN获得的多种模态特征进行集成，以实现增强的特征上采样。
unset
unset Cross Modality Module unset
unset
CMM的主要基础是Transformer。通过自注意力机制，Transformer模型可以直接计算任意两个位置之间的依赖关系，从而有效地捕捉到长程依赖。然而，传统CNN模型在处理多通道图像时，只能捕捉局部信息。因此，作者在CMM中采用Transformer类似的结构，以更好地集成多模态特征。如图2右侧所示，作者从四个模态的特征（每个大小为C×H×W）开始，得到以下步骤：
- 堆叠图像特征: 首先，作者将第i个阶段的特征沿着通道轴向堆叠，形成一个大小为4C_{i}×H_{i}×W_{i}的单个张量。位置嵌入被添加到堆叠特征中，以帮助模型理解元素和 Patch 之间的连续关系。
- 扁平张量: 接下来，作者将张量扁平为一个2D矩阵。具体而言，作者将张量从还原为。
- CMM输出: 得到的矩阵被用作 Transformer 的输入。在CMM的最后一段，一个被使用，将融合的特征映射到与上采样矩阵（）对齐的维度。
作者的损失函数包含两部分。Dice损失定义为：
Dice损失关注全局分割效应。为了使模型专注于每个像素的分类准确性，作者添加了像素交叉熵损失：
其中是图像区域的像素,是模型输出，是真实值。
unset
unsetIV Experiments unset
unset
作者使用公开数据集Brats2022来训练和测试作者的模型。作者将与其他高性能方法比较六个指标：Dice分数，Jaccard指数，Hausdorff距离，敏感度，精确度和特异性。作者还评估了与其它高性能模型相比，作者的模型的复杂性。
unset
unset Experimental Settings unset
unset
unset
unsetIv-A1 Datasets unset
unset
本文使用了BraTS22-GLI挑战赛数据集2（The BraTS22-GLI challenge dataset2），包括来自不同中心常规临床检查的脑肿瘤的多参数磁共振成像（mpMRI）扫描作为测试、验证和训练数据。BraTS数据集是一系列医学中心为脑肿瘤分割算法研究和开发提供的公共医学影像数据集。本文中所用的训练和验证数据与BraTS21一致。由专家神经放射学家识别出肿瘤子区域的真正标注。所有BraTS mpMRI扫描均以NIfTI文件（.nii.gz）提供。本研究中包含了xyz名患者。每个患者包含四种模态的MRI图像，每个模态的尺寸为240×240×155。四种模态如下所示在图3中，它们在临床诊断中具有不同的特性和不同的作用：T1成像用于显示解剖结构；T1c是根据主体注入对比剂前后的血液中的对比度增强的肿瘤成像。T2成像用于显示更高的病变可见度；FLAIR是一种抑制脑脊液高信号的T2水成像，当水分含量较大时，会变得更亮，可以确定肿瘤周围的水肿区域。
unset
unsetIv-A2 Implementation details unset
unset
Dirichlet分布中的参数控制分布的陡峭程度。如果，分布将极度不平衡。然而，在时，部分局部数据集可能会特别小，使得本地模型学习困难。因此，在实验阶段，作者将设置为2，使数据集分布稍微均匀一些。
在作者的实现中，所有方法使用相同的训练设置，与主流实验相同。优化器使用带动量的SGD，动量为0.95。学习率设为，批处理大小为32。在FL设置中，作者训练30个全局轮次，以确保模型稳定收敛，并将本地更新周期设置为3。在本地轮次中，每个客户端K有50%的概率（q=0.5）被选中执行本地周期。作者的模型在RTX 4090 GPU上进行训练，并使用PyTorch实现。
unset
unsetIv-A3 Evaluation metrics unset
unset
该模型在多个方面评估性能时使用了六个指标。具体而言， dice 分数和精确率与召回率的调和平均值用于评估分割结果和真实标签之间的重叠程度。 Jaccard 指数计算分割结果与真实标签之间的交集大小与并集大小的比率。 Hausdorff 距离衡量两边缘轮廓之间最大的分离，提供了对分割边缘的更加复杂的准确性评估。 敏感性定义为总体真实阳性案例（TP）占所有真实肿瘤区域（TP+FN）的百分比。 精确度衡量所有预测为肿瘤的区域（TP+FP）中的真实阳性案例（TP）的百分比。 此外，作者还分别评估了在增强肿瘤（ET）、肿瘤核心（TC）和整个肿瘤（WT）上六个指标的平均值和标准差。
unset
unset Experimental Results unset
unset
图片3展示了作者提出的模型在不同噪声水平下的分割结果（，，无噪声），其他集中式模型具有相同的实验设置。现有集中式模型的结果请参见文章[4]。
如表格I 所示，作者的模型Fed-MUnet（）展示了在确保数据隐私的同时具有显著性能。对于Dice分数，Fed-MUnet在有噪声的情况下实现了令人满意的值0.860用于增强肿瘤（ET），0.894用于肿瘤核心（TC）和0.916用于整个肿瘤（WT），表明与真实值的 overlap高度；在Jaccard指数方面，模型实现了0.778用于ET，0.830用于TC和0.853用于WT的结果，进一步证明其分割准确性。Hausdorff距离指标展示出了与真实值相当竞争力，值为3.870 for ET，5.348 for TC，7.361 for WT。敏感性结果，对于识别真正阳性率至关重要，在0.859 for ET，0.895 for TC和0.904 for WT表现强健。最后，模型在所有肿瘤区域达到了近完美的特定性，强调了其在区分非肿瘤区域方面的可靠性。虽然无噪声的Fed-MUnet在大多数指标上表现略胜一筹，但与有噪声的Fed-MUnet相比，后者的性能差异凸显了在保护数据隐私的同时，不明显降低准确性的 robustness。
此外，作者还根据总参数数量、浮点操作（FLOPs）和平均推理时间评估了所提出框架的复杂性。如表格II 所示，作者的模型在这些指标上实现了均衡性能，同时显著提高了分割准确性。具体来说：
表格
作者提出的框架的性能在分割准确性方面具有竞争力，同时在参数数量、浮点操作（FLOPs）和平均推理时间方面表现出均衡性。
Fed-MUNet的计算复杂性（以FLOPs为单位，下同）为13.98亿，低于类似模型nnU-Net（59.53亿）和MultiCNN（91.01亿），这反映了其计算效率。此外，Fed-MUNet的推理时间0.186秒，相较于其他模型如UNETR（0.208秒）和MultiCNN（0.239秒）表现出较高的速度。值得注意的是，除了TransBTS和MultiFormer之外，作者的模型在参数数量、计算需求和推理时间方面达到了帕累托最优，同时实现了更高性能并解决了隐私问题。
这些结果表明，Fed-MUNet在联邦学习框架下的高精度脑肿瘤分割任务中，实现了参数数量、计算需求和推理时间的最佳平衡，使其成为一种合适的模式。
unset
unsetV Conclusion unset
unset
在这篇论文中，作者提出了一种名为Fed-MUNet的脑肿瘤分割方法，该方法可以从多模态MRI图像中进行脑肿瘤分割。所提出的M-Unet分割 Backbone 可以在FL设置中轻松部署，解决了医疗大数据中的隐私问题。
作者使用公开的BraTS2022数据集进行了实验，以证明作者算法的有效性。作者的框架Fed-MUNet在脑肿瘤分割方面获得了最高性能，同时保持了数据隐私，且所需参数较少，模型复杂度也较低。
在未来的工作中，作者将研究更复杂的多模态融合技术，以在不影响分割准确性前提下，更好地保护数据隐私。
此外，MRI数据集的模态异质性主要是指由于MRI成像过程中的不同参数、序列类型、设备制造商等因素带来的数据差异和多样性。作者将研究高级FL算法来应对MRI的模态异质性。
unset
unset参考unset
unset
[1].Fed-MUnet: Multi-modal Federated Unet for Brain Tumor Segmentation.
点击上方卡片，关注 「AI视界引擎」 公众号