点击下方卡片，关注
「AI视界引擎」
公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
通过CT扫描预测骨密度以估算T分数至关重要，相较于传统的X射线骨密度测试等方法，它能够更精确地评估骨骼健康，因为后者缺乏空间分辨率和检测局部变化的能力。然而，基于CT的预测面临两大挑战：
一是基于 Transformer 架构的高计算复杂度，这限制了其在便携式和临床环境中的应用；
二是现实世界医院数据的分布不平衡、长尾现象，这会导致预测偏差。
为了解决这些问题，作者提出了MedConv，这是一种用于骨密度预测的卷积模型，其计算需求低于 Transformer 模型，且性能更优。
作者还采用了Bal-CE损失函数和事后对数似然调整来改善类别平衡。在AustinSpine数据集上的大量实验表明，作者的方法在准确率上比现有最佳方法提高了高达21%，在ROC AUC上提高了20%。
代码将在 https://github.com/Richardqiyi/MedConv 上提供。
骨骼健康对活动能力、骨折预防及整体福祉至关重要，对于老龄化人群或骨质疏松症患者尤为重要。骨质疏松症是一种常见的骨骼疾病，它通过导致骨量低和微结构恶化来损害骨骼强度。这种疾病增加了低能量冲击引发脆性骨折的风险，通常影响脊柱、髋部和手腕等关键区域，显著降低了生活质量[1]。通过CT扫描预测骨密度，以估算T值，相比传统的X射线骨密度测试，提供了一种更精确、更详细的骨健康评估方法。传统的X射线骨密度测试空间分辨率较低，且检测局部骨变化的能力有限。基于CT的评估可以测量体积骨矿物质密度（BMD）并提供三维成像，从而对骨骼质量进行全面评估。研究表明，将深度学习模型应用于CT图像可以准确预测BMD和T值，从而增强对骨质疏松症的检测和管理[2]。
此外，定量计算机断层扫描（QCT）已被证明在诊断骨质疏松症和预测骨折方面优于双能X射线吸收测量法（DXA）[3]。这些进展突显了CT成像在提供关于骨骼健康的详细信息方面的潜力，超越了传统基于X射线的方法。近年来，在表示学习[4]和密集预测[5]-[12]方面，特别是在医学影像领域[13]-[18]的进展，显著提高了骨质疏松症检测的准确性和自动化。这些进步促进了早期诊断和及时干预，为更有效的个性化治疗和预防策略奠定了基础。
然而，从CT扫描中预测骨密度存在两个显著的挑战，这阻碍了高级深度学习模型的有效应用。首先，近年来由于在各个领域表现出色，基于transformer的架构在深度学习中得到了广泛应用，但它们的自注意力机制往往存在二次复杂度问题。这导致了巨大的计算需求，特别是在高分辨率的医学图像如CT扫描中，输入数据量可能非常大。这种资源密集型的需求使得这些模型在可携带或边缘设备上的部署效率低下，而现代医疗越来越需要这些设备，以实现点诊诊断的潜力。此外，计算负担也限制了它们在现实世界临床实践中的可行性，因为在实际应用中，快速处理和成本效益至关重要。其次，现实世界医院的医疗数据往往呈现出不平衡、长尾分布，严重偏向于更常见的骨质疏松症病例，而关于骨密度异常等较少见病症的样本则显著较少。这种数据不平衡给模型训练带来了相当大的挑战，因为标准机器学习算法往往优先考虑多数类别，导致在预测罕见病例时性能不佳。解决这一问题需要采用复杂的技术，如类别重平衡策略、数据增强或使用特定领域的损失函数，以确保模型能在所有病例范围内实现稳健和公平的预测。
为了解决这些问题，作者的论文提出了三个主要贡献：
- 作者提出了MedConv模型，这是一个鲁棒的模型，重新审视了在脊柱CT扫描中进行骨密度预测的卷积方法，其性能优于基于transformer的模型，同时降低了计算复杂度。
- 为了解决长尾预测挑战，作者对Bal-CE损失函数和后处理logit调整进行了定制，以改善类别平衡和准确度。
- 作者通过在AustinSpine数据集上进行的广泛实验评估了作者的方法，应用了各种预处理技术，与之前的最先进方法相比，准确度提高了21%，ROC AUC提高了20%。
近年来，通过深度学习技术预测骨矿物质密度（BMD）和评估骨折风险受到了越来越多的关注。Hsieh等人（2021年）[23]进行的一项显著研究引入了一种创新方法，该方法利用深度学习模型对平片放射学图像进行处理，以实现BMD的自动预测和骨折风险评估。他们的方法取得了极具前景的结果，髋骨骨质疏松症预测的AUPRC得分为0.89，脊柱骨质疏松症预测为0.83。此外，他们的模型在估计髋骨骨折风险方面展现了令人印象深刻的准确性，达到了91.7%。利用包含骨盆和腰椎X射线影像的大型数据集，这项研究强调了深度学习在应对骨质疏松症检测方面的潜力，尤其是在双能X射线吸收测量（DXA）尚未得到充分利用的情况下。
图2.（3D ResNet与2D ResNet架构在容积医学数据处理中的比较。上方的流程图展示了基于3D ResNet的MedConv模型，该模型利用三维卷积来捕捉容积CT扫描中的空间和上下文信息。引入Bal-CE损失进一步细化了模型对不平衡数据分布的关注，确保在L1椎体分割任务中预测的准确性。相反，下方的流程图展示了标准的2D ResNet方法，其中切片被独立处理，相邻切片之间没有空间连续性，这可能在需要容积上下文的任务中限制性能。此图突出了架构和方法上的差异，强调了3D ResNet在需要对医学图像进行结构和上下文理解的任务中的优势。）
在另一项重要贡献中，Yasaka等人（2020）[24]探讨了使用CT成像进行骨密度（BMD）预测的应用，他们采用了一种特别设计的卷积神经网络（CNN），用于从未增强的CT扫描中估算腰椎骨密度。他们的研究结果表明，CNN预测的骨密度值与通过DXA获得的值之间存在着强烈的关联，对于内部和外部验证数据集，分别实现了接收者操作特征曲线（ROC）下面积（AUC）得分0.965和0.970。这项研究为将CT成像作为DXA在骨密度预测中的有效替代奠定了基础，展示了基于CNN的模型在准确捕捉骨密度相关特征方面的能力。
基于这项研究，Dagan等人（2019）[25]开发了一种模型，旨在基于常规CT扫描预测骨折风险，尤其是在DXA（双能X射线吸收测定法）数据不可用的情况下。他们的基于CT的方法在排除BMD（骨密度）输入时，AUC得分和敏感性优于FRAX工具，表明CT扫描可以作为评估骨折风险的可靠资源。这种方法表明，CT成像可以有效弥补临床环境中DXA的利用率不足。
在另一项引人注目的研究中，Gonzalez等人（2018年）[26]提出了一种直接从图像到生物标志物的预测方法。他们通过使用深度学习回归模型，能够直接从CT扫描中预测骨密度（BMD）。他们的研究结果突出了单个卷积神经网络在同时分割相关解剖区域并高精度预测BMD值方面的有效性。这种简化方法为依赖单独分割和预测步骤的传统方法提供了一种高效的替代方案。
最后，方等人（2020）[27]展示了多检测器CT成像在机会性骨质疏松筛查中的潜力。通过结合U-Net进行椎骨分割和DenseNet-121进行骨密度（BMD）估算，他们的方法与定量计算机断层扫描（QCT）基准取得了强相关性。这个完全自动化的流程展示了将CT衍生的BMD分析整合到常规临床实践中的可行性，以进行机会性筛查。他们的研究突出了深度学习如何促进在多样化的医疗环境中以经济高效和自动化的方式检测骨质疏松。
长尾分布，其特征是少数几个主导类别和大量代表性不足的类别，在分类任务中带来了重大挑战。这些挑战源于数据分布的不平衡，可能导致模型预测偏向多数类别，而忽视少数类别。解决这一问题的两种广泛采用的方法是重采样方法和平衡增强（BalAug），它们都旨在通过调整训练过程来减轻数据不平衡的影响。
重采样方法涉及对训练数据集中类别分布的调整。过采样技术，如随机复制或合成少数类过采样技术（SMOTE），通过增加少数类别的代表性，使模型对这些代表性不足的类别有更多的接触。然而，这些方法由于重复接触相同的数据点，可能会导致对少数类别的过拟合。另一方面，欠采样方法通过减少多数类别的样本数量来平衡数据集，但正如[28]所指出的，这可能会导致从多数类别中丢失有价值的信息。因此，虽然重采样方法简单且通常有效，但它们需要谨慎调整以避免引入新的挑战。
平衡增强（BalAug）通过将数据增强技术与类别平衡相结合，提供了一种替代方案。诸如旋转、裁剪、翻转以及其他变换等增强策略，会选择性应用于少数类别，从而增强了这些代表性不足类别的训练数据多样性。例如，文献[29]引入了一种类别平衡损失，该损失根据样本的有效数量动态地调整权重，确保模型能够公平地从所有类别中学习。此外，文献[30]中提出的结合了增强的类别感知采样等高级技术，通过对采样概率的精心平衡和引入多样化的变换，在长尾数据集上展示了改进的性能。这些方法不仅丰富了训练数据，还帮助模型更好地泛化到未见过的数据。
除了以数据为中心的策略外，训练优化方法已成为解决长尾分布的有力工具。Foret等人（2020年）[31]提出了Sharpness-Aware Minimization（SAM），这是一种旨在通过同时最小化损失值和损失景观的尖锐度来提高模型泛化能力的新型优化方法。SAM识别出具有持续低损失的参数区域，有效缓解了过拟合问题，并提升了模型的泛化能力，特别是在过参数化的模型中。通过对CIFAR[32]和ImageNet[33]等基准数据集的严格评估，SAM展示了卓越的性能，尤其在对抗标签噪声和训练稳定性方面表现出色，因此它成为了长尾数据集技术宝库中的一项宝贵补充。
基于这些想法，Fang等人（2023）[34]提出了一种无需调度优化的框架，通过用动量驱动的原点平均法取代传统的学习率调度来处理长尾分布。他们的方法动态平衡梯度更新，避免了在数据不均衡数据集中常见的梯度崩塌现象。这种方法通过结合鲁棒的收敛特性和高效的泛化能力，在包括CIFAR-10和ImageNet在内的各种任务中实现了最先进的结果。通过减少对大量超参数调整的依赖，这种方法为在长尾数据上训练提供了实用的解决方案。
总之，解决长尾分布带来的挑战通常需要结合数据层面和训练层面的策略。数据层面的方法，如重采样和平衡增强，旨在纠正数据集中的不平衡，确保所有类别在训练过程中都能得到充分代表。训练层面的技术，如SAM和无计划优化，专注于通过优化训练过程本身来提高模型的泛化能力。当这些方法有效结合时，它们可以相互补充，利用数据干预和训练干预的双重优势，在长尾数据集上实现稳健且无偏的性能。
本文旨在对人工智能（AI）领域的研究现状、发展趋势以及未来前景进行综述。通过对现有文献的梳理和分析，本文探讨了AI技术的核心概念、关键技术以及在不同领域的应用情况。同时，本文也指出了当前AI研究面临的挑战和机遇，并对未来AI技术的发展方向进行了展望。
作者提出的模型建立在3D ResNet-50 Backbone 网络上，该网络因其能够捕捉体量医学数据中嵌入的空间和上下文信息而备受青睐。与传统的独立处理单个图像切片的2D卷积神经网络（CNNs）不同，这忽略了深度信息，3D ResNet-50采用了三维卷积操作。这种设计使得模型能够有效地编码CT扫描等体量数据集中的空间连续性，这对于准确预测骨密度是一个关键因素。
该架构利用残差连接来应对梯度消失问题，从而在保持表征效率的同时，促进了深度网络的训练。此外，3D ResNet50中的 Bottleneck 结构在降低计算负担的同时，并未损害其模拟高分辨率医学图像中固有复杂模式的能力。
尽管基于transformer的架构在捕捉长距离依赖关系和全局上下文特征方面表现出色，但它们的计算复杂度随着输入大小的增加而呈平方增长。这一限制在资源受限的环境中处理高分辨率体积数据时提出了重大挑战。相比之下，3D ResNet-50在计算效率和表示能力之间实现了有效的平衡，使其成为临床应用的实用且可扩展的选择。
这一 Backbone 构成了作者模型的基础，提供了一个平衡准确性和效率的框架，用于分析体量医学数据。其整合三维空间信息的能力确保了稳健的性能，尤其是在需要详细了解结构的工作中，如骨密度预测。
为了解决骨密度预测中固有的类别不平衡问题，作者采用了平衡交叉熵（Bal-CE）损失函数。医学影像数据集通常表现出长尾分布，其中代表性不足的类别对于诊断至关重要。Bal-CE损失函数通过在训练过程中分配类别特定的权重
，旨在强调这些少数类别。其公式如下：
和
分别代表真实标签和预测概率。权重
根据每个类别的逆频率动态计算，以确保对少数类别的重视程度更高。这种有针对性的调整有助于模型避免对多数类别的偏差，从而实现更加平衡和可靠的预测。
为了进一步提高模型校准并细化类别概率，作者引入了一种事后对数几率调整技术。该方法对对数几率应用温度缩放，微调多数和少数类别的相对贡献。调整后的概率计算如下：
和
分别表示类别
和
的logits。温度参数
和
是根据经验选择的，以实现有效的平衡。
的较低值放大了少数类别logits的影响，而
则保持了多数类别的贡献。这种机制通过 Reshape 概率分布来减轻类别不平衡的影响，使模型能够产生准确度较高的预测。
结合Bal-CE损失函数和logit调整策略，确保作者的模型在从不平衡数据集中学习的同时，在临床场景中保持鲁棒性。这些方法共同应对了不均匀类别分布带来的挑战，并提高了系统在骨密度预测任务中的可靠性。
奥斯汀脊柱数据集是一个临床精选的脊柱CT扫描集合，包含389位患者的成像数据，这些数据是在完全遵循伦理批准的情况下获取的。每个扫描的骨密度均使用T值进行量化，T值是一种广泛用于评估骨骼健康的标准化指标。为确保标注的可靠性和一致性，每个T值都至少由两位资深放射科医生进行了详细审查，这显著提升了数据集的评分者间可靠性。根据世界卫生组织（WHO）关于骨矿物质密度（BMD）的标准[35]，T值被分为三个不同的类别，具体分类详见表1。数据集的分布，如图4所示，呈现出明显的长尾模式，突出了正常病例相对于其他分类的普遍性。这个临床丰富的数据集为开发与验证自动骨密度预测模型提供了强大且可靠的资源，特别是在需要精确且一致标注的真实世界临床环境中。
表1 世界卫生组织（WHO）对骨质疏松症患者分类标准（BMD）[35]。
B.评估矩阵
为了进行公平的比较，作者使用准确率和ROC AUC得分，对每种方法在测试集上的整体分类性能进行了评估。此外，作者还评估了灵敏度和特异性，以了解每个模型在处理长尾AustinSpine数据集中的少数和多数类别时的有效性。
作者的实验基于CT分割技术，采用了两种主流的分割算法：CTSpine1K[19]和TotalSegmentator[20]。CTSpine1K是一个包含1005个扫描、超过11,100个标注椎体的大规模脊柱CT数据集，旨在推进脊柱相关图像分析任务的研究。TotalSegmentator是一种深度学习分割模型，能够自动分割CT图像中的104个主要解剖结构，包括器官[36]、骨骼、肌肉和血管，具有鲁棒性和高精度。
作者使用这些算法对腰椎L1椎体进行分割作为输入。L1椎体位于腰椎顶部，作为关键的承重结构，支撑上身的重量，同时允许灵活性和运动。它在胸椎和下腰椎之间的位置对于结构稳定性和活动性都至关重要。此外，L1椎体的骨矿物质密度（BMD）在评估整体骨骼健康方面起着至关重要的作用，它是诊断骨质疏松症和评估骨折风险的关键指标[37]。
通过对比实验，作者发现基于TotalSegmentator的分割结果在整体性能上始终优于CTSpinelK实现的分割结果。因此，作者选择了TotalSegmentator的分割输出作为MedConv的输入。
在这项比较实验中，作者根据性能指标对各种模型进行了评估，包括准确率、灵敏度、特异性、F1分数和ROC AUC。所有模型均使用TotalSegmentator的分割输出进行测试，这些输出因在作者的初步消融研究中表现出色而被选中。
研究结果表明，作者提出的MedConv模型实现了最高的准确率，达到了65.38%，超过了其他模型，例如resnet50.a1在1k
预训练+平衡的准确率为64.10%，以及resnet34.a1在1k+预训练的准确率，为58.97%。这证明了MedConv在处理复杂医学影像数据方面的有效性。
在敏感度和特异性方面，MedConv模型表现出卓越的结果，分别达到65.38和82.69。这些指标突显了MedConv在准确识别阳性案例的同时，最大限度地减少误报的能力。相比之下，次高敏感度由resnet50.al在1k+预训练+平衡下的64.10分实现，这强调了MedConv在更精确地区分真实阳性和真实阴性方面的优越能力。
MedConv的F1分数为66.37，进一步证明了其在平衡精确度和召回率方面的稳健性。这一指标在医疗应用中尤为重要，因为假阳性和假阴性都可能对诊断可靠性产生重大影响。在这方面，MedConv的表现超越了其他许多模型，进一步证明了其在需要精确预测的高风险场景中的适用性。
MedConv的ROC AUC值为79.34，反映了它在各种分类阈值下的整体性能。这一指标对于临床应用至关重要，因为在临床决策中，通常需要评估模型在不同阈值下的行为。MedConv的高ROC AUC分数凸显了其在实际医疗应用中的可靠性和有效性。
为确保实验结果的稳健性，作者使用与之前相同的模型，但用CTspine1K生成的分割输出代替了TotalSegmentator。CTspine1K是一款专门用于脊柱成像的分割工具，作为备选的分割来源。然而，如表2所示，与使用TotalSegmentator的模型相比，使用CTspine1K输出的模型表现一直不佳。包括准确率、灵敏度、特异度、F1分数和ROC AUC在内的关键指标在所有模型中都出现了显著下降。值得注意的是，结果表明，TotalSegmentator提供的优质且全面的分割对于实现卓越的模型性能至关重要。此外，当使用TotalSegmentator输出时，随着模型参数数量的增加，模型性能要么提高要么保持稳定。这一趋势突显了TotalSegmentator提供信息的丰富性，这有助于更有效地利用复杂的模型架构。基于这些发现，作者选择了TotalSegmentator作为所有后续实验的默认分割输入源，以确保一致性和优化模型的潜力。
总结来说，这些结果证明了MedConv模型不仅优于其他测试过的替代方案，而且在医学图像任务模型架构上也取得了重大进步。通过利用TotalSegmentator输出的高质量分割结果，MedConv展现了卓越的准确性、灵敏度、特异性和整体鲁棒性。这些发现强调了MedConv在提高诊断准确性和改善患者预后方面的潜力，使其成为临床和医学研究应用的极具潜力的工具。
本节通过三个独立实验对所提出的方法进行了全面分析。第一个实验专注于验证BalCE损失在不同 Backbone 架构中的有效性，突出了其在解决类别不平衡和提升整体性能中的作用。第二个实验研究了超参数
对关键性能指标的影响，该超参数平衡了正样本和负样本对损失的贡献。该分析旨在确定
的最佳值，以实现稳定和鲁棒的性能。最后，第三个实验评估了模型对超参数
变化的敏感性，
在MedConv框架中充当一个临时加权参数。这些实验共同强调了所提出方法在解决医学图像中类别不平衡相关挑战时的鲁棒性、适应性和微调灵活性。
表4 消融研究：不同主干网络上的BalCE损失比较
- BalCE损失对不同主干网络的影响：将BalCE损失整合到不同主干网络的结果总结于表4。观察到在大多数架构中，性能均有所提升，准确率、敏感度和F1分数均取得了显著提升。值得注意的是，ResNet50表现最为突出，其准确率提高了6.41%，F1分数提高了9.25%。这些发现突显了BalCE损失在解决数据不平衡问题上的有效性，尤其是在具有挑战性的医学影像场景中。然而，在ResNet34中观察到轻微的性能下降，这可能是由于过拟合或主干网络与损失函数不兼容所导致的。
表5展示了不同
超参数设置下的消融研究及其对模型性能指标的影响。
2）
对模型性能的影响：在
的默认条件下进行的消融研究表明，当
时，模型能达到最佳性能。这种设置有效地平衡了损失函数，解决了类别不平衡带来的挑战，并增强了模型的鲁棒性。分析证实，
是实现性能指标之间稳定权衡的最佳选择，为后续探索提供了强有力的基础。
随后，进一步的研究对
进行了调整，同时将
固定在其最佳值，从而更全面地评估所提出的方法。
- 对模型性能的影响：作者进一步评估了调整超参数
对模型性能的影响。该实验利用由 TotalSegmentator 生成的分割作为输入，探究关键性能指标对
变化的敏感性。表6 展示了不同
超参数设置及其对模型性能指标的影响消融研究。
图6. 展示不同
设置对模型性能指标影响的消融研究。每条线代表一个独立的指标：准确率、灵敏度、特异性、F1分数和AUC。
如表6和图6所示，模型在
值介于1.0和0.7之间时保持稳定性能，准确率、敏感度和特异性均保持在约64.10%。在
和
时观察到显著提升，准确率上升至65.38%，F1分数达到66.37%。这表明适中的
值能够有效平衡精度和召回率。
当
进一步降低时，性能开始下降。在
时，准确率降至
，敏感性和特异性也随之降低。这些发现强调了调整
以达到最佳结果的重要性，突出了其在提升模型鲁棒性和泛化能力中的作用。
在这项研究中，作者介绍了MedConv，这是一种针对通过CT扫描进行骨密度预测而设计的卷积神经网络。
MedConv在准确度、敏感度和特异性方面优于基于transformer的方法，同时保持了显著更低的计算成本。通过采用3D ResNet-50作为 Backbone 网络，该模型能够有效捕捉体积空间信息，这对于精确评估骨骼健康至关重要。这一能力使得MedConv相较于transformer模型，更适合在临床和资源受限的环境中实际应用。
为了解决现实世界医学图像中不平衡和长尾数据集的固有挑战，作者采用了平衡交叉熵（Bal-CE）损失函数，并结合了事后logit调整技术。这些策略在分类准确性和模型校准方面展示了稳健的改进，这在作者在AustinSpine数据集上的实验性能提升中得到了证实。具体来说，MedConv相较于先前最先进的方法，在分类准确率上提高了21%，在ROC AUC上增加了20%，从而巩固了其在该领域作为基准的地位。
消融实验进一步强调了超参数调优在优化模型性能中的重要性。对于对数几率调整超参数
，结果表明，
的最佳设置在各种性能指标上提供了平衡的权衡，实现了最高的准确率和F1分数。同样，对
的临时分析揭示，适中的值，特别是
能够带来显著的性能提升。在
时，模型表现出了增强的鲁棒性和泛化能力，准确率提升至65.38%，F1分数达到66.37%。这表明
在调节少数类和多数类的相对贡献中发挥着关键作用，从而提升了整体性能。
此外，该研究强调了高质量分割工具如TotalSegmentator的重要性，它在提升MedConv整体性能中发挥了关键作用。TotalSegmentator的分割输出提供了更优的输入质量，使MedConv能够更好地利用体积空间信息，从而实现更准确的预测。
MedConv在平衡计算效率和预测性能方面的成功，突显了它在临床环境中的广泛应用潜力，在这些环境中，及时准确的诊断至关重要。未来的工作可能将MedConv扩展到其他成像方式和临床任务，以及进一步优化其架构，以增强其在不同医疗环境中的通用性和可扩展性。通过弥合先进深度学习技术与实际部署之间的差距，MedConv为在抗击骨质疏松症和其他骨骼健康问题中提高诊断工具奠定了有希望的基石。
参考
[1]. MedConv: Convolutions Beat Transformers on Long-Tailed Bone Density Prediction .
点击上方卡片，关注
「AI视界引擎」
公众号