点击下方卡片，关注 「AI视界引擎」 公众号
( 添加时备注：方向+学校/公司+昵称/姓名 )
这篇文章描述了一种名为U-Net增强小波神经算子（U-WNO）的新颖方法，该方法结合了小波分解、算子学习和编码器-解码器机制。
这种方法利用了小波在时间频率局部化方面的优势，并结合下采样和上采样操作生成分割图，以实现空间域中模式的准确跟踪和有效学习函数映射以进行区域分割。
通过在理论和实际应用之间架起桥梁，U-WNO在多个科学和工业领域具有巨大的影响潜力，有助于更精确的决策和提高运营效率。
算子被应用于不同孕期的三个阶段，并利用二维超声图像进行演示。
1 Introduction
近年来，深度学习和计算机视觉领域取得了显著的进步，彻底改变了机器处理视觉信息的方式。神经网络的发展标志着这一演化的早期阶段，为图像识别和分类提供了基础模型。这些模型的不断优化已经导致了能够以显著准确性处理复杂视觉输入的更复杂架构的创建。
这篇文章介绍了一种名为U-Net增强小波神经算子（U-WNO）的新模型。该模型结合了算子学习、卷积神经网络（ConvNet）和编码器-解码器机制。算子学习主要关注学习将一个函数映射到另一个函数的算子的映射函数。
值得关注的神经算子包括Wavelet神经算子（WNO）（Tripura和Chakraborty，2022年）、Fourier神经算子（FNO）（Li等人，2021年；Wen等人，2022年）等，这些算子旨在高效逼近复杂函数，尤其是在求解偏微分方程（PDEs）方面。FNO将傅里叶变换与神经网络架构相结合，以处理频域数据，使其能够比传统方法更有效地捕捉全局模式和交互。通过作用于数据的频率分量，FNO可以学习和逼近将输入映射到输出的运算符，实现高精度和低计算成本。
WNO结合了小波变换原理和神经网络架构，以高效学习和逼近复杂函数，尤其是在求解偏微分方程（PDEs）和其他数学问题的背景下。小波变换将数据分解为不同频率分量，有助于在不同尺度上捕获数据的局部和全局特征。当与神经网络相结合时，这种方法使模型更有效地处理多尺度和多分辨率数据。该神经网络使用基于小波的表示来学习将输入映射到输出的底层运算符，从而增强其高精度建模和预测复杂系统的能力。
最近的研究（Tripura和Chakraborty，2022年）表明，与FNO相比，WNO在空间域中表现出优越性能，因为它提供了一种多分辨率分析，能够同时捕获频率和空间定位，而FNO将信号分解为全局频率分量，这可能在捕捉图像中的细粒度信息方面并不如WNO有效。
本文详细阐述了U-WNO的发展过程。它将运算学习与小波分解相结合，提取出父波和小波以理解幅度和频率值相关的特征和系数，使用卷积神经网络进行特征转换而不会改变原始形状，最后，使用U-Net生成分割图。
超声成像（Wells，2006）是一种常用的医学成像技术，主要用于诊断、筛查和治疗各种疾病。它特别受到欢迎，因为其便携性、可负担性和非侵入性特点。此外，它通常被认为是监测孕期胎儿发育的最佳方法。对于没有出现任何症状的孕妇进行多个妊娠期的超声检查，以评估和识别胎儿解剖结构、胎儿异常（Dias等人，2014）、孕周、胎儿生长、致命表现、可能的多个妊娠、胎盘位置和宫颈不充分。
胎儿超声检查在孕期保健中至关重要，因为它能为作者提供有关胎儿健康和发展的关键信息，使作者能够早期发现先天性异常，准确评估胎儿的生长情况，并监测胎盘和羊水的健康状况。它还能确定孕周，指导孕期干预措施和程序，通过可视化胎儿并确认正常发育来安抚期待出生的父母。这种非侵入性成像技术不仅有助于及时进行医学干预和分娩准备，而且通过及早识别潜在问题，确保母亲和婴儿的健康，从而提高了长期结果。
人工智能（AI）在胎儿超声检查中的应用对于母婴护理具有革命性的意义，它提供了增强的准确性和效率，以解释复杂的影像数据。特别是结合机器学习和计算机视觉的算法，使得通过分析超声图像实现自动化分割、异常检测和生长评估成为可能。这有助于早期诊断胎儿状况，提高测量的一致性，并支持实时监测胎儿健康，从而减少人为错误，提高临床决策效果。AI驱动的见解可以带来更个性化的护理，及时的干预措施，最终使胎儿和母亲的预后更好。
图像分割（Sobhaninia等人，2019年）在胎儿超声检查中至关重要，因为它可以精确地识别和分析不同的解剖结构区域，如胎儿 Head 、器官和胎盘，从而提高诊断和监测的准确性。
所开发的这项技术，以二维超声图像中胎儿 Head 语义分割为例进行说明。操作者针对特定问题进行了优化，并使用Dice分数作为主要评价指标。在胎儿 Head 分割中实现U-WNO不仅测试了模型在该领域的性能，还表明在预期母亲进行超声成像程序之前，实施此类辅助工具将具有极大的益处。在没有实际患者和教师的情况下，学生可以进行模拟实践，获取知识，并提高他们的超声成像性能和解释能力至一定程度。第2节提供了数据集的全面描述，第3节解释了模型架构，第4节详细分析了获得的结果，第5节给出了结论，并提出了进一步研究的潜在方向。
2 Dataset
2D - USG数据集被用作U-WNO的主要训练数据集。图像数据集包含来自HC18挑战1的超声图像。每张图像都被重新缩放到128*128像素的大小，并以PNG格式存储。该数据集包括不同孕期的二维超声扫描，横跨不同的三个孕段。数据集中大约有976张图像及其对应的 Mask ，这些图像都被转换为填充 Mask ，其中胎儿 Head 被指定为目标标签，如图1所示。模型在包含约325张相同格式的测试集上进行推理。这有助于模型训练、超参数调优和无偏评估。每个子集都保持平衡的表示，以防止学习过程中的任何偏见，并确保在不同场景下具有泛化能力。
3 Model Architecture
这一节详细介绍了U-WNO的架构，并逐步解释了U-WNO的发展和集成过程。U-WNO将基于小波的特征提取、卷积神经网络（ConvNet）和U-Net融合到一个统一的架构中。本节的前部分讨论了小波神经算子（WNO）（Tripura和Chakraborty，2022），然后详细解释了每个子模块如何集成到完整模型中。得到的算子对于区域分割任务特别有效，这一点在后续步骤中得到了说明。
WNO框架通过利用小波变换来捕捉空间和时间数据中的复杂、多尺度模式，从而增强了神经算子的概念。在波段域内操作，可以实现不同分辨率的自适应表示。在WNO中，核函数充当波段域中的卷积算子，在不同尺度上实现高效、局部化的学习。从数学上讲，这可以通过核函数在波段变换系数上的应用来表示：
在小波变换中，表示小波变换，表示其逆变换。这种方法使得WNO可以在小波空间中进行参数化，通过避免在物理空间中直接进行卷积，从而确保计算效率。
选择Daubechies 4（db4）作为主要小波基因为，在时间和频率局部化之间取得了平衡，使操作员能够捕捉到复杂、局部化的模式，而无需冗余。尽管像Haar或更平滑的Symlet这样的简单小波或像db4这样的复杂小波都可以使用，但对于具有鲜明梯度和多尺度特征的数据，db4特别有效。小波变换中的缩放参数和移位参数使WNO能够适应不同数据频率和结构，小波函数定义为：
此外，定义了可接受常数C_{\psi}：
确保小波在不同的尺度上提供稳定的无损数据表示起着至关重要的作用。
WNO的优点在于其能够高效处理多分辨率数据，使其非常适合诸如天气预报、流体动力学中的湍流建模以及实时生物医学图像分析等应用。通过学习多分辨率数据，WNO能够捕捉大规模模式和局部现象，从而提高模型的鲁棒性和可解释性，这与直接在物理空间工作的传统卷积神经网络操作形成对比。WNO使用小波变换，使其能够专注于具有高细节信息的重点区域，同时减少同质特征区域的冗余计算。结合小波基核参数化，这种独特的处理方式使其成为解决科学领域广泛复杂问题的高效工具。
父亲和母亲小波能够通过利用频率和幅度值的变化从超声图像中提取特征和系数。这些特征和权重被用来得到基于上述过程的变换近似。提取的系数随后被修改并经过逆小波变换，以产生最终的二维空间域输出。随后，卷积层被用作操作符的第二部分，以变换原始图像的特征，而无需改变其形状。
最后，作者开发了第三个子模块U-Net。编码器，即收缩路径，逐步减小输入图像的空间维度，同时增加特征通道的数量。这是通过一系列卷积层和最大池化操作实现的。编码器中的每个块通常包括两个卷积层， followed by a ReLU激活函数和最大池化操作。解码器，即扩展路径，恢复输入图像的空间维度，同时减少特征通道的数量。它涉及上采样特征图，然后是卷积层。解码器中的每个块包括上采样操作，与编码器中相应特征图的连接，以及卷积层。最后，1x1卷积层将解码器的多通道特征图映射到分割所需的类别数量，生成输出分割图。
最后，作者将三个子模块用相同的输入图像进行拼接：小波分解()、卷积神经网络()以及由U-Net生成的分割图()，然后通过图2中的过程得到最终输出。
这一操作之后是使用ReLU作为主要激活函数和Adam作为优化器的全卷积层。Adam中的动量项在整个过程中提高了收敛速度。
4 Results
本文部分介绍了模型 Pipeline 的完整结果，包括使用的指标及其各自值。该模型在500个周期内进行了训练，批量大小为8，受GPU限制，图像尺寸保持相对较小。为了评估模型的性能，作者使用Dice Score（DS）作为主要指标。在此背景下，每个像素被分类为物体（前景）或背景。Dice得分基于True Positives（TP）、False Positives（FP）和False Negatives（FN）进行计算：
在哪里：
TP（True Positives）表示正确预测的阳性像素数量。
FP（错误阳性）是预测为阳性的像素数量错误。
FN（False Negatives）是指未被正确预测为阳性的正像素数量。
这是一篇经过修改和完善，具有增强的语法、结构和可读性的版本：
作者实现了最大DS约为0.65，这意味着将小波神经算子（WNO）与U-Net作为统一算子进行集成，在分割任务上可以获得强大的性能。这一结果在克服了包括由于计算约束导致将图像缩放到较小尺寸以及处理数据中的大量噪声等挑战后尤为突出。相对较高的DS值突显了作者的方法在管理这些限制方面的稳健性。
图3展示了在测试集上应用U-WNO后生成的代表性样本。这些可视化结果强调了模型在噪声背景和减小图像尺寸的情况下，能够识别出复杂模式的能力。
这些发现的意义重大，表明U-WNO可能成为一种在本文研究之外具有价值的工具。它在困难条件下有效分割图像的能力为将其应用到多个领域打开了道路。未来的工作可以关注进一步优化模型和探索其对不同数据类型的适应性，从而提高其实用性。
为了支持验证和可重复性，本研究中使用的完整代码仓库和数据集已在此处提供2。在稿件审查流程完成后，将授权访问该仓库。作者鼓励其他研究行人探索该仓库，以促进该领域的持续发展。
5 Conclusion and Future Scope
U-WNO的发展代表了图像分割的重大进步。U-WNO的一个关键优势在于其使用小波分解，这使得超声图像能够进行多分辨率分析。这种能力使得模型能够将图像分解为各种频率分量，从而隔离出传统方法可能遗漏的关键特征。这种多尺度方法在超声成像中尤其有价值，因为数据质量往往因噪声或低对比度而变化。通过结合小波分解，U-WNO能够提高在复杂场景如怀孕扫描中感兴趣区域的可靠检测。
U-Net 通过其成熟的编码器-解码器结构进行分割，有效地结合了降采样和升采样操作。这种架构使得模型在降采样过程中能够保留关键的空间信息，同时在升采样过程中能够精确地重构分割图像。将运算器学习与基于小波的定位和 U-Net 相结合，使得分割输出更加精细。
U-WNO在超声成像中的应用将对临床实践产生巨大影响。该模型在常规扫描过程中准确跟踪和 Token 关键解剖特征的能力，可以帮助医护行人监测胎儿发育和识别潜在并发症，其中精确度对于母婴健康至关重要。在经过全面测试后，U-WNO的部署有可能减少人为错误，提高临床设置中超声程序的效率。
精确分割也作为一种有益的教育工具，教导医护行人解释超声图像，尤其是在具有挑战性的案例，如晚期妊娠。U-WNO可以通过帮助学员更自信地导航复杂图像和识别感兴趣区域来支持培训教育。这种双重功能——既满足临床需求，又满足教育需求——突显了U-WNO在医疗和其他领域的多样性和适用性。
总之，U-WNO是一种强大的工具，可提高图像分割的准确性和效率。通过将小波分解、运算符学习与U-Net架构相结合，它能够在复杂成像场景中精确可靠地跟踪感兴趣区域。随着AI的不断发展，像U-WNO这样的模型展示了先进的计算技术如何应对现实世界中的挑战。
操作符的设计特别值得注意，因为它能够管理无限维特征向量空间，这是计算机视觉中的一个具有挑战性的方面。通过利用小波的多分辨率能力，U-WNO算子能够处理不同 Level 的图像细节。将小波分解与深度学习技术相结合，可以增强特征提取和表示。
[0]. U-WNO:U-Net enhanced Wavelet Neural Operator for fetal head segmentation.
点击上方卡片，关注 「AI视界引擎」 公众号