备注好友：
方向-学校/公司-姓名/昵称
【AIGC 先锋科技】交流群
通用视觉语言模型（VLMs）在计算机视觉领域取得了显著进展，但在医疗等专业化领域，专家知识至关重要。在传统计算机视觉任务中，创造性或近似答案可能可以接受，但在医疗领域，精确度至关重要。当前的大型多模态模型（如Gemini和GPT-4o）由于依赖于记忆的互联网知识而不是医疗领域所需的细微专业知识，对于医疗任务来说是不够的。
同时，现有的医学VLMs（如Med-Gemini）在设计中通常缺乏专家咨询，而且许多依赖于过时、静态的数据集，这些数据集没有考虑到现代大型深度学习模型的需求。
VLMs通常分为三个阶段：视觉预训练、视觉语言预训练和指令微调（IFT）。IFT通常使用通用和医疗数据混合进行应用。
然而，作者提出，对于医学VLMs，第四个阶段的专业化IFT是必要的，它专注于医疗数据，包括来自域专家模型的信息。开发用于医疗目的的域专家模型至关重要，因为它们专门针对某些临床任务进行训练，例如通过分割和分类来检测肿瘤和分类异常，这些异常的特征往往对于通用VLMs来说过于复杂。
本文介绍了一种新的医学VLMs框架，即VILA-M3，该框架通过域知识通过专家模型来实现。开发用于医疗目的的域专家模型用于检测肿瘤和分类异常（分割，分类），这些模型学习与通用VLMs可以处理的大粒度特征相比的细粒度特征。
作者认为，仅依赖通用VLMs架构在实际临床应用中是不可行的，并且对于医疗领域，需要根据需要使用域专业专家模型的知识来推进AI。通过作者的实验，作者展示了相对于先前的SOTA模型Med-Gemini的平均改进约为9%，相对于专门任务的模型训练的平均改进约为6%。
作者的方法强调在创建精确、可靠的医学VLMs方面，域专业知识的重要性。
1 Introduction
大型语言模型（LLMs）是人工智能领域的前沿。最近的研究[28, 32]使得LLM能够支持视觉输入，从而扩展其在许多视觉应用中的使用，将它们转化为视觉语言模型（VLM）。虽然为计算机视觉应用而开发的基础VLMs在各种通用任务上取得了显著的成功，但它们在医疗任务上所需的精准度方面仍存在问题[5, 37, 47]。在通用任务上训练的VLMs通常缺乏解释放射学图像所需的专业医学领域知识[5, 15, 39]。没有特定医学培训的VLMs也经常遗漏对医疗诊断至关重要的细微视觉细节。
例如，最近的一项关于乳腺成像的研究[9]表明，类似于GPT-4o（OpenAI）的通用模型并不适合医疗用途。与此同时，有一些专门针对医疗领域的VLMs，如Med-Gemini（约1.5万亿参数）[58]，这些VLMs在设计时没有考虑专家模型信息，可能忽视了更精细的视觉特征。当前的VLMs非常适合将粗糙或主导的视觉特征与语言相连接。然而，它们往往无法识别出更精细的视觉细节（图3）。这些缺陷有多个原因。主要原因是医学视觉语言任务所需的全面且具有临床相关性的公共数据集有限。大多数医学影像公共数据集是为了解决特定窄AI任务（如分类、回归和分割）而发布的[29]。与此同时，包含自然语言的医疗数据集仅针对特定任务，如视觉问答（VQA）和报告生成，并未涵盖临床相关任务的广度。
多年来，医学影像已经成功地应用了专门窄AI，解决了特定的医学影像任务，如语义分割。这些“专家模型”已经纳入临床工作流程，如术前规划、患者分诊等。许多已经获得了监管批准（例如FDA），因此将现有专家模型的“知识”集成到VLMs的决策和生成过程中，特别是在医疗保健领域，应该会显著提高在临床相关任务上的整体表现。
在本研究中，作者提出了一种新的VLM框架 VILA-M3 ，该框架针对通用VLMs在医学领域的独特挑战，通过结合现有分割和分类模型的领域专家知识。作者在几个医学成像基准测试上评估作者的方法，并显示出相对于最先进技术（SOTA）的显著改进，如图1所示。
Key challenges
接下来，作者概括一下VILA-M3旨在解决的关键挑战。
现有医学数据集的局限性：用于模型训练和评估的公开医学数据集大多数是静态的，不适合用于大规模的 Transformer （VLMs）的训练。这些数据集最初是为早期的机器学习方法设计的，它们并不能反映现代深度学习模型（如VLMs）所需的复杂性。这一需求催生了一些新的数据集，如。在医学领域，专家验证的需求和医疗数据的不断演变使得静态数据集无法满足精确模型评估的需求。在本工作中，作者提出了需要更多动态和适应性方法的需求，并表明按需使用领域专家模型可以提高模型性能。数据集限制是作者需要并利用专家模型信息的主要原因。尽管大型模型（如GPT-4o）被建议作为医学模型性能评估的潜在工具，但它们依赖于记忆信息，使其在精确度关键的任务中不可靠[5, 15]。
将通用视觉-语言数据与医疗数据相结合：虽然医疗特定数据集很有价值，但它们并不足以完全训练需要语言理解能力的模型。为了克服这个挑战，作者采用了四阶段训练范式：预训练视觉编码器，预训练VLM，指令微调（IFT）以及与领域专家信息相结合的IFT。IFT的两个阶段确保了模型可以在不牺牲在医疗基准测试上的性能的同时，保留其语言能力。这种方法不仅提高了它们的整体性能，而且还解决了由医疗语言及其精确要求所特有的独特挑战。
Contributions
受上述挑战的驱动，作者提出了以下关于作者工作的关键贡献：
强调将专家知识整合到医学VLMs中以提高精确度。
_综合能力_：VILA-M3是首个能够在一个框架中解决分割、分类、报告生成和VQA任务的医学VLM。
专家引导的微调：作者通过在构建好的VLM训练方案之上引入专家引导的IFT训练来保持VLMs的语言能力。
混合2D/3D信息融合：作者提出了与2D和3D专家模型的有效集成，实现了提供相关3D空间信息的域专家模型与仅接受2D输入的VLMs的混合融合。
开源模块：作者为医疗VLM中的数据准备、训练和模型评估提供了一个开源模块。
2 Related Work
视觉语言模型在医学中的应用： 视觉问答任务是第一种将文本和图像直接结合在单个任务中的[3]。后来，它们扩展到FLAN风格的视觉指令调优任务[52, 56]。基于 Transformer 的通用大型多模态模型，如GPT-4 [1]和Gemini [46]，在构建结合文本和视觉数据集的智能对话助手方面具有巨大的潜力[49]。当应用于生物医学领域时，这些模型在理解基本概念方面具有前景。然而，处理具有高准确性和细粒度的复杂领域特定任务仍然具有挑战性和要求[28, 37, 42, 58]。预训练和指令调优对于对齐跨模态表示并增强推理能力至关重要[32, 58]。
同时，针对医疗领域的不同方面，已经出现了多种针对大型VLMs的方法。Med-Gemini [58]具有1.5万亿参数模型，包括非视觉任务如基因组学和医学考试。LaVa-Med [28]基于流行的LaVa架构 [34]，专注于使用学术医学数据集，而Med-Flamingo [37]是Flamingo [2]的扩展，引入了一种将视觉和文本相结合的新机制。BiomedParse允许VLM本身执行可 Prompt 的分割 [60]，但并未扩展到更复杂的任务，如报告生成。虽然这些工作在医学领域VLMs方面迈出了有前途的第一步，但它们突显了在应用于医学任务时，与传统计算机视觉应用（如分类和分割）相比，这些方法在精度和领域专业知识方面的局限性。在狭窄的任务（如分类和分割）上，传统CNN通常比VLM对应物表现更好。
医学视觉模型与专家系统： 针对特定领域和任务挑战，已开发了许多模型。它们在某些领域实现了最先进的（SOTA）性能，并通常关注从精心整理的数据集中学习到的专家知识。例如，Myronenko等人[38]为多模态脑MRI创建了精确的病灶分割模型，He等人[17]研究了从数十万专家标注的CT示例中分割的127种常见人体解剖结构。科恩等人[8]在各种公开可用的数据集上开发了几种胸部X光分类模型。将领域知识与引导推理相结合，同时保持模块化灵活的系统设计，可以是一种可行的方法，以利用先前的成功[39, 53]。
医疗AI中的评估与基准测试： 视觉语言模型的评估是一项具有挑战性的任务，并且取决于评估的任务类型。对于像分类、分割或目标检测等已经确立的封闭式任务，可以直接使用（例如，F1、Dice、准确率等）已确立的指标（例如，F1、Dice、准确率等），但在更开放的任务上，答案的范围变化较大，如VQA和报告生成中的开放式问题，需要评估整个句子的正确性，这具有挑战性[12]。许多先前的研究试图通过更强大的视觉语言模型来评估开放式较弱VLM输出。例如，ChatGPT-4o被用作评估答案的法官[28、34、54]。虽然使用更强大的视觉语言模型作为法官对于计算机视觉任务可能是可以接受的，但这种评估方法对于医疗领域来说是不满意的，因为需要达到事实级的精确度，患者的治疗结果取决于结果。作者的评估表明，现成的视觉语言模型（如ChatGPT-4o）的能力过于有限，无法直接判断医学视觉语言模型的输出。
** Agent 系统：**生成AI的灵活性为开发能够整合异构信息和通用推理的强大医学 Agent 提供了新的可能性。大多数先前的研究集中在将大型语言模型扩展到医学领域[30, 44, 45, 51, 57]。最近，Hoopes等人[18]开发了一个代码预测 Agent 框架，可以集成一系列外部系统和API，用于一系列神经影像任务，包括脑区分析。李等人[27]提出了一种调用特定任务的工具的多模态大型语言模型，并从它们中聚合结果。
3 Method
VILA框架[32]适用于预训练视觉和语言模型，以及使用特定领域的数据进行指令微调（IFT）它们。特别是，VILA-M3利用了领域专家模型见解以及VILA的多样化能力来捕捉放射性语言的细微差别和医学图像的复杂细节，从而实现更精确的图像文本融合。它增强了视觉问答（VQA）、零样本图像分类、图像检索和报告生成的任务，甚至还包括专家模型反馈以产生更准确和合理的输出。VILA在医疗AI方面特别适用，其中准确地将视觉数据与文本信息相关联对于临床决策至关重要。作者通过包括按需触发的专家模型反馈来进一步增强它。
Training Framework
训练视觉语言模型（VLMs）如VILA的标准方法是使用包含视觉文本数据的语料库，其中基于图像的文本对话与图像相关联。图像 Token （token）随机插入在文本中（或文本之前/之后）（图1）。作为一种常见做法，仅包含文本数据有助于保持VLMs的语言能力，因此作者包括了少量医学文本数据[22]来特别防止模型在向医疗图像条件化时出现LLM能力的退化。
VILA是基于自动回归多模态LLM的，其中图像被划分为视觉 Token ，与文本 Token 连接，并输入到语言模型中，有效地将视觉输入视为外语（图1）。因此，需要一个投影层来桥接图像和文本模态的 Token Embedding 。尽管不同的投影结构都是可能的，但简单的线性层鼓励LLM更好地泛化[32]。这种方法自然地将仅包含文本的LLM扩展到包含视觉嵌入，允许它们处理交错图像文本输入并生成文本输出。还有其他将视觉和语言结合的框架，如基于交叉注意力的[2, 37]，但自动回归方法由于支持不同的视觉编码器和LLM Backbone 而越来越受欢迎。因此，作者选择VILA，因为它是目前在传统计算机视觉方面的SOTA，并且是一个开源框架。VILA模型通常分为三个训练阶段：投影预训练、视觉语言预训练和IFT。VILA-M3在视觉指令调优的最后阶段扩展，并包括来自领域专家模型的信息。虽然VILA足够灵活，可以允许分别微调视觉编码器、 Projector 和LLM，但作者将所有微调，因为它需要定制视觉、 Projector 对齐和LLM以适应医学领域，如图2所示。
Expert Models Triggering & Feedback
在这项工作中，作者使用开源的专家模型来处理常见的医学影像任务。VILA-M3学习如何预测一个关键字和参数，例如<VISTA3D（肝肿瘤）>，以便启动合适的专家模型。可用的专家模型列表作为系统 Prompt 输入到模型中（参见图2）。
在CT图像的体积分割中，作者使用了 VISTA3D [17]。VISTA3D是一个针对人体解剖结构进行精细分割和标注的领域专用交互式基础模型。它实现了127类（包括难以识别的肿瘤）的高度准确分割。当VILA-M3在预测模型关键字时，可以通过不同的参数选择VILA-M3中的多个器官或解剖亚组。有效参数包括'everything'（即所有127个可用器官类别），'肝肿瘤'，'胰腺肿瘤'，'肺癌肿瘤'等。这些参数在VILA-M3的训练和推理时间（见图1）可用模型卡中描述。请注意，当触发时，VISTA3D可以分割整个体积扫描，尽管VILA-M3只处理2D输入。
对于MRI成像，作者关注多模态脑MRI中的肿瘤分割。_MONAI BRATS模型_ [38] 包括一个预训练的模型，用于从四个MRI模式（T1加权，T1加权钆对比增强，T2加权，FLAIR）中分割大脑肿瘤亚区域，基于BraTS 2018数据，并实现了良好的性能 [36]。
大部分用于训练的数据集包含胸片X射线（CXRs），这些用于许多常规的诊断临床任务。在本工作中，作者使用来自_TorchXRayVision_[8]的基于CNN的分类模型组。这些模型在大规模的数据集上进行训练，并在多个不同的CXR数据集上表现出良好的准确度。
专家模型反馈： 当VILA-M3从可用模型卡片中选择并激活一个合适的专家模型时，结果被返回给VILA-M3作为另一个用户 Prompt ，采用对话式格式。对于分割结果，作者重新tokenize生成的 Mask ，并提供一个解释分割结果重要性的文本描述，覆盖在原始图像上（参见图3）。在分类情况下，作者将反馈结果作为包含特定疾病可能性的是/否陈述列表（例如，使用TorchXRayVision集成）。
Datasets
本文使用了多个公开可获得的AI数据集。作者简要概述了这些数据集以及作者为VILA框架有效训练所应用的处理方法。所有训练数据详细说明见补充材料。
在本研究中，作者利用RadVQA、SLAKE和PathVQA数据集来评估医学影像中的视觉问答（VQA）性能[16, 26, 33]。SLAKE数据集包括642种医学图像，涵盖各种影像学子学科，如X光片、CT和MRI，以及14,028个涵盖不同解剖区域的问答题对。作者从官方数据集划分中使用4,919个训练样本、1,053个验证样本和1,061个测试样本，关注各种问句格式，如开放式和是/否式。PathVQA数据集包括4,289张病理图像和32,632个问答题对，分为19,654个训练样本、6,259个验证样本和6,719个测试样本。这两个数据集都调查了广泛的视觉和临床属性，包括异常情况、器官识别和诊断信息。作者的分析重点是利用这些数据集来提高医学视觉语言模型的性能。作者将所有VQA数据集的训练和验证集作为模型训练的一部分，因为VLM的标准验证技术计算成本巨大，而且冗余。
分类： 作者采用了两个公开的高质量CXR图像异常数据集作为模型视觉分类能力的基准。一个是Majkowska和Mittal等人[35] curated的ChestX-ray14子集[50]，经过四位放射科医生的调整后，共有1,962张图像。对于这个数据集，作者遵循[58]，并专注于三种条件分类 - 肺不透明度、气胸和骨折。另一个数据集是Saporta等人[43]根据五个病理条件创建的CheXpert子集[21]，包括积液、心增大、实变、水肿和胸腔积液。
报告生成：对于报告生成，作者采用MIMIC-CXR1数据集[23, 24]，该数据集提供了超过377,110张CXR图像的JPG格式，以及从中提取的227,827个相关自由文本放射科报告的结构性标签。每张图像都与相应的放射科报告相关联，该报告包含放射科医生的发现和印象。该数据集的标签使用自动化工具CheXpert[21]和NegBio[41]提取和分类医学状况（如“肺炎”，“水肿”，“胸腔积液”）为阳性、阴性、不确定或未提及，根据报告的语言进行判断。此外，放射科医生手动标注了部分报告，为模型评估和验证提供了14类发现。该数据集分为训练、验证和测试部分，每个部分都有单独的CSV文件以支持可重复的研究。由于原始数据集中的报告质量不佳，作者应用了高级大型语言模型（LLMs）通过针对性的噪声减少和提取来优化文本报告，这一过程显著提高了模型的准确性和可靠性。补充材料中包含其他方法论细节。
专家数据集：为了创建训练数据，以触发专家模型执行分割和分类等任务，作者通过在现有数据集上运行专家模型推理。例如，作者可以使用VISTA3D模型来分割现有的CT数据集，并利用推理结果为VILA-M3构建定制的训练对话。同样，对于一个脑部MRI数据集，作者可以运行BRATS分割模型，然后利用输出为VILA-M3生成结构化训练对话。这种方法有助于生成特定上下文的对话，从而提高模型在医学影像领域的专家级任务的对齐。此外，作者将现有VQA和报告生成任务扩展为一个子集，通过在消息上下文中添加模型卡和相应的CXR专家模型的触发语句来实现，如图1所示。
4 Experiments & Results
Model Architecture Hyper-parameters
作者使用视觉编码器中的图像分辨率384×384，利用OpenAI的CLIP-L，使模型能够捕获更细微的视觉细节。对于语言模型（LLM） Backbone 网络，作者在3亿参数的checkpoint中使用Vicuna（基于Llama-2[48]），在13亿参数的checkpoint中使用Vicuna，在8亿参数的checkpoint中使用Llama-3[10]作为 Backbone 网络，在40亿参数的checkpoint中使用Yi-34B作为基于Yi[59]的LLM Backbone 网络，并采用448×448视觉编码器。LLM的选择取决于用于在自然图像上预训练VILA checkpoints的配置。
Implementation Details
训练超参数 ：为了确保所有VILA模型大小的变体之间的公平比较，作者保持每个大小的训练超参数一致。在设备（每个GPU）层面上，训练时保持一致的批量大小为16，评估时为4。相应的，梯度累积进行了调整，以确保多节点训练时具有相同的总有效批量大小。学习率初始化为2e-5，使用余弦学习率调度， Warm up 比例为0.03。权重衰减设置为0以避免过度正则化，所有模型均使用bf16混合精度，以实现减少内存占用的高效训练。启用梯度预训练权重以进一步优化内存使用。根据[32]中的内容，LLM Backbone 、 Projector 和视觉编码器保持 unfrozen，这是适应新数据以优化整个模型的最佳设置。
训练成本：为了训练这些模型，作者使用了具有80GB内存的A100。对于3亿、8亿和13亿参数的模型，作者使用并行运行四个节点（每个节点x8 A100）的方式，总共使用了32个GPU。对于40亿参数的模型，作者使用了16个节点，总共使用了128个GPU并行运行（见表2）。关于推理计算成本的更多信息，请参阅附录。
推理成本： 在开源发布2中，计算足迹如下：CXR专家动态加载各种TorchXrayVision模型并执行集成预测。总共需要约1.5GB的内存。VISTA3D专家模型动态加载VISTA3D模型来分割3D-CT体积。内存需求约为12GB，峰值内存使用可能更高，取决于3D体积的输入大小。
Benchmarking
评估指标：准确率被用作衡量VQA任务封闭式问题的性能。F1分数用于分类任务。对于报告生成，作者使用三种不同的指标：BLEU-4、ROUGE和GREEN分数，它旨在成为一种更具有临床相关性的度量[40]。总的来说，报告生成评估更具挑战性，这些指标从不同的视角全面理解性能。
VILA-M3 超越了 SOTA：作为基准比较，作者直接使用 Med-Gemini 工作的结果 [58] 和特定任务的 SOTA 基准 [6, 8, 28, 31]。总体而言，图1 中观察到的结果表明，与现有可公开或闭源的 SOTA 方法相比，性能更优越。特别是，与包含 1.5 万亿参数的 Med-Gemini 相比，使用参数更少的模型（如几个十亿参数）可以在 8 个指标中实现显著更高的性能。
分别针对参数大小不同的三个模型在1、2和3个epoch上进行训练。通过比较表1中观察到的所有参数大小变体，确定了表现最佳的VILA-M3模型。
VILA-M3 基准测试： 同时，作者在VILA基准测试上评估了VILA-M3模型，以确保它们不过拟合并降低其 Baseline 能力。表3总结了在基础VILA预训练权重和经过专家指导的IFT后VILA-M3预训练权重上的结果。
Effectiveness of Expert-guided IFT
三项关键结果证明了专家指导的IFT（Instance Fine-tuning）的有效性。第一，观察到VILA-M3在SOTA模型（图1 & 表1）上表现更好。第二，经过专家指导的IFT大量训练后，VILA-M3在VILA基准上的降级不显著。对于3B、8B和13B模型变体，降级分别为7%、11%和4%（表3）。相比之下，40B模型降级为23%，作者归因于Llama模型优于Yi模型。第三，可以观察到VILA-M3并未过度拟合到专家指导的IFT训练过程对于第1和2个周期的模型。这一点可以从图4中直观地观察到，对于第3个周期的模型，过拟合现象更为明显，这些结果以8B模型为例（更多模型变体的结果见补充材料）。
Ablation Studies
专家模型效果 ：为了验证领域专家模型的发现，作者使用VILA-M3在4.2节中概述的相同训练设置进行了实验。特别是，对于带有和不带专家反馈的分类，作者使用了TorchXrayVision [8]的 Baseline ，并与OpenAI的旗舰模型GPT-40 [1, 20]进行了比较，该模型用于ChestX-ray-14和CheXpert数据集，见表5和6。
进行了关于生成报告的实验，包括和不包括专家信息（见表4）。为了进行比较，作者还利用了针对特定任务的最新技术基准模型“动态图增强对比学习”（DCL）[31]。值得注意的是，研究中还考虑了其他基准模型，包括Llama-Med[28]，Llama-Rad[6]，Med-Gemini[58]，以及DCL模型[31]。
对于分类和报告生成任务，通过包含专家模型所获得的改进可以在表4、5和6中观察到。同时，也可以观察到像GPT-4o这样的大型数据集模型在这些任务上表现不佳。
对于分割任务，观察图3可以发现，如果未提供分割信息，作者的模型VILA-M3无法检测到肿瘤的发现。然而，当包含额外的专家信息时，它能够检测到肿瘤的更细微特征。
平衡 vs 不平衡数据集：数据集的原大小差异很大，特别是在VQA数据集和MIMIC-CXR之间的原始数字进行比较时。因此，作者在类别（基于VQA、专家、报告生成和分类类型）方面以分步方式增加低计数数据集的频率，以系统地平衡训练数据集。训练设置与第4.2节中概述的一致。训练数据集的频率计数表格可在补充材料中找到。
如图5所示，与原始数据集（不平衡数据集大小）相比，基于平衡训练数据集的改进可以观察到。在数量上，平衡可以使所有指标平均提高约4%的改进。
Training Convergence
尽管采用了不同的模型架构和大小，作者观察到所提出的训练程序在所有情况下都成功收敛，并且对超参数选择的敏感性不强。以使用4个节点（32个GPU）训练的模型为例，图6显示了在相同训练数据集下，训练损失与模型大小符合预期地按经验幂律[25]增长。
5 Discussion & Conclusion
提出的VILA-M3模型在多模态机器学习方面对医疗保健领域取得了重大进展。它作为通用的模型以及融合专家模型响应来解决复杂任务，实现了SOTA性能。
这种能力使得模型在处理通用任务时能保持高性能，同时还能利用专家知识提高准确性。通过增加专家模型，它可以无缝扩展到各种能力，如注册、回归等。作者的工作可以看作是实现VLMs的“思维链”能力的第一步，即让模型在何时触发专家以及如何将专家的结果纳入最终生成的预测中进行推理。
对于未来的工作，作者将探索将检索增强生成（RAG）集成到VILA-M3中，以进一步通过在推理过程中动态检索和集成大型数据集的相关信息来增强VILA-M3。此外，作者旨在将VILA-M3扩展到多智能体框架，该框架直接集成智能专家模型，这些模型可以自行决定是否需要涉及额外的专家进行咨询，以优化不同任务上的性能。
[0]. VILA-M3: Enhancing Vision-Language Models with Medical Expert Knowledge.