耶鲁大学SurgVeo: 探索外科医生离手术世界模型还有多远？零样本手术视频生成专家评估！

点击下方卡片，关注「AI视界引擎」公众号

( 添加时备注：方向+学校/公司+昵称/姓名 )

1. 导语 =====

论文名称： How Far Are Surgeons from Surgical World Models? A Pilot Study on Zero-shot Surgical Video Generation with Expert Assessment

中文标题： 外科医生离手术世界模型还有多远？基于专家评估的零样本手术视频生成研究

论文地址: https://arxiv.org/abs/2511.01775

近年来，视频生成模型在自然场景中展现出卓越的物理世界模拟能力，被视为实现通用人工智能（AGI）的潜在路径。然而，这些被期待为"世界模型"的AI系统在专业医疗领域，特别是外科手术场景中的表现如何？它们能否真正理解手术的复杂性？

为回答这一关键问题，本研究针对手术场景开展了首个先进视频生成模型的系统性专家评估研究 。本研究构建了SurgVeo基准数据集 ，并创新性地提出了Surgical Plausibility Pyramid（SPP）手术合理性金字塔的四层评估框架 ，通过四位外科专家对先进的谷歌Veo-3视频生成模型进行零样本视频生成能力的深度评估。

经过外科专家的充分评估，一致认为： 虽然AI在视觉表现上接近完美，但在手术专业知识的理解上与真正的外科医生相距甚远。这种**"视觉真实性"与"专业合理性"的巨大鸿沟**，揭示了当前世界模型在高风险专业领域应用的根本性挑战。

2. 研究背景与核心问题 ============

2.1 视频生成模型：通往世界模型之路

当前，以谷歌Veo-3为代表的视频生成模型在自然场景中表现出惊人的能力：

• 物理理解： 准确模拟3D空间关系、重力、碰撞等物理现象
• 时序推理： 通过Chain-of-Frames机制实现逐帧视觉推理
• 长程一致性： 保持对象持久性和时间连贯性
• 光照真实感： 生成具有正确视差效果的逼真画面

2.2 外科手术：专业知识的试金石

然而，外科手术场景与日常场景存在本质区别：

• 专业因果关系： 需要深刻理解解剖学、生理学和生物力学的复杂相互作用
• 精确操作规范： 器械使用和手术步骤遵循严格的医学规范，而非常识物理
• 生物材料特性： 组织形变、出血反应等需要专门的生物力学知识
• 临床推理逻辑： 每个动作背后都有明确的手术目标和策略

2.3 核心研究问题：AI“常识”能破解“手术专家知识”吗？

本研究旨在通过严格的专家评估 来定量化这一距离，为未来手术AI的发展提供基线参考和明确方向。

3. 研究设计与创新方法 ============

3.1 SPP评估框架：从外观到策略的四层金字塔

不同于传统的视觉质量指标，本研究创新性地提出从具象到抽象的四层级评估体系 ，全面衡量模型的专业理解深度：

1. 第一层：视觉感知合理性（Visual Perceptual Plausibility）

评估维度： 画面清晰度、视觉稳定性、整体图像质量

核心问题："看起来像真实视频吗？"

1. 第二层：器械操作合理性（Instrument Operation Plausibility）

评估维度： 器械运动轨迹、操作技术准确性、器械间协调性

核心问题："器械操作符合外科规范吗？"

1. 第三层：环境反馈合理性（Environment Feedback Plausibility）

评估维度： 组织形变响应、出血反应、器械-组织相互作用真实性

核心问题："组织反馈符合生物及力学规律吗？"

1. 第四层：手术意图合理性（Surgical Intent Plausibility）

评估维度： 程序目标适当性、临床推理逻辑性、手术策略合理性

核心问题："这个动作在手术流程中有意义吗？"

图1：Surgical Plausibility Pyramid（SPP）四层评估框架及5分制评分标准

3.2 SurgVeo基准：首个手术视频生成专家评估数据集

基于SPP评估框架，本研究精心构建了专门的评估基准：

• 数据来源： 50个高质量视频片段，源自6个独立手术记录
• 手术类型： 涵盖腹腔镜子宫切除术和内窥镜垂体瘤手术两大类别
• 多样性设计： 覆盖不同手术阶段、复杂程度和解剖场景
• 评估任务： 给定单帧输入，生成8秒连续视频（零样本条件）

图2：SurgVeo数据集构造和零样本生成及评估任务流程图

3.3 专业评估团队与评估流程

• 评估团队： 4位具有丰富临床经验的外科医生，其中两位来自腹腔外科，两位来自神经外科
• 评估方式： 双盲评估，确保客观性
• 评分体系： 5分制（5=优秀，1=差），涵盖SPP四个维度
• 测试条件： 基准提示 vs. 阶段感知提示（提供手术阶段信息）

4. AI的表现究竟如何？定量化的“合理性鸿沟” ========================

4.1 第一层：视觉表现接近完美

亮点：

• Veo-3在视觉感知合理性方面表现卓越，生成的画面高度逼真
• 部分视频片段甚至让专家外科医生感到惊讶
• 在清晰度、稳定性和整体视觉质量上获得高分

4.2 第二层：器械操作偏差

问题：

• 器械运动轨迹不符合手术规范 ，出现不合理的移动模式
• 器械间缺乏协调性，无法展现团队操作的配合
• 显示出对手术器械功能和使用方法的根本性误解

4.3 第三层：组织反馈违背生理规律

严重缺陷：

• 组织形变不符合生物力学特性 ，缺乏真实的弹性响应
• 出血反应和液体动力学表现不真实
• 器械与组织相互作用缺乏因果关系的准确性
• 无法模拟真实的生理反馈机制

4.4 第四层：手术策略预测缺失

根本性问题：

• 无法理解手术意图 ，生成的动作缺乏明确的临床目标
• 缺乏对手术流程和程序逻辑的认知
• 阶段感知提示无效 ：即使提供手术阶段信息，也无法改善表现
• 揭示了模型缺乏将抽象概念转化为具体动作的能力

图3：在生成的视频中识别出的典型失败案例。每个示例均呈现真实手术画面（左）与生成手术画面（右）的并列对比。这些示例详细阐释了

手术合理性金字塔各层级的缺陷，包括：(a) 视觉质量失真，(b) 手术器械错误，(c) 不当手术操作，(d) 不当手术目标，(e) 环境反馈错误，以及 (f) 手术意图错误。红色箭头标注了具体不合逻辑、解剖错误或物理上不可能存在的伪像。

4.5 定量结果总结

从"外观"到"理解"：一个金字塔式的性能下降

表1：SurgVeo基准模型在腹腔镜手术上不同时间点及提示策略的评估得分。

图4：SurgVeo基准模型在腹腔镜手术上的评估得分分布。

表2：SurgVeo基准模型在神经外科上不同时间点及提示策略的评估得分。

图5：SurgVeo基准模型在神经外科手术上的评估得分分布。

实验数据清晰地展示了一个倒金字塔式的能力分布 ：越是需要深层专业知识，模型表现越差。这种性能梯度定量揭示了当前AI系统与真实外科专业能力之间的巨大差距。

4.6 定性结果展示

图6：来自SurgVeo基准测试的高分视频生成示例。

图7：低分视频生成的示例，展示其可信度方面的灾难性失败。

5. 深度分析：为何“形似”却“神不似”？ =====================

5.1 "常识物理"vs."专家知识"的本质差异

• 训练数据偏差： 模型在大量自然场景视频上训练，缺乏医学专业知识
• 规则系统不同： 手术遵循医学规范而非日常物理规律
• 因果关系复杂： 生理和解剖的因果链比自然场景更隐蔽和专业

5.2 阶段提示失效的启示

阶段感知提示策略的无效性是一个关键诊断结果 ：

• 核心问题不是信息缺失，而是 理解能力的根本性缺陷
• 模型缺乏将抽象概念（如"血管结扎"）转化为具体动作序列的基础知识
• 内部表征未能结构化地容纳手术的规则逻辑

5.3 对未来世界模型发展的挑战

关键结论： 仅仅扩大通用数据训练规模无法弥合这一差距。实现真正的专业领域世界建模需要：

• 新的架构范式，能够整合结构化的领域专业知识
• 硬约束机制，确保生成过程遵循物理和逻辑规则
• 显式因果建模，而非仅依赖统计模式

6. 临床应用前景与研究意义 ==============

6.1 巨大的临床需求

尽管存在显著差距，真正的手术世界模型的临床需求是巨大的 ：

• 医学教育革命： 为学员提供交互式、高保真度的手术训练模拟器
• 患者安全提升： 通过术前复杂病例预演降低手术风险
• 术中指导系统： 实时监测风险并提供最优手术计划偏差预警
• 自主手术机器人： 为下一代智能手术机器人奠定基础

6.2 本研究的开创性贡献

• 首个系统性基准： 建立了手术视频生成评估的标准化框架
• 量化性能差距： 用数据明确展示了当前技术水平与临床需求的距离
• 明确发展路线图： 为后续研究指明了具体的改进方向
• 专业评估方法： 创新的SPP框架可推广至其他专业领域

6.3 未来研究方向

基于本研究发现，本研究提出两大核心研究方向 ：

• 显式整合手术知识

利用现有的手术和内窥镜视频生成研究成果，为模型提供手术规则、器械使用和解剖交互的必要基础

• 增强世界模型核心能力

探索物理知识感知建模和防止长时间误差累积的架构设计，确保生成内容符合手术室的复杂现实

7. 研究结论 =======

回答核心问题：外科医生离手术世界模型还有多远？

本研究给出了一个清晰而发人深省的答案：还有相当长的距离 。虽然当前最先进的视频生成模型可以完美掌握手术的外观，但它们根本缺乏对手术实践的理解，未能遵循外科动作、后果和策略的基本原则。

本研究的核心贡献：

• 建立了SurgVeo基准和SPP评估框架，提供标准化、临床导向的评估体系
• 系统性识别了当前技术的具体局限性
• 为领域提供了超越表面视觉模仿的清晰路线图
• 指明了发展具有深度因果理解能力的智能模拟系统的方向

数据和代码开放计划：

为促进社区研究和技术进步，本研究计划公开发布：

• SurgVeo基准数据集 （包含50个精心策划的手术视频片段）
• 专家评估反馈数据 （四位外科医生的详细评分和意见）
• SPP评估工具包 （方便其他研究者复现和扩展评估）

致谢： 感谢参与评估的外科医生专家团队，以及为数据收集提供支持的医疗机构。

点击上方卡片，关注「AI视界引擎」公众号