CN109982657B - 具有多模态图像显示的外科手术*** - Google Patents

Abstract

提供一种产生外科手术场景的多模态图像的方法，包括：捕获从外科手术场景反射的光；产生对应于第一模态图像的第一图像信息；产生对应于第二模态图像的第二图像信息；至少部分地基于选定部分内包括的解剖结构信息选择第二图像模态的一部分；和在显示器内同时产生外科手术场景的第一模态图像的至少一部分和第二模态图像的选定部分。

Description

具有多模态图像显示的外科手术***

优先权

本申请要求2016年11月11日提交的美国专利申请No.62/421,095的优先权的权益，其通过引用整体并入本文。

背景技术

图像引导的外科手术技术为外科医生提供了可视化外科手术场景内的解剖对象的内部结构的能力。改进的可视化能力允许外科医生更好地感知手术器械的实际位置及其与解剖学对象内的关键或隐藏解剖结构的物理关系，这可以导致更安全和更有效的微创外科手术程序。

发明内容

以下概述介绍了本发明主题的某些方面，以便提供基本的理解。该概述不是对本发明主题的全面综述，并且不旨在识别关键或重要元素或描绘本发明主题的范围。尽管该概述包含与本发明主题的各个方面和实施例相关的信息，但是其唯一目的是以一般形式呈现一些方面和实施例作为下面更详细描述的序言。

在一个方面，提供了一种用于产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。产生对应于外科手术场景的第一模态图像的第一图像信息。产生对应于外科手术场景的第二模态图像信息。至少部分地基于其包含的解剖结构信息来选择第二图像模态的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。

在另一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在显示器内跟踪用户眼睛焦点位置。至少部分地基于所跟踪的用户眼睛焦点来选择第二模态图像的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。

在又一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在外科手术程序的过程中跟踪外科手术阶段。至少部分地基于所跟踪的外科手术阶段来选择模态图像格式。计算机被配置为使用第一图像信息和第二图像信息以选择的格式在显示器内产生第一模态图像的至少一部分和第二模态图像的至少一部分。

附图说明

图1是微创远程操作外科手术***的平面图。

图2是外科医生控制台的透视图。

图3是电子推车的透视图。

图4是远程操作外科手术***的示意图。

图5A是远程操作外科手术***的说明性图。

图5B是外科手术***的患者侧推车的透视图。

图5C是表示外科手术场景的说明性视图，并且还示出了根据一些实施例的安装用于记录场景的相机和用于滤光光波长的滤光器的内窥镜。

图6是外科手术器械的正视图。

图7是器械操纵器的透视图。

图8是外科手术规划工具的示意图。

图9是表示根据一些实施例的存储在非暂时性存储设备内的外科手术信息图谱(atlas)的说明性图。

图10是示出根据一些实施例的存储在外科手术信息图谱内的示例性外科手术记录信息结构的某些细节的说明性图。

图11是表示根据一些实施例的外科手术场景的示例清晰图像的说明性图。

图12是表示图11的示例性外科手术场景的示例性窄带图像(NBI)模态图像的说明性图示，其中通过NBI显示模态增强第一解剖对象内的解剖结构的图像。

图13是表示图11的示例性外科手术场景的示例拉曼光谱模态图像的说明性图，其中通过拉曼光谱显示模态增强第二解剖对象内的解剖结构的图像。

图14是表示使用HIS成像显示模态显示的图11的示例性外科手术场景的示例高光谱(HIS)模态图像的说明性图。

图15是表示根据一些实施例的图11的示例性外科手术场景的计算机断层摄影切片显示模态的说明性图。

图16是根据一些实施例的使用多个显示模态结合使用拼接格式(stitch format)的图11的外科手术场景的说明性示例多模态显示。

图17是根据一些实施例的使用多个显示模态结合使用拼接格式的图11的外科手术场景的说明性替代示例多模态显示。

图18是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性示例多模态显示。

图19是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性替代示例多模态显示。

图20是根据一些实施例的使用来自使用注释格式的多个显示模态的信息的图11的外科手术场景的说明性示例显示。

图21A是表示根据一些实施例的动态呈现多模态手术图像的第一过程的说明性流程图。

图21B是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像的相应第一图像信息的说明性图。

图21C是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像部分的相应第二图像部分信息的说明性图。

图22是表示根据一些实施例的用于选择显示模态和所选显示模态的部分的子过程的细节的说明性流程图。

图23是表示根据一些实施例的用于接收用户对图像模态的选择的子过程的细节的说明性流程图。

图24是表示根据一些实施例的在外科手术***的查看器(viewer)内显示的示例模态选择用户界面UI的说明性图。

图25A-C是根据一些实施例的呈现二维眼睛跟踪(图25A-25B)和深度眼睛跟踪(图25C)的说明性图。

图26是表示根据一些实施例的用于选择多模态显示格式的子过程的细节的说明性流程图。

图27是表示根据一些实施例的在外科手术***的查看器内显示的示例格式选择用户界面UI的说明性图。

图28是表示根据一些实施例的用于确定外科手术阶段信息和对应的外科手术阶段规则是否一起指示显示模态的子过程的某些细节的说明性流程图。

图29是表示根据一些实施例的示例外科手术阶段签名(signatures)和对应模态的说明性图。

图30是表示根据一些实施例的用于生成图像模态部分的子过程的某些细节的说明性流程图。

图31是表示根据一些实施例的示例图像签名和对应注释的说明性图。

具体实施方式

说明发明性方面、实施例、实施方式或应用的本说明书和附图不应被视为限制性的——权利要求限定了该请求保护的发明。在不脱离本说明书和权利要求的范围的情况下，可以进行各种机械、组成、结构、电气和操作变化。在某些情况下，没有详细示出或描述公知的电路、结构或技术，以免模糊本发明。两个或更多个图中的相同数字表示相同或相似的元件。

呈现以下描述以使得本领域技术人员能够在外科手术***中创建和使用多模态图像。对于本领域技术人员来说，对实施例的各种修改是显而易见的，并且在不脱离本发明主题的范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。此外，在以下描述中，出于解释的目的阐述了许多细节。然而，本领域普通技术人员将认识到，可以在不使用这些具体细节的情况下实践本发明的主题。在其他实例中，众所周知的机器部件、过程和数据结构以框图形式示出，以免不必要的细节模糊本公开。相同的附图标记可用于表示不同附图中相同项目的不同视图。下面引用的附图中的流程图用于表示过程。计算机***可以被配置为执行这些过程中的一些。表示计算机实现的过程的流程图内的框表示根据计算机程序代码的计算机***的配置，以执行参考这些模块描述的动作。因此，本发明的主题不旨在限于所示的实施例，而是与符合本文公开的原理和特征的最宽范围相一致。

微创远程操作外科手术***

远程操作是指在一定距离处操作机器。在微创远程操作医疗***中，外科医生可以使用包括相机的内窥镜来查看患者体内的手术部位。在一些实施例中，可以捕获立体图像，其允许在外科手术程序中感知深度。

图1是微创远程操作外科手术***10的说明性平面图，其通常用于对躺在手术台14上的患者12执行微创诊断或外科手术程序。该***包括外科医生控制台16以在程序/手术(procedure)期间由外科医生18使用。一个或更多个助手20也可以参与该程序。微创远程操作外科手术***10还包括(一个或多个)患者侧推车22和电子推车24。当外科医生18通过外科医生控制台16查看手术部位时，患者侧推车22可以通过患者12的身体中的微创切口操纵至少一个外科手术器械26。可以通过内窥镜28(例如立体内窥镜)获得手术部位的图像，该内窥镜可以由患者侧推车22操纵以定向内窥镜28。位于电子推车24上的计算机处理器可用于处理手术部位的图像，以便随后通过外科医生控制台16显示给外科医生18。注意，尽管为了示例性目的描绘和描述了离散的***部件(即，患者侧推车22、电子推车24以及外科医生控制台16)，但是，在各种实施例中其中包括的元件可以组合和/或分开。例如，在一些实施例中，电子推车24的计算机处理器可以被并入到外科医生控制台16和/或患者侧推车22中。一次使用的外科手术器械26的数量通常取决于诊断或外科手术程序以及操作部位内的空间限制等因素。如果必须改变在程序期间使用的一个或更多个外科手术器械26，则助手20可以从患者侧手推车22移除外科手术器械26，并将其替换为来自手术室中的托盘30的另一个外科手术器械26。

图2是外科医生控制台16的透视图。外科医生控制台16包括查看器显示器31，其包括用于向外科医生18呈现手术部位的协调立体视图使其能够感知深度的左眼显示器32和右眼显示器34。控制台16还包括一个或更多个控制输入36。安装用于患者侧推车22(图1中所示)上的一个或更多个外科手术器械响应于外科医生18对所述一个或更多个控制输入36的操纵而移动。控制输入36可以提供与其相关联的外科手术器械26(图1中所示)相同的机械自由度，以向外科医生18提供远程呈现，或者控制输入36与器械26成为一体的感知，使得外科医生具有直接控制器械26的强烈感觉。为此，可以采用位置、力和触觉反馈传感器(未示出)通过控制输入36将来自外科手术器械26的位置、力和触觉感觉传递给外科医生的手(受到通信延迟的限制)。注意，虽然出于示例性目的描绘和描述了具有固定查看器31和机械联接的控制输入36的物理控制台16，但是在各种其他实施例中，可以使用“无基础”控制输入和/或显示结构。例如，在一些实施例中，查看器31可以是头戴式显示器且/或控制输入36可以机械地独立于任何基础结构(例如，有线、无线或基于手势，例如来自Microsoft(微软公司)的Kinect)。

外科医生控制台16通常与患者位于同一房间内，以便外科医生可以直接监控程序，必要时可以物理存在，并且直接与患者侧助手通话而不是通过电话或其他通信介质。但是，外科医生可以位于与患者不同的房间、完全不同的建筑物或其他远程位置，从而允许远程外科手术程序。

图3是电子推车24的透视图。电子推车24可以与内窥镜28联接并且包括计算机处理器以处理所捕获的图像以用于在外科医生控制台上后续显示给例如外科医生，或者在本地和/或远程定位的另一个合适的显示器上显示。例如，如果使用立体内窥镜，则电子推车24上的计算机处理器可以处理捕获的图像以向外科医生呈现手术部位的协调立体图像。这种协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。作为另一个例子，图像处理可以包括使用先前确定的相机校准参数来补偿图像捕获设备的成像误差，例如光学像差。可选地，电子推车中的设备可以集成到外科医生控制台中或患者侧推车中，或者其可以分布在手术室中的各种其他位置。

图4示意性地示出了远程操作外科手术***50(例如图1的微创远程操作外科手术***10)。外科医生控制台52(例如图1中的外科医生控制台16)可以由外科医生使用以在微创程序期间控制患者侧推车54(例如图1中的患者侧推车22)。患者侧推车54可以使用成像设备(例如立体内窥镜)来捕获手术部位的图像并将捕获的图像输出到位于电子推车56(例如图1中的电子推车24)上的计算机处理器。计算机处理器通常包括一个或多个数据处理板，用于执行存储在计算机处理器的非易失性存储器设备中的计算机可读代码。在一个方面，计算机处理器可以在任何后续显示之前以各种方式处理捕获的图像。例如，计算机处理器可以在通过外科医生控制台52向外科医生显示组合图像之前用虚拟控制界面覆盖捕获的图像。

另外，或者替代地，捕获的图像可以由位于电子推车56外部的计算机处理器进行图像处理。在一个方面，远程操作外科手术***50包括可选的计算机处理器(CPU)58(如虚线所示)，其类似于位于电子推车56上的计算机处理器，并且患者侧推车54在外科医生控制台52上显示之前将捕获的图像输出到计算机处理器(CPU)58以进行图像处理。在另一方面，捕获的图像首先经历通过电子推车56上的计算机处理器进行的图像处理，并且然后在外科医生控制台52上显示之前由计算机处理器58进行附加的图像处理。远程操作外科手术***50可以包括可选的显示器60，如虚线所示。显示器60与位于电子推车56上的计算机并且与计算机处理器(CPU)58联接，并且除了显示在外科医生控制台52的显示器上之外，由这些计算机处理器处理的捕获的图像还可以显示在显示器60上。

图5A是示出根据一些实施例的远程操作外科手术***10的部件的布置以使用一个或多个机械支撑臂510执行外科手术程序的说明性简化框图。***10的各方面包括机器人辅助和自主操作特征。这些机械支撑臂510通常支撑外科手术器械。例如，机械手术臂(例如，中心机械手术臂510C)可用于支撑具有立体或三维手术图像捕获设备101C的内窥镜。机械手术臂510C可包括无菌适配器，或夹子、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕获设备101C的内窥镜机械地固定到机械臂。

用户或操作者O(通常是外科医生)通过操纵控制输入设备36(例如在主控制台16处的手柄和脚踏板)对患者P执行外科手术程序。操作者可以通过立体显示查看器31查看患者体内手术部位的图像的视频帧。控制台16的计算机处理器(CPU)58通过控制线159引导远程操作控制内窥镜外科手术器械101A-101C的移动，从而使用患者侧***24(也称为患者侧推车)实现器械的移动。

患者侧***24包括一个或多个机械支撑臂510。通常，患者侧***24包括由相应的定位设置臂156支撑的至少三个机械手术臂510A-510C(通常称为机械手术支撑臂510)。中央机械手术臂510C可以支撑适于捕获相机视野内的图像的内窥镜相机101C。中心左侧和右侧的机械手术支撑臂510A和510B可分别支撑器械101A和101B(其可操纵组织)。

图5B是根据实施例的微创远程操作外科手术***10的患者侧推车500的透视图。患者侧推车500包括一个或多个支撑臂组件510。外科手术器械操纵器512安装在每个支撑臂组件510的末端。另外，每个支撑臂组件510可以可选地包括一个或多个设置关节(例如，无动力和/或可锁定的)，用于参考进行手术的患者定位所附的外科手术器械操纵器512。如图所示，患者侧推车500搁置在地板上。在其他实施例中，患者侧推车的操作部分可以安装到墙壁、天花板、也支撑患者身体522的手术台526或其他手术室装置。此外，虽然患者侧推车500被示出为包括四个外科手术器械操纵器512，但是可以使用更多或更少的外科手术器械操纵器512。

功能性远程操作外科手术***通常将包括视觉***部分，该视觉***部分使远程操作外科手术***的用户能够从患者身体522外部查看手术部位。视觉***通常包括用于捕获视频图像的相机器械528和用于显示捕获的视频图像的一个或更多个视频显示器。在一些外科手术***配置中，相机器械528包括将图像从相机器械528的远端传送到一个或多个成像传感器(例如，CCD或CMOS传感器)的光学器件，所述成像传感器在患者身体522外部产生数字图像信息。替代地，(一个或更多个)成像传感器可以定位在相机器械528的远端，并且由该(一个或更多个)传感器产生的数字图像信息信号可以沿着引线或无线传输，以便在一个或者或更多个视频显示器上进行处理和显示。视频显示器的一个示例是由加利福尼亚州桑尼维尔市的直观外科手术公司(Intuitive Surgical，Inc.)出售的外科手术***中的外科医生控制台上的立体显示器。

参照图5A-5B，安装到每个外科手术器械操纵器512的是外科手术器械520，其在患者身体522内的手术部位处操作。每个外科手术器械操纵器512可以以允许相关的外科手术器械以一个或多个机械自由度(例如，所有六个笛卡尔自由度\五个或更少的笛卡尔自由度等)移动的各种方式提供。通常，机械或控制约束限制每个操纵器512围绕器械上的运动中心移动其相关的外科手术器械，该运动中心相对于患者保持静止，并且该运动中心通常位于器械进入身体的位置。

在一个方面，外科手术器械520通过计算机辅助的远程操作被控制。功能性微创远程操作外科手术***包括控制输入，其接收来自远程操作外科手术***的用户(例如，外科医生或其他医疗人员)的输入。控制输入与一个或多个计算机控制的远程操作致动器(例如外科手术器械520所联接的一个或多个马达)通信。以这种方式，外科手术器械520响应于医疗人员的控制输入的移动而移动。在一个方面，一个或多个控制输入被包括在外科医生控制台中，例如图2所示的外科医生控制台16。外科医生可以操纵外科医生控制台16的控制输入设备36以操作患者侧推车500的远程操作致动器。由远程操作致动器产生的力通过传动***机构传递，传动***机构将力从远程操作致动器传递到外科手术器械520。

参照图5A-5B，在一个方面，外科手术器械520和插管524可移除地连接到操纵器512，其中外科手术器械520通过插管524***。操纵器512的一个或多个远程操作致动器整体移动外科手术器械512。操纵器512还包括器械托架530。外科手术器械520可拆卸地连接到器械托架530。在一个方面，器械托架530内部容纳一个或多个远程操作致动器，其提供外科手术器械520转化为在外科手术器械520上的末端执行器的各种运动的多个控制器运动。因此，器械托架530中的远程操作致动器仅移动外科手术器械520的一个或多个部件而不是整个器械。用于控制整个器械或器械的部件的输入使得外科医生或其他医疗人员向控制输入(“主”命令)提供的输入被外科手术器械转化为相应的动作(“从”响应)。

根据一些实施例，外科手术***10可以具有多个***致动状态，包括对接、跟随、器械类型和进入。在对接***状态期间，一个或多个操纵器512已经联接到插管524。在跟随***状态期间，外科手术器械(“从”)正在跟踪控制输入(“主”命令)。在器械类型***状态期间，***在其中安装了一组适于执行特定外科手术程序或适于在外科手术程序期间执行特定手术活动的器械。在进入(head-in)***状态期间，***正在等待外科医生指示他/她已掌握“主”控制输入设备。

在替代实施例中，器械托架530不容纳远程操作致动器。能够实现外科手术器械520的末端执行器的各种运动的远程操作致动器被容纳在远离器械托架530的位置(例如患者侧推车500上的其他位置)中。基于缆线的力传递机构等用于将每个远程定位的远程操作致动器的运动传递到位于器械托架530上的相应仪器接口致动器输出。在一些实施例中，外科手术器械520机械地联接到第一致动器，该第一致动器控制外科手术器械的第一运动，例如纵向(z轴线)旋转。外科手术器械520机械地联接到第二致动器，该第二致动器控制外科手术器械的第二运动，例如二维(x，y)运动。外科手术器械520机械地连接到第三致动器，该第三致动器控制外科手术器械的第三运动，例如打开和关闭钳口或末端执行器。

图5C是表示外科手术场景550的说明性视图，并且还示出了根据一些实施例的安装用于记录场景的相机528的内窥镜101C。场景550设置在患者的体腔内。场景550包括示例性假想球形解剖结构552，其包括几何轮廓554。场景550包含外科手术器械556。第一和第二相机528和533安装在内窥镜101C上以捕获场景，该场景显示在查看器31内并被记录以供稍后重播。可选择的第一滤光器528与第一相机相关联。提供第一和第二光源531。可选择的第二滤光器529与至少一个光源531相关联。

图6是外科手术器械520的侧视图，其包括远端部分650和由细长管610联接的近端控制机构640，细长管610具有细长管中心线轴线611。外科手术器械520被配置为***患者的身体，并且用于进行外科手术或诊断程序。外科手术器械520的远端部分650可以提供各种末端执行器654中的任何一种，例如所示的镊子、针驱动器、烧灼设备、切割工具、成像设备(例如，内窥镜或超声探头)等。外科手术端部执行器654可以包括功能性机械自由度，例如钳口打开或关闭，或者刀沿着路径平移。在所示的实施例中，末端执行器654通过腕部652联接到细长管610，腕部652允许末端执行器相对于细长管中心线轴线611定向。外科手术器械520也可以包含存储的(例如，在与仪器相关联的半导体存储器上)信息，其可以是永久的，或者可以由配置成操作外科手术器械520的外科手术***更新。因此，外科手术***可以提供外科手术器械520与外科手术***的一个或多个部件之间的单向或双向信息通信。

图7是外科手术器械操纵器512的透视图。器械操纵器512被示出为没有安装的外科手术器械。器械操纵器512包括器械托架530，外科手术器械(例如，外科手术器械520)可以可拆卸地连接到该器械托架530。器械托架530容纳多个远程操作致动器。每个远程操作致动器包括致动器输出705。当外科手术器械安装到器械操纵器512上时，器械近端控制机构(例如，图6中的近端控制机构640)的一个或多个器械输入(未示出)与对应的致动器输出705机械地联接。在一个方面，该机械联接是直接的，其中致动器输出705直接接触相应的器械输入。在另一方面，这种机械联接通过中间接口发生，例如被配置为在器械操纵器512和相关的外科手术器械之间提供无菌屏障的盖布的部件。

在一个方面，通过相应的远程操作致动器的一个或多个器械输入的移动导致外科手术器械机械自由度的移动。例如，在一个方面，安装在器械操纵器512上的外科手术器械是外科手术器械520，如图6所示。参见图6，在一个方面，近端控制机构640的一个或多个器械输入通过相应的远程操作致动器的移动使细长管610(以及附接的腕652和末端执行器654)相对于近端控制机构640围绕细长管中心线轴线611旋转。在另一方面，通过相应的远程操作致动器的一个或多个器械输入的移动导致腕部652的移动、末端执行器654相对于细长管中心线轴线611的定向。在另一方面，通过相应的远程操作致动器的一个或多个器械输入的移动导致端部执行器654的一个或多个可移动元件的移动(例如，钳口构件、刀构件等)。因此，安装在器械操纵器512上的外科手术器械的各种机械自由度可以通过操作器械托架530的远程操作致动器来移动。

注释记录的视频

图8示出了示例性外科手术规划工具800的示意图。在一个方面，外科手术规划工具800包括与电子医疗设备记录数据库830进行数据通信的远程操作外科手术***850。这里示出的远程操作外科手术***850类似于图4所示的远程操作外科手术***850。在一个方面，电子医疗记录/病历(medical records)数据库830包括在特定医院或多个医院接受治疗的患者的医疗记录。数据库830可以在位于医院现场的服务器上实现。包含在数据库830中的医疗记录条目可以通过内联网网络从医院计算机访问。替代地，数据库830可以(例如，使用多个云数据存储服务之一)在远离医院的远程服务器上实现。在这种情况下，数据库830的医疗记录条目存储在云服务器上，并且可以由具有因特网访问权限的计算机访问。

在一个方面，使用远程操作外科手术***850对第一患者执行外科手术程序。与远程操作外科手术***850相关联的成像设备捕获手术部位的图像并将捕获的图像作为视频的帧显示在外科医生控制台52的显示器上。在一个方面，外科医生控制台52处的医疗人员使用外科医生控制台52的输入设备突出显示或注释所显示视频中所示的某些患者解剖结构。这种输入设备的一个示例是图2所示的控制输入36，其联接到光标，该光标与覆盖在所显示的视频上的图形用户界面结合来操作。图形用户界面可以包括QWERTY键盘(标准的传统键盘)、诸如鼠标和交互式屏幕显示器的指示设备、触摸屏显示器或用于数据或文本输入或经由麦克风和处理器进行的声音注释/或语音到文本转换的其他设备。因此，医疗人员可以在显示的图像中突出显示某些感兴趣的组织或输入文本注释。

在一个方面，手术部位视频另外显示在位于电子推车56上的显示器上。在一个方面，电子推车的显示器是医疗人员可用于突出显示和注释在显示用于在电子推车上的显示屏上查看的图像上示出的患者解剖结构的某些部分的触摸屏用户界面。用户通过触摸在触摸屏用户界面上显示的患者解剖结构的部分，可以突出显示所显示图像的部分。另外，包括QWERTY键盘的图形界面可以覆盖在显示的图像上。用户可以使用QWERTY键盘输入文本注释。

在一个方面，由远程操作外科手术***850记录与远程操作外科手术***850相关联的成像设备捕获的手术部位视频，并且除了实时或接近实时地显示给用户之外还存储在数据库830上。与用户制作的记录的视频相关联的突出显示和/或注释也可以存储在数据库830上。在一个方面，用户制作的突出显示在将其存储在数据库830上之前被嵌入记录的视频。稍后，可以检索记录的视频以供查看。在一个方面，查看所记录的视频的人可以选择是否从视图中显示或抑制突出显示。类似地，与记录的视频相关联的注释也可以存储在数据库830上。在一个方面，用户做出的注释用于标记所记录的视频，并且可以用于提供为识别包含在记录的视频中的主题的手段。例如，一个注释可以描述某种疾病状态的状况。此注释用于标记记录的视频。在稍后的时间，希望查看关于该疾病状态的记录程序的人可以使用关键词搜索来定位视频。

检索存储的视频

在一些情况下，期望医疗人员能够查看过去对给定患者执行的外科手术程序的视频记录。在一个方面，先前经历第一外科手术程序以治疗医学病症的患者随后需要第二外科手术程序来治疗相同医学病症的复发或治疗位于第一外科手术程序的手术部位附近的解剖结构。在一个方面，在手术部位视频记录中捕获第一外科手术程序的手术部位事件，并且视频记录作为患者的电子医疗记录的一部分存档在数据库830中。在对患者执行第二外科手术程序之前，医疗人员可以执行数据库830的搜索以定位患者的早期外科手术程序的视频记录。

在一些情况下，期望计划对患者执行外科手术程序的医疗人员能够查看对具有与患者类似的某些特征的人执行的类似外科手术程序的视频记录。在一个方面，在将每个视频记录存档在数据库830中之前，可以用诸如患者的年龄、性别、体重指数、遗传信息、患者所经历的程序类型等的元数据信息来标记外科手术程序的手术部位视频记录。在一个方面，用于标记视频记录的元数据信息是从患者当时存在的医疗记录中自动检索的，且然后用于在视频记录存档在数据库830中之前标记视频记录。因此，在对患者执行医疗程序之前，医疗人员可以在数据库830中搜索对患者共享某些特征的患者执行的类似程序的视频记录。例如，如果医疗人员计划使用远程操作外科手术***850对具有升高的体重指数的65岁男性患者进行***切除术，则医疗人员可以在数据库830中搜索使用远程操作外科手术***850对其他年龄相仿且体重指数同样升高的男性进行***切除术的手术部位视频记录。

在一个方面，外科手术程序的视频记录由数据库830通信到可选的个人计算机820(如虚线所示)，并且可供计划执行外科手术的医疗人员查看。附加地或替代地，早期外科手术的视频记录可以由数据库830通信到远程操作外科手术***850，并且可用于术前或术中查看。在一个方面，视频记录由远程操作外科手术***850在位于外科医生控制台52上的显示器上显示。在另一方面，第一外科手术程序的视频记录显示在位于电子推车56上的显示器上。

基于云的视频数据库

在一个方面，数据库830使用云数据存储服务在远程服务器上实现，并且可由多个医疗服务提供者访问。参考图8，如虚线所示，外科手术规划工具800可选地包括远程操作外科手术***850(如虚线所示)和个人计算机840(如虚线所示)。在一个方面，远程操作外科手术***850类似于远程操作外科手术***850，并且个人计算机840类似于个人计算机820，除了远程操作外科手术***850和个人计算机820位于第一医疗保健提供者以及远程操作外科手术***850和个人计算机840位于第二位置或甚至位于第二医疗保健提供者处。在一个方面，第一患者需要对医疗状况进行外科手术治疗，并且在第一医疗保健提供者处使用远程操作外科手术***850进行外科手术程序。外科手术的视频记录存档在数据库830上。稍后，第二患者需要对相同医疗状况进行外科手术治疗，并计划在第二医疗保健提供者处使用远程操作外科手术***850接受手术治疗。在对第二患者执行外科手术程序之前，医疗人员通过安全互联网连接访问数据库830并在数据库830中搜索类似程序的手术部位视频记录。在一个方面，治疗第二患者的医疗人员能够从数据库830检索第一患者的外科手术程序的视频记录，而无需获得第一患者的身份的知识。以这种方式，保持第一患者的隐私。在一个方面，第一患者的外科手术程序的视频记录包括由治疗第一患者的医疗人员做出的突出显示和/或注释。

基于计算机的模式匹配与分析

外科手术规划工具800可包括以计算机可执行代码的形式实现的模式匹配和分析算法。在一个方面，模式匹配和分析算法存储在外科手术规划工具800的非易失性存储器设备中，并且被配置为分析存档在数据库830中的视频记录。如先前所讨论的，存档在数据库830中的每个视频记录可以用某些元数据信息标记和/或嵌入。该元数据信息可以包括患者信息，例如患者年龄、性别以及描述患者健康或病史的其他信息。另外，如先前所讨论的，元数据信息可包括由医疗人员做出的突出显示或注释。在一个方面，这些突出显示和注释与视频记录一起嵌入并与视频一起存档在数据库830中。

在一个方面，模式匹配和分析算法包括图像分析部件，其识别在存储在数据库830上的多个视频记录之间共享的形状和颜色的模式。模式匹配和分析算法然后检查与该视频记录子集相关联的标记的元数据以确定任何单词或短语是否经常与该子集内的视频相关联。通过模式匹配和分析算法执行的这些分析可用于帮助医疗人员确定患者解剖结构、优选外科手术方法、疾病状态、潜在并发症等。

外科手术信息图谱

图9是表示根据一些实施例的存储在医疗记录数据库830内的非暂时性存储设备904内的外科手术信息图谱902的说明性图。外科手术器械图谱存储与外科手术程序相关联产生的信息。例如，可以记录外科手术程序期间显示的图像以存储在信息图谱902中。一些视频图像可以是清晰的(即未增强的)，一些图像可以包括近带成像(NBI)信息，一些图像可以包含光学相干断层摄影(OCT)信息，一些图像可以包括拉曼光谱信息，一些图像可以包括荧光信息，一些图像可以包括高光谱成像信息，并且一些图像可以包括例如CT信息。此外，诸如外科手术器械运动信息的信息和诸如外科手术***致动状态和外科手术器械致动状态的外科手术阶段信息也被记录在外科手术程序中的不同点处。外科手术***致动状态包括***臂的运动位置、推车位置和与主控制位置相关的信息中的一个或多个。不同的外科手术器械具有不同的致动状态。外科手术器械致动状态包括器械运动学，其包括但不限于例如俯仰、偏航、滚动和钳口位置。在手术期间或手术之后，诸如外科医生或外科手术团队的其他成员的用户可以用指示特别感兴趣的解剖结构(例如血管、肿瘤、发育异常、神经或***)的元数据注释外科手术场景的记录视频图像信息，例如NBI图像、拉曼光谱图像、OCT图像、荧光图像或高光谱图像。例如，注释可包括标记到记录的运动图像信息的书面注释和/或视频记录中的图像的着色或突出显示(例如，传情画意(telestration))中一个或多个或其组合。所记录的信息用于构建外科手术信息图谱902，其提供手术图像信息、外科手术阶段信息之间的关联，与外科手术程序的实例相关联的信息存储在手术记录信息结构中。

图10是示出根据一些实施例的存储在外科手术信息图谱902内的示例性外科手术记录信息结构1006的某些细节的说明性图。患者健康记录字段(HR)1006-1提供关于要操作的患者的例如年龄、体重、血型、身高、性别和种族等的信息。医生信息字段(PI)1006-2提供关于执行个体操作的外科医生的信息，例如一般的经验水平和操作机器人辅助的外科手术***的经验水平。外科手术***标识符字段(SID)1006-3提供关于用于执行操作的诸如品牌、型号和序列号之类的外科手术***的信息。运动图像字段(MPI)1006-4提供诸如手术期间记录的运动图像的信息。外科手术阶段字段(SST)1006-5提供在手术期间记录的外科手术***致动状态信息和外科手术器械致动状态信息。NBI字段(NBI)1006-6提供诸如在手术期间使用NBI记录的电影图像的信息。拉曼字段(Ram)1006-7提供诸如在手术期间使用拉曼光谱记录的运动图像的信息。荧光字段(Flu)1006-8提供诸如在手术期间使用荧光记录的运动图像的信息。HSI字段(HIS)1006-9提供诸如在手术期间使用高光谱成像记录的运动图像的信息。外科手术注释字段(Ann)1006-10提供注释信息，例如与信息结构中表示的外科手术程序相关联的描述性信息或专家分析。

显示模式

如这里所使用的，外科手术场景的“清晰”图像是在没有特殊增强的情况下呈现的图像。存在许多显示模态以增强手术图像的显示，包括：例如，近带成像(NBI)、拉曼光谱、荧光、高光谱成像(HSI)和计算机断层扫描。每种增强技术都具有优势。

图11是表示根据一些实施例的由内窥镜显示设备101C的相机528捕获的用于在查看器31内显示的外科手术场景1100的示例清晰图像的说明性图。更具体地，由光源531产生的光从外科手术场景551反射并由相机528捕获，其产生图像第一信息，该信息可用于配置计算机58以产生外科手术场景的清晰显示图像。组织区域1102包括第一解剖对象1104和第二解剖对象1106。在示例外科手术场景1100中，第一解剖对象1104可包括例如***或子宫。第二解剖对象1106可包括例如神经、输尿管或子宫颈。第一外科手术器械1108和第二外科手术器械1100被示出设置在外科手术场景1100内。第一外科手术器械1108可包括例如镊子或针驱动器。第二外科手术器械1110可以包括剪刀或配备成例如递送单极、双极或消融能量的其他器械。

图12是表示图11的外科手术场景1100的示例NBI模态图像1200的说明性图，其中通过窄带成像显示模态增强第一解剖对象1104内的血管解剖结构1112的图像。窄带成像(NBI)是一种光学成像技术，其改善血管1112和组织表面下方的其他结构的可见性。NBI模态图像是通过在外科手术场景上照射滤光而产生的。更具体地，使用滤光器529对环境光531进行滤光，以提供特定的蓝色和绿色波长，在该波长处发生血红蛋白的峰值光吸收。反射光由相机528捕获，相机528产生相应的第二图像信息，其包括NBI模态图像信息。经滤光的光照射在解剖组织上，以增强血管的细节(其将显得非常暗)，从而允许其改善的可见性和改进的其他表面结构的识别。较短的波长仅穿透组织结构的顶层，而较长的波长穿透组织更深。较短的波长被表面附近的毛细血管吸收，并且特别适用于检测通常高度血管化的肿瘤。较长波长被位于组织内较深处的血管吸收，这与吸收较短波长光的较浅血管不同。更深入穿透的更长波长的光允许更好地理解位于距组织表面更远的可疑病变的脉管***。因此，NBI可以增强外科手术场景内的解剖对象内的血管结构的可见性。

图13是表示用相机528捕获的图11的示例拉曼光谱模态图像外科手术场景1100的说明性图，其中通过拉曼光谱显示模态增强第二解剖对象1106内的肿瘤解剖结构1114的图像。从外科手术场景反射的光由相机528捕获。计算机58被配置用于执行捕获的图像的拉曼光谱光学成像处理以产生第三(拉曼光谱)图像信息。拉曼光谱涉及基于反射光测量复杂生物样品的化学组成并产生拉曼光谱图像信息。例如，某些肿瘤组织1114具有比正常解剖组织更高的水含量，因此，基于其含水量可区别于周围组织。拉曼光谱提供关于组织化学组成的定量信息。具体而言，拉曼光谱是一种可用于通过振动分子观察光的非弹性散射并且可以提供细胞、组织或生物流体的化学指纹的技术。拉曼光谱依赖于分子对光的散射，并且可以使用可见光或近红外激光获得关于分子的振动模式的信息。获得拉曼光谱图像的常用方法是通过激光光斑对样品进行光栅扫描或扫描穿过样品的激光光斑，然后对每个拉曼光谱应用单变量或多变量光谱模型。因此，拉曼光谱可以基于组成化学成分增强解剖对象内的解剖结构的可见性。

荧光是用于在外科手术程序期间检测荧光标记结构的显示模态。例如，荧光可以用于突出显示发出荧光与不发出荧光的标记或未标记的组织结构的视觉图像。荧光引导手术(FGS)可以使用成像设备来执行，该设备提供来自颜色反射图像和荧光发射的实时同时信息。通过滤光从外科手术场景反射的光产生荧光模态图像。更具体地，一个或多个光源531用于激发和照亮解剖组织区域。相机528接收从外科手术场景反射的用与荧光团的发射光谱匹配的光学滤光器529滤光的光，并产生第四图像信息，其包括增强的荧光图像信息。

图14是表示使用高光谱成像显示模态显示的图11的外科手术场景1100的示例高光谱图像1400的说明性图。高光谱成像(HSI)结合了数字成像和光谱技术。高光谱相机533捕获从外科手术场景反射的光，其对于图像中的每个像素包括大量(通常为几十到几百个)连续光谱带的光强度(辐射)。因此，图像中的每个像素都包含连续光谱(辐射或反射)，并且可以用于以高精度和细节来表征场景中的对象。更具体地，对于图像的每个像素，HSI获取称为超立方体的三维数据集，其具有两个空间维度和一个谱维度。计算机58被配置用于执行处理，该处理在空间上解析由HSI获得的光谱成像，以提供关于组织生理学、形态学和组成的增强的视觉信息，以产生第五(HSI)图像信息。HSI可以提供比普通彩色相机更详细的外科手术场景的视觉图像，其通常仅获取对应于视觉原色红色、绿色和蓝色的三个不同光谱通道。HSI还提供基于传感器视野内的组织的化学组成来识别物体或疾病状况的能力。因此，高光谱成像导致基于其光谱特性在视觉上区分场景中的对象的能力大大提高。

图15是表示根据一些实施例的图11的示例外科手术场景1100的计算机断层摄影切片显示模态的说明性图。计算机断层扫描(CT)切片结合使用从不同角度拍摄的辐射源(通常是X射线辐射)产生的图像1500，以产生特定解剖对象的虚拟二维(平面)横截面图像切片1502，从而允许外科医生看到对象内部而无需切割。可以单独显示解剖对象内的不同三维深度处的横截面图像1502，以提供对象内部结构的视觉表示。

多模态显示格式

某些显示模态可以比其他显示模态更适合于成像某些类型的解剖结构。例如，使用NBI通常可以更明显地显示诸如表面脉管***或发育不良的解剖结构。然而，例如，使用拉曼光谱法可以更明显地显示诸如癌症边缘的疾病状态。此外，例如，可以经常使用荧光更明显地显示可以用荧光标记物标记或者响应其自身上具有不同发射的激发光(“内源性”)的解剖结构。此外，例如，使用高光谱成像通常可以更明显地显示具有独特光谱特性的解剖结构。

此外，某些显示模态可能比其他显示模态更适合在外科手术程序的某些阶段期间使用。更具体地，例如，在头部和颈部外科手术程序的初始规划阶段期间经常使用NBI显示器。拉曼光谱通常在切除后程序阶段使用，但当与拉曼活性颗粒结合时可以在体内使用。荧光经常用于组织切除外科手术阶段之前和之后。高光谱成像通常在外科手术程序的规划部分期间使用。

根据一些实施例，提供多种不同的显示格式，从中选择显示同时使用多个显示模态的外科手术场景。拼接格式将来自单个场景的两个或更多个不同显示模态的视频图像拼接在一起，从而产生具有使用不同显示模态表示的不同部分的单个外科手术场景。在拼接格式中，不同的图像模态用于表示外科手术场景的整体图像的不同部分，使得在整个图像的拼接区域内在任何给定点处仅可见一个图像模态。画中画(PiP)格式使用第一显示模态显示外科手术场景的第一主要(通常是全屏)视频图像，并使用第二显示模态显示显示器的一部分内的外科手术场景的缩小尺寸***视频(或静止)图像。叠加格式使用一种显示模态将图像叠加到使用不同显示模态的图像上。在叠加格式中，可以使用不同的图像模态来表示外科手术场景的整个图像的单个部分，使得叠加图像是部分透明的，以允许重叠部分在其下方可见。

拼接格式

图16是根据一些实施例的使用拼接格式组合的多个显示模态的图11的外科手术场景1100的说明性示例多模态显示。使用NBI模态产生外科手术场景的第一手术图像1600。使用拉曼光谱模态产生外科手术场景1100的第二图像1650。应注意，在第一图像1600中，某些血管结构1112易于看见，但第二解剖对象1106内的肿瘤结构1114不是清晰可见的。相反，在第二图像1650中，肿瘤结构1114易于看见，但血管结构1112不容易看见。产生第三图像1680，其中第二显示1650图像的选定部分1652和第一显示图像1600被拼接在一起。应当理解，使用NBI模态和拉曼光谱模态产生的两个图像可以在外科手术程序期间产生。根据一些实施例，显示规则可以确定一个图像模态的哪些部分被拼接成不同的图像模态。在图16的示例中，将第二显示图像1650的拉曼光谱显示模态的含肿瘤部分1652拼接成第一显示图像。因此，在图16的示例中，例如，在拉曼光谱模态中更容易看到的关键解剖结构的图像被拼接成NBI模态，其更适合于显示血管结构。

图17是根据一些实施例的使用拼接格式组合的多个显示模态的图11的外科手术场景1100的说明性替代示例多模态显示。使用NBI模态产生外科手术场景的第一图像1600。使用拉曼光谱模态产生外科手术场景1100的第二图像1650。在图17中，产生外科手术场景1100的第四显示图像1700，其中第一显示1600图像的选定部分1602和第二显示图像1650被拼接在一起。将包含重要血管图像1112的第一显示图像1600的NBI显示模态的部分1602拼接到第二显示图像中。因此，在NBI模态中更容易可见的关键解剖结构的图像被拼接成拉曼光谱模态，其更适合于显示例如肿瘤结构。

画中画格式

图18是根据一些实施例的使用利用画中画(PiP)格式组合的多个显示模态的图11的外科手术场景1100的说明性示例多模态显示。图18的手术图像对应于图16的手术图像。然而，在图18中，使用拉曼光谱模态产生的第二图像1650的部分1652被包括为使用NBI模态生成的主要第一图像1600内的缩小尺寸PiP图像1800。

图19是根据一些实施例的使用利用画中画(PiP)格式组合的多个显示模态的图11的外科手术场景1100的说明性替代示例多模态显示。图19的手术图像对应于图17的手术图像。然而，在图19中，使用NBI模态光谱模态产生的第一图像1600的部分1602作为缩小尺寸PiP图像1900包括在使用拉曼光谱模态产生的主要第二图像1650内。

注释格式

图20是根据一些实施例的使用来自利用注释格式的多个显示模态的信息的图11的外科手术场景1100的说明性示例显示。图20的手术图像对应于图16-17的手术图像。然而，在图20中，从使用拉曼光谱模态产生的第二图像1650的部分2000确定的信息作为注释2002被包括在使用NBI模态产生的主要第一图像1600内。示例注释提供了从第二图像1650和相应的解释性文本(例如，“肿瘤”)确定的覆盖肿瘤图像2002。

多模态显示的动态表示

图21A是表示根据一些实施例的动态呈现多模态手术图像的第一过程2100的说明性流程图。图21B是表示使用相机528捕获并存储在非暂时性存储设备2114中的可用于产生不同的图像模态图像的相应第一图像信息2112的说明性图。图21C是表示使用相机528捕获并存储在非暂时性存储设备2118中的可用于产生不同的图像模态图像部分的相应第二图像部分信息2116的说明性图。参考外科手术***10描述第一过程2100。

模态选择框2102-1到2102-n配置计算机处理器58以选择并产生第一到第n显示模态中的一个或多个。可以存储用于产生图像的信息以用于产生显示多个图像模态的复合多模态图像。本文描述的说明性实施例包括NBI、拉曼光谱、荧光、HSI、OCT和CT显示模态。应当理解，可能需要不同的图像数据来产生不同的显示模态。更具体地，不同的图像数据可能需要使用光谱的不同部分。例如，NBI模态图像通常需要某些蓝色和绿色波长。拉曼光谱图像通常需要不同的波长，这取决于感兴趣的组织。荧光图像通常需要可见和近红外波长。HSI通常需要整个可见光区和红外区的波长。因此，有时可以在外科手术程序的过程中分别捕获和处理不同图像模态的数据。例如，外科医生可以选择首先观察荧光图像并随后观察NBI图像，然后观察包括来自荧光和NBI图像二者的部分的复合多模态图像。

图21B中的存储设备2116存储示例NBI图像信息2120，其可用于配置计算机58以在查看器31内生成诸如图12的图像1200的全屏NBI模态图像。设备2116存储拉曼光谱信息2130，拉曼光谱信息2130可用于配置计算机58在查看器31内生成全屏幕拉曼模态图像，例如图13的图像1300。设备2116存储可用于配置计算机58以生成全屏荧光模态图像(未示出)的荧光信息2140。设备2116存储HSI信息2150，其可用于配置计算机58以在查看器31内生成诸如图14的图像1400的全屏HSI模态图像。

部分选择框2104-1到2104-n配置计算机58以选择和选择一个或多个所选显示模态的相应部分。可以选择不同图像模态的不同部分以在复合多模态图像中显示。例如，可以选择显示血管的NBI模态图像的一部分。可以选择显示肿瘤的拉曼光谱模态图像的不同部分。图21C中的存储设备2118存储示例NBI图像部分信息2122，其可用于配置计算机58以生成NBI模态图像部分，例如图17中所示的图像部分1602。图21C中的存储设备2118存储示例拉曼光谱图像部分信息2132，其可用于配置计算机58以产生拉曼光谱模态图像部分，例如图16中所示的图像部分1652。应当理解，在一些实施例中，图像部分信息2122被嵌入存储在图像部分信息2120内，并且图像部分信息2132被嵌入存储在图像信息2130中。

格式选择框2106配置计算机58以基于所选择的显示模态和相应的所选显示部分来选择多模态显示格式。框2108根据使用格式选择框2106选择的多模态显示格式，配置计算机58以同时显示单个外科手术场景的多个图像模态。

例如，在一些实施例中，模态选择框2102-1配置计算机58以选择和产生NBI图像模态。部分选择框2104-1配置计算机58以确定NBI图像内的某些解剖结构，例如，诸如血管。

另外，例如，在一些实施例中，模态选择框2102-n配置计算机58以选择拉曼光谱图像模态。部分选择框2104-n配置计算机58以确定拉曼图像内的某些解剖结构，例如，诸如肿瘤。

其他模态选择框(未示出)和其他部分选择框(未示出)选择其他显示模态，例如荧光或HSI，以及相应的解剖结构和每个的部分。

格式选择框2106确定模态是显示为主要(例如，全屏)还是显示为***部分，并确定要拼接在一起的模态、要显示为PiP的模态，并确定模态信息为用注释表示。显示生成框2108配置计算机58以使得在计算机显示屏上显示格式化的多模态图像。

图22是表示根据一些实施例的用于选择显示模态和所选显示模态的部分的子过程2200的细节的说明性流程图。参考外科手术***10描述子过程2200。在一些实施例中，子过程2200实现在图11中的虚线2110内示出的模态选择框2102-1到2102-n和部分选择框2104-1到2104-n。决策框2202配置计算机58以确定用户是否已选择显示模态。响应于确定用户已选择显示模态，框2204配置计算机58以选择包含感兴趣的解剖结构的图像的用户选择的显示模态的一部分。在使用框2204选择或响应于决策框2202确定用户未选择显示模态之后，控制流到框2206，框2206将计算机58配置为从外科手术***10接收外科手术阶段信息。在一些实施例中，外科手术阶段信息包括例如外科手术***致动状态信息和外科手术器械运动学信息。决策框2208配置计算机***58以确定所接收的外科手术阶段信息是否与对应于图像模态的图像选择规则匹配。响应于确定所接收的外科手术阶段信息与图像选择规则匹配，框2210配置计算机58以选择包含感兴趣的解剖结构的图像的匹配显示模态的一部分。响应于框2208确定没有外科手术阶段匹配，控制流回到决策框2202。

从图22中可以理解，在使用外科手术***10执行外科手术程序期间，可以在不同点处发生不同的用户选择和不同的外科手术阶段匹配。因此，过程2200可以在外科手术程序中的不同时间的选择并生成不同的图像模态和不同的部分。

图23是表示根据一些实施例的用于接收用户对图像模态的选择的子过程2300的细节的说明性流程图。参考外科手术***10描述子过程2300。在一些实施例中，子过程2300实现图22的决策制定框2202。决策框2302配置计算机58以确定是否提供用户输入给用户控制输入36以选择图像显示模态。响应于确定提供用户输入以控制输入36以选择图像模态，框2304配置计算机58以将用户选择的模态报告给框2204。响应于决策框2302确定没有提供用户输入到用户控制输入36，决策框2306配置计算机58以确定是否提供用户眼睛跟踪输入选择图像模态。响应于确定提供用户眼睛跟踪输入以选择图像模态，框2304配置计算机58以将用户选择的模态报告给框2204。在报告框2304之后或在决策框2306之后，无论哪种情况，控制流程都返回到框2206。

从图23中可以理解，在使用外科手术***10执行外科手术程序期间，可以在不同点处发生不同的用户选择。还应当理解，子过程2300在外科手术程序期间继续循环，以持续检查用户输入的变化。因此，过程2300可以在外科手术程序期间的不同时间从不同的图像模态中进行选择。

图24是表示根据一些实施例的在外科手术***AA的查看器31内显示的示例模态选择用户界面UI 2402的说明性图。说明性模态选择UI显示提供左列中的模态选择，并接收对右列的用户输入以指示用户的模态选择。在一些实施例中，用户使用控制输入36进行选择。在示例模态选择UI中，用户已经选择了NBI和荧光模态。图23的决策框2302配置计算机以确定用户使用图24的模态选择UI显示做出的任何模态选择是什么。

图25A-C是根据一些实施例的呈现二维眼睛跟踪(图25A-25B)和深度眼睛跟踪(图25C)的说明性图。设置在用户注视查看器31的位置附近的眼睛传感器47跟踪用户眼睛运动。参考图25A，全屏显示器具有第一模态图像2500，例如清晰模态并显示解剖结构2502，并且具有第一拼接入部分2504，其具有以用户的眼睛2508凝视的第一区域2506附近为中心的第二模态，例如HSI。参照图25B，具有显示解剖结构2502的第一模态图像2500的全屏显示器具有第二拼接入部分2552，其具有以用户眼睛2508凝视的第二区域2556附近为中心的第二模态。根据一些实施例，需要持续至少两秒的用户凝视来触发用于在用户凝视附近的区域中生成拼接入部分的选项。

应当理解，由于图像清晰度和图像中包括的详细信息，可能需要HSI模态图像。然而，HSI图像通常需要显著的处理能力来产生。仅为用户凝视的显示器的那部分生成HSI模态图像降低了处理要求，这可以提高整体图像处理效率。在一些实施例中，可以致动控制输入以选择平面眼睛跟踪操作模式。决策框2306配置计算机以确定用户做出的任何平面眼睛跟踪选择是什么。

参考图25C，屏幕显示示出了在显示器中示出的解剖结构的CT深度切片的堆叠旁边的解剖结构2502。用户的眼睛凝视被示出聚焦在第一深度2582。用户的眼睛凝视也被示出聚焦在第二深度2584。响应于用户的眼睛凝视第一深度2582，对应于第一深度2582的第一CT切片2592被覆盖到示出解剖结构2502的屏幕显示2500上。响应用户的第二眼睛凝视，对应于第二深度2584的第二CT切片2594覆盖在显示解剖结构2502的屏幕显示2500上。根据一些实施例，需要持续至少两秒的用户凝视来触发在用户凝视的深度处生成重叠的CT切片。在一些实施例中，可以致动控制输入以选择深度眼睛跟踪操作模式。决策框2306配置计算机以确定用户做出的任何深度眼睛跟踪选择是什么。

图26是表示根据一些实施例的用于选择多模态显示格式的子过程2600的细节的说明性流程图。参考外科手术***10描述子过程2300。在一些实施例中，子过程2300实现图11的格式选择框2106。决策框2602配置计算机58以确定是否选择了多个模态。响应于未选择多个模态的确定，控制流回到决策框2602。响应于确定选择了多个模态，决策框2604确定用户是否指定用户选择的格式。响应于确定用户指定用户选择的格式，框2606将用户选择的格式报告给框2108，并且控制之后流回到决策模块2602。响应于确定用户尚未指定用户选择的格式优先级，框2608向框2108报告预设格式优先级，并且控制接下来流回到决策框202。

从图26中可以理解，用户可以在使用外科手术***10执行外科手术程序期间在不同点处指定不同格式和格式优先级。还将理解，子过程2600在外科手术程序期间继续循环，用于持续检查用户格式选择的变化。因此，过程2600可以在外科手术程序期间的不同时间从不同模态格式中进行选择。

图27是表示根据一些实施例的在外科手术***AA的查看器31内显示的示例格式选择用户界面UI 2702的说明性图。说明性格式选择UI 2702提供呈现优先级部分2704，其列出左列中的模态并接收对中间和右列的用户输入以指示用户的呈现优先级选择。在示例呈现优先级部分2706中，用户已经为主要呈现选择了清晰和NBI(其在一些实施例中是全屏的)并且已经选择了拉曼、荧光和HSI用于***呈现(拼接、PiP或注释)。NBI和清晰的x1和x2分别表示在NBI和清晰之间的示例优先级，其中NBI具有更高的优先级。例如，根据示例优先次序，如果存在NBI模态，则NBI模态将是主要的，但是如果不存在NBI，则清晰模态将是主要模态。说明性格式选择UI 2702还提供呈现样式部分2706，其列出左列中的呈现样式(拼接、PiP或注释)并接收对右列的用户输入以指示用户的呈现样式选择。在示例呈现样式部分2706中，用户已选择PiP。因此，在示例用户格式选择中，NBI被呈现为主要的，并且在NBI屏幕内的PiP中呈现拉曼、荧光和HSI中的一个或多个。图26的决策框2608配置计算机以确定用户使用图27的格式选择UI显示做出的任何格式优先级选择是什么。

图28是表示根据一些实施例的用于确定外科手术阶段信息和对应的外科手术阶段规则是否一起指示显示模态的子过程2800的细节的说明性流程图。参考外科手术***10描述子过程2800。在一些实施例中，子过程2800实现图22的决策框2208。框2802配置计算机58以接收外科手术阶段信息，例如***致动状态和外科手术器械运动学。在一些实施例中，外科手术阶段信息可包括附加信息，例如患者健康记录信息和外科医生信息(例如经验水平)。框2804配置计算机以接收外科手术程序的外科手术阶段规则。框2806配置计算机以将所接收的外科手术阶段规则应用于所接收的外科手术阶段信息，以确定规则是否指示所接收的外科手术阶段信息与显示模态匹配。框2808配置计算机以报告显示模态(如果对应)。

图29是表示根据一些实施例的示例信息结构2902的说明性图，该示例信息结构2902包括存储在计算机***58内的存储设备中的外科手术阶段签名以及相应模态。相应的外科手术阶段签名对应于各自的显示模态。根据一些实施例，在使用外科手术***的外科手术期间紧密匹配外科手术签名的外科手术阶段信息的发生可以指示外科手术***应当使用对应于匹配的外科手术阶段向量的显示模态。根据一些实施例，机器学***和器械的先前运动的向量。

再次参考图28，框2806执行作为规则的外科手术阶段签名与接收的外科手术阶段信息之间的相关性，以确定所接收的外科手术阶段信息与外科手术阶段签名之间是否存在足够接近的匹配以触发报告以使用与所接收的外科手术阶段信息相对应的显示模态。应当理解，在机器学习实施例中，基于所接收的器械运动学和***状态信息等之间的相似性范围以及由外科手术状态签名表示的规则来确定匹配。因此，在一些实施例中，例如，确定在距特定规则的某个阈值距离内的外科手术阶段信息以匹配该规则，其触发对相应显示模态的选择。

图30是表示根据一些实施例的用于生成图像模态部分的子过程3000的细节的说明性流程图。参考外科手术***10描述子过程3000。在一些实施例中，子过程3000实现图22的框2204和2210。框3002配置计算机以接收使用相机528捕获的图像信息，用于使用外科手术***进行的手术的选择的图像模态。所接收的图像信息可包括例如解剖结构位置、边缘评估和功能信息。在一些实施例中，图像信息可以伴随有附加信息，例如患者健康记录信息和外科医生信息(例如经验水平)。框3004配置计算机以接收图像模态规则。框3005配置计算机***以接收识别对应于所接收的图像信息和所接收的规则的图像模态的信息。框3006配置计算机以将接收的图像模态规则应用于接收的图像信息，以识别可能是外科医生最感兴趣的图像模态的一部分，并且因此，应当选择该部分用于适当时***另一图像中以表征重要部分。框3008配置计算机以报告该部分，如果识别出该部分对应的部分的话。

应当理解，对于当前由执行外科手术程序的外科手术***10使用的每个图像模态，分别执行子过程3000。更具体地，例如，如果当前仅使用NBI和拉曼光谱图像模态，则针对NBI图像信息和NBI规则以及拉曼图像信息和拉曼规则分别执行子过程3000。此外，应当理解，可以针对不同的图像模态识别整个场景的不同部分。例如，NBI模式在识别血管方面可以是优越的，并且拉曼模态在识别肿瘤方面可以是优越的。

图31是表示根据一些实施例的示例信息结构3102的说明性图，其包括存储在计算机***58内的存储设备中的图像签名以及相应的注释(Annot)。各个图像签名对应于各自的解剖结构，例如，诸如血管或肿瘤，其可能是外科医生在手术期间特别感兴趣的。注释可以提供对手术期间产生的手术图像的潜在相关性的解释，该手术图像和与注释相关联的图像签名紧密匹配。选择与图像签名匹配的图像模态信息的一部分以(例如，通过拼接、PiP或注释)***到在查看器31内显示的整体外科手术场景。

根据一些实施例，机器学习技术可用于基于存储在手术信息图谱902内的信息生成图像签名。更具体地，例如，分类器可与专家知识一起使用以将图像签名与图像模态相关联。每个图像签名(SigIM)包括多维向量。向量包括指示解剖结构的值。在一些实施例中，基于在图像模态中捕获的诸如解剖结构形状、光谱签名、深度和颜色信息的分析的因素来产生图像签名。应当理解，不同的图像模态可以适合于捕获不同解剖结构的图像。

再次参考图30，框3006执行作为规则的图像签名与接收的图像信息之间的相关性，以确定在接收的图像信息和图像签名之间是否存在足够接近的匹配以触发报告使用对应于所接收的图像信息的图像的一部分。应当理解，在机器学习实施例中，基于所接收的图像信息与由图像签名表示的规则之间的相似性范围来确定匹配。因此，在一些实施例中，例如，确定距特定规则在某个阈值距离内的图像信息以匹配该规则，该规则触发对图像的对应部分的选择以在另一图像内显示。

尽管已经示出和描述了说明性实施例，但是在前述公开中可以预期广泛的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而无需相应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本公开的范围应仅由所附权利要求限定，并且应当理解权利要求应当以与本文公开的实施例的范围一致的方式被广泛地解释。

Claims (30)

1.一种产生外科手术场景的多模态图像的方法，包括：

使用至少一个相机捕获从所述外科手术场景反射的光；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；

至少部分地基于第二模态图像的选定部分内包括的解剖结构信息选择所述第二模态图像的一部分；和

配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分，

其中选择所述第二模态图像的所述一部分包括将所述第二模态图像的所述选定部分内包括的所述解剖结构信息与存储在非暂时性存储设备中的至少部分基于解剖结构形状产生的图像签名信息进行比较。

2.根据权利要求1所述的方法，

其中，选择所述第二模态图像的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的多个图像签名进行比较。

3.根据权利要求1所述的方法，

其中配置包括配置到所述计算机以将所述第二模态图像的所述选定部分拼接到所述第一模态图像中以代替所述第一模态图像的对应部分。

4.根据权利要求1所述的方法，

其中配置包括配置到所述计算机以在所述显示器内同时包括所述第二模态图像的所述选定部分的缩小尺寸图像和所述第一模态图像。

5.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像信息包括增强图像。

6.根据权利要求1所述的方法，

其中所述第一模态图像包括增强图像；和

其中所述第二模态图像包括增强图像。

7.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括窄带图像。

8.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括拉曼光谱图像。

9.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括荧光图像。

10.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括高光谱图像。

11.根据权利要求1所述的方法，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括光学相干断层扫描图像。

12.根据权利要求1所述的方法，还包括：

在所述计算机处接收格式选择；和

其中配置包括配置到所述计算机以在所述显示器内以所选择的格式同时产生所述外科手术场景的所述第一模态图像的所述至少一部分和所述第二模态图像的所述选定部分。

13.一种产生外科手术场景的多模态图像的方法，包括：

使用至少一个相机捕获从所述外科手术场景反射的光；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一增强模态图像的第一图像信息；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二增强模态图像的第二图像信息；

在计算机处接收格式选择，该格式选择将第一增强模态图像和第二增强模态图像中的一个指定为主要像并将所述第一增强模态图像和所述第二增强模态图像中的另一个指定为***像；

选择被指定为***像的所述增强模态图像的一部分，该选择至少部分地基于指定为***像的所述增强模态图像的选定部分内包括的解剖结构信息；和

配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生被指定为主要像的所述增强模态图像的至少一部分和被指定为***像的所述增强模态图像的所述选定部分，

其中选择被指定为***像的所述增强模态图像的所述一部分包括将被指定为***像的所述增强模态图像的所述选定部分内包括的所述解剖结构信息与存储在非暂时性存储设备中的至少部分基于解剖结构形状产生的图像签名信息进行比较。

14.根据权利要求13所述的方法，

其中配置包括配置成将被指定为***像的所述增强模态图像的所述选定部分拼接到被指定为主要像的所述增强模态图像的所述至少一部分中，以代替被指定为主要像的所述增强模态图像的所述至少一部分的相应部分。

15.根据权利要求13所述的方法，

其中配置包括配置为在所述显示器内同时包括指定为***像的所述增强模态图像的所述选定部分的缩小尺寸图像和被指定为主要像的所述增强模态图像的所述至少一部分。

16.一种用于产生外科手术场景的多模态图像的***，包括：

处理器；

非暂时性存储设备，其保持在所述处理器上可执行的指令集，以使外科手术***执行包括以下的操作：

使用至少一个相机捕获从所述外科手术场景反射的光；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；

选择所述第二模态图像的一部分，该选择至少部分地基于所述第二模态图像的选定部分内包括的解剖结构信息；和

配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分，

其中选择所述第二模态图像的所述一部分包括将所述第二模态图像的所述选定部分内包括的所述解剖结构信息与存储在非暂时性存储设备中的至少部分基于解剖结构形状产生的图像签名信息进行比较。

17.根据权利要求16所述的***，

其中，选择所述第二模态图像的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的多个图像签名进行比较。

18.根据权利要求16所述的***，

其中配置包括配置到所述计算机以将所述第二模态图像的所述选定部分拼接到所述第一模态图像中以代替所述第一模态图像的对应部分。

19.根据权利要求16所述的***，

其中配置包括配置到所述计算机以在所述显示器内同时包括所述第二模态图像的所述选定部分的缩小尺寸图像和所述第一模态图像。

20.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括增强图像。

21.根据权利要求16所述的***，

其中所述第一模态图像包括增强图像；和

其中所述第二模态图像包括增强图像。

22.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括窄带图像。

23.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括拉曼光谱图像。

24.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括荧光图像。

25.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括高光谱图像。

26.根据权利要求16所述的***，

其中所述第一模态图像包括清晰图像；和

其中所述第二模态图像包括光学相干断层扫描图像。

27.根据权利要求16所述的***，还包括：

在所述计算机上接收格式选择；和

其中配置包括配置到所述计算机以在所述显示器内以所选择的格式同时产生所述外科手术场景的所述第一模态图像的所述至少一部分和所述第二模态图像的所述选定部分。

28.一种用于产生外科手术场景的多模态图像的***，包括：

处理器；

非暂时性存储设备，其保持在所述处理器上可执行的指令集，以使外科手术***执行包括以下的操作：

使用至少一个相机捕获从所述外科手术场景反射的光；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一增强模态图像的第一图像信息；

基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二增强模态图像的第二图像信息；

在计算机上接收格式选择，该格式选择将第一增强模态图像和第二增强模态图像中的一个指定为主要像并将所述第一增强模态图像和所述第二增强模态图像中的另一个指定为***像；

选择被指定为***像的所述增强模态图像的一部分，该选择至少部分地基于被指定为***像的所述增强模态图像的选定部分内包括的解剖结构信息；和

配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生被指定为主要像的所述增强模态图像的至少一部分和被指定为***像的所述增强模态图像的所述选定部分，

其中选择被指定为***像的所述增强模态图像的所述一部分包括将被指定为***像的所述增强模态图像的所述选定部分内包括的所述解剖结构信息与存储在非暂时性存储设备中的至少部分基于解剖结构形状产生的图像签名信息进行比较。

29.根据权利要求28所述的***，

其中配置包括配置以将被指定为***像的所述增强模态图像的所述选定部分拼接到被指定为主要像的所述增强模态图像的所述至少一部分中，以代替被指定为主要像的所述增强模态图像的所述至少一部分的对应部分。

30.根据权利要求28所述的***，

其中配置包括配置以在所述显示器内同时包括被指定为***像的所述增强模态图像的所述选定部分的缩小尺寸图像和被指定为主要像的所述增强模态图像的所述至少一部分。

Images