CN114830638A - 用于具有空间记忆的远程图解的***和方法 - Google Patents

Abstract

示例性***被配置为检测用户输入，该用户输入指导要在描绘场景内的表面的图像内绘制的远程图解元件；基于表示场景的深度图的深度数据并且在描绘场景内的表面的三维(3D)图像内呈现远程图解元件；记录场景内的在其处将远程图解元件呈现在3D图像内的3D位置；检测移除在3D图像内呈现的远程图解元件的远程图解终止事件；并且在远程图解终止事件之后指示在3D位置处再次呈现远程图解元件的选项。

Description

用于具有空间记忆的远程图解的***和方法

相关申请

本申请要求2019年12月30日提交的美国临时专利申请第62/954,823号的优先权，其内容通过引用整体并入本文。

技术领域

背景技术

计算机辅助手术***通常包括用户控制***，该用户控制***被配置为便于外科医生远程控制用于执行手术程序的一个或多个手术器械。在一些配置中，用户控制***包括具有两个显示设备的立体查看器，所述显示设备被配置为在手术程序期间向外科医生展现手术场景的三维(“3D”)图像。3D图像在手术程序期间为外科医生提供深度感知。手术场景的二维(“2D”)图像可以通过单独的显示设备同时展现给其他手术团队成员(例如，医疗助理)。以这种方式，手术团队成员能够可视正在执行的程序并在必要时提供帮助。

例如，在某些情况下，手术团队成员可能希望使场景中的某些东西(例如，组织或对象)引起外科医生的注意。为此，手术团队成员可以在2D图像上绘制对象(例如，围绕感兴趣的组织描绘的圆圈)。使用远程图解/远程演示(telestration)技术，绘制的对象可以显示在包括在立体查看器中的显示设备之一上，以便外科医生能够看到绘制的内容。

不幸的是，因为所绘制的对象(在本文中也被称为远程图解/远程演示(telestration)元件)是2D的，所以所绘制的对象可能看起来是“浮动的”，或者没有真正集成到外科医生查看的3D图像中。此外，当在手术会话期间存在由(一个或多个)手术团队成员绘制的多个远程图解元件(例如，多个绘制的对象)时，外科医生可能难以记住这些远程图解元件旨在传达的所有信息。

发明内容

以下描述展现本文描述的***和方法的一个或多个方面的简化总结。该总结不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的重要或关键要素，也不旨在描绘任何或所有方面的范围。其唯一目的是展现本文描述的***和方法的一个或多个方面，作为下文展现的详细描述的前序。

示例性***包括存储指令的存储器和处理器，该处理器通信地耦合到存储器并且被配置为执行指令以：检测用户输入，该用户输入指导要在描绘场景内的表面的图像内绘制的远程图解元件；基于表示场景的深度图的深度数据并且在描绘场景内的表面的3D图像内呈现/渲染(render)远程图解元件(例如，在视觉上显示为与表面物理接触)；记录场景内的3D位置，在3D位置处将远程图解元件呈现在3D图像内；检测将远程图解元件从被呈现在3D图像内移除的远程图解终止事件；并且在远程图解终止事件之后指示在3D位置处再次呈现远程图解元件的选项。

另一个示例性***包括存储指令的存储器和处理器，该处理器通信地耦合到存储器并且被配置为执行指令以：检测用户输入，该用户输入指导要在描绘场景的第一图像内绘制的远程图解元件；响应于用户输入，在描绘场景的第二图像内呈现远程图解元件；记录场景内的位置，在该位置处远程图解元件被呈现在第二图像内；检测将呈现在第二图像内的远程图解元件移除的远程图解终止事件；并且在远程图解终止事件之后并在第二图像内指示在该位置处在第二图像内再次呈现远程图解元件的选项。

一种示例性方法包括通过远程图解元件管理***检测用户输入，该用户输入指导要在描绘场景内的表面的图像内绘制的远程图解元件；由远程图解元件管理***基于表示场景的深度图的深度数据并且在描绘场景内的表面的3D图像内呈现远程图解元件；由远程图解元件管理***记录场景内的3D位置，在该3D位置处，远程图解元件被呈现在3D图像内；由远程图解元件管理***检测远程图解终止事件，该远程图解终止事件移除在3D图像内呈现的远程图解元件；并且在远程图解终止事件之后由远程图解元件管理***指示在3D位置处再次呈现远程图解元件的选项。

示例性非暂时性计算机可读介质存储指令，这些指令在被执行时指导计算设备的处理器：检测用户输入，该用户输入指导要在描绘场景内的表面的图像内绘制的远程图解元件；基于表示场景的深度图的深度数据并且在描绘场景内的表面的3D图像内呈现远程图解元件；记录场景内的3D位置，在该3D位置处远程图解元件被呈现在3D图像内；检测远程图解终止事件，该远程图解终止事件移除在3D图像内呈现的远程图解元件；并且在远程图解终止事件之后指示在3D位置处再次呈现远程图解元件的选项。

附图说明

随附的附图说明了各种实施例并且是说明书的一部分。图示的实施例仅仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。

图1图示了根据本文描述的原理的示例性远程图解元件管理***。

图2示出了根据本文描述的原理的示例性配置，其中***被配置为识别由成像设备获取的图像内的3D位置，并且该3D位置描绘了将在其上呈现/渲染(render)远程图解元件的表面。

图3图示了根据本文描述的原理的示例性配置，其中成像设备包括可见光相机和深度传感器。

图4图示了根据本文描述的原理的示例性配置，其中深度传感器由可见光相机实现。

图5示出了示例性配置，其中***根据本文描述的原理从术前图像源获得深度数据。

图6-图8图示了根据本文描述的原理在2D图像上绘制并在3D图像内呈现的示例性远程图解元件。

图9图示了根据本文描述的原理的与图像内的远程图解元件相关联的示例性可选图形指示符和示例性时间戳。

图10图示了根据本文描述的原理的指向远程图解元件的位置的示例性定向图形指示符。

图11图示了根据本文描述的原理的示例性方法。

图12示出了根据本文所述原理的示例性计算机辅助手术***。

图13图示了根据本文描述的原理的示例性计算设备。

具体实施方式

本文描述了远程元件管理***和方法。如本文所述，示例性远程图解元件管理***可以检测用户输入，该用户输入指导要在描绘场景(例如，与患者相关的手术区域)内的表面(例如，组织表面)的图像(例如，在2D图像或3D图像上)内绘制的远程图解元件。基于表示场景的深度图的深度数据并且在描绘场景内的表面的3D图像内，远程图解元件管理***可以呈现远程图解元件(例如，在视觉上表现为与表面物理接触)。远程图解元件管理***可以记录场景内的3D位置，在该3D位置处，远程图解元件被呈现在3D图像内，检测将呈现在3D图像内远程图解元件移除的远程图解终止事件，并且在远程图解终止事件之后(例如，图形地或声音地)指示在该3D位置处再次呈现远程图解元件的选项。

作为另一个示例，示例性远程图解元件管理***可以检测指导要在描绘场景的第一图像(例如，2D图像或3D图像)内绘制的远程图解元件的用户输入，并且，响应于用户输入，在描绘场景的第二图像(例如，3D图像)内呈现远程图解元件。远程图解元件管理***可以记录场景内的位置(例如，3D位置)，在该3D位置处远程图解元件被呈现在第二图像内，检测将呈现在第二图像内的远程图解元件移除的远程图解终止事件，并且在远程图解终止事件之后并在第二图像内指示在该位置处再次在第二图像内呈现远程图解元件的选项。

本文描述的***和方法有利地基于二维的绘制呈现具有空间记忆的三维的远程图解元件，以便促进外科医生和一个或多个其他手术团队成员(例如指导者、医疗助理、护士等)之间的通信。如本文所述，呈现的3D远程图解元件可以解释在其上呈现3D远程图解元件的表面(例如，解剖表面)的峰、谷、轮廓和/或其他深度变化。本文描述的***和方法记录呈现远程图解元件的3D位置以提供与呈现的远程图解元件相关联的空间信息，该空间信息可用于在从3D图像中移除呈现的远程图解元件之后再次呈现远程图解元件。

本文描述的***和方法还可以有利地记录指示何时以及由谁呈现远程图解元件的时间戳和/或其他元数据，以提供与呈现的远程图解元件相关联的时间、用户和/或其他类型的信息。这样的时间戳和/或其他元数据可用于在从3D图像中移除所呈现的远程图解元件之后提供关于远程图解元件的时间和用户信息。

本文所述的***和方法还可有利地提供用于选择对象和/或将基准标记放置在第一图像(例如，2D或3D图像)内并指示对象的选择和/或基准标记在第二图像(例如，3D图像)内的放置。与对象选择和/或基准标记相关联的空间和/或时间信息也可以用于促进手术团队成员之间的通信。

本文所述的***和方法的这些和其他优点和益处将在本文中变得明显。

如本文所使用的，远程图解元件是指由用户放置在第一图像(例如，2D图像或3D图像)内的任何绘图或图形项目，该第一图像将在对应的第二图像(例如，3D图像)内呈现和/或用于在第二图像内的对象选择。例如，远程图解元件(诸如形状、单词、符号等)可以由用户在显示场景的2D图像的监视器或其他显示设备上绘制，并且通过使用远程图解技术呈现在用户控制***的立体查看器中显示的场景的3D图像中。

在其他示例中，可以在2D图像上绘制诸如圆形或其他形状的远程图解元件以选择2D图像内的对象。分类启发法(heuristic)(例如，分割、机器学习等)可以确定所绘制的远程图解元件旨在选择对象并以图形方式指示在对应的3D图像内的对象的选择。

图1图示了配置为执行本文所述的各种操作的示例性远程图解元件管理***100(“***100”)。如图所示，***100可包括但不限于选择性地且通信地彼此耦合的存储设施102和处理设施104。设施102和104可各自包括硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中供处理器执行的指令等)或由硬件和/或软件部件实现。例如，设施102和/或104可以由计算机辅助手术***中的任何部件实现。作为另一个示例，设施102和/或104可以由与计算机辅助手术***分离并且通信地耦合到计算机辅助手术***的计算设备来实现。在一些示例中，设施102和104可以分布在多个设备和/或多个方位之间，因为可以服务于特定实现方式。

存储设施102可以维护(例如，存储)由处理设施104用来执行这里描述的操作中的一个或多个的可执行数据。例如，存储设施102可以存储指令106，该指令106可以由处理设施104执行以执行这里描述的操作中的一个或多个。指令106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实现。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。

处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)这里描述的各种操作。

例如，处理设施104可以被配置为：检测用户输入，该用户输入指导将要在描绘场景内的表面的图像内绘制的远程图解元件；基于表示场景的深度图的深度数据并且在描绘场景内的表面的3D图像内呈现远程图解元件；记录场景内的3D位置，在3D位置处在3D图像内呈现远程图解元件；检测将远程图解元件从被呈现在3D图像内移除的远程图解终止事件；并且在远程图解终止事件之后指示在3D位置处再次呈现远程图解元件的选项。

作为另一个示例，处理设施104可以被配置为：检测用户输入，该用户输入指导要在描绘场景的第一图像内绘制的远程图解元件；响应于用户输入，在描绘场景的第二图像内呈现远程图解元件；记录场景内的位置，在该位置处远程图解元件被呈现在第二图像内；检测将远程图解元件从被呈现在第二图像内移除的远程图解终止事件；并且在远程图解终止事件之后并在第二图像内指示在该位置处再次在第二图像内呈现远程图解元件的选项。

作为另一个示例，处理设施104可以被配置为：访问表示由成像设备获取的并且描绘患者的内部空间的图像的图像数据；获得表示由成像设备获取的图像中描绘的内部空间的深度图的深度数据；基于图像数据和深度数据，识别描绘了要在其上呈现远程图解元件的表面(例如，解剖表面)的3D图像内的3D位置；并指示显示设备以在3D图像内的已识别的3D位置处呈现远程图解元件。

本文描述了可由***100(例如，处理设施104)执行的这些和其他操作。

图2图示了示例性配置200，其中***100被配置为识别由成像设备获取的图像内的3D位置，并且该示例性配置200描绘了要在其上呈现远程图解元件的表面。如图所示，***100可以访问图像数据202，该图像数据202表示由成像设备获取的图像并且描绘了患者的内部空间。***100还可以获得深度数据204，该深度数据204表示由成像设备获取的图像中描绘的内部空间的深度图。基于图像数据202、深度数据204和指示要在2D图像上绘制的远程图解元件的用户输入，***100可以识别描绘了要在其上呈现远程图解元件的表面的3D图像内的3D位置，并且输出表示识别的3D位置的3D位置数据206。

3D位置数据206可以是任何合适的格式。例如，3D位置数据206可以包括表示像素的3D表面顶点，这些像素描绘了在3D图像内将要在其上呈现远程图解元件的表面。3D位置数据206还可以包括表示被检测为用户输入的像素并且与3D表面顶点相关或映射的2D像素坐标，该用户输入指导要在2D图像上绘制的远程图解元件。

现在将描述可以生成图像数据202、深度数据204和3D位置数据206的示例性方式。

图3图示了示例性配置300，其中成像设备302包括被配置为生成和输出图像数据202的可见光相机304和被配置为生成和输出深度数据204的深度传感器306。

成像设备302可以由内窥镜或被配置为捕捉场景图像的其他相机设备来实现。在一些示例中，成像设备302可以被配置为附接到计算机辅助手术***并由其控制。在替代示例中，成像设备302可以是手持的并且由操作者(例如，外科医生)手动操作。

在一些示例中，由成像设备302捕获的场景可以包括与患者相关联的手术区域。在某些示例中，手术区域可以完全设置在患者体内，并且可以包括患者体内的区域，该区域位于或接近计划执行、正在执行或已经执行的手术程序的位置。例如，对于在患者体内的组织上执行的微创手术程序，手术区域可以包括组织、组织下方的解剖结构以及组织周围的空间，例如，用于执行手术程序的手术器械所位于的空间。在某些示例性实施方式中，完全设置在患者体内的手术区域可以称为“内部空间”。如本文所述，患者的任何内部解剖结构(例如，血管、器官和/或组织)和/或位于内部空间中的手术器械可以被称为对象和/或结构。

可见光相机304(“相机304”)被配置为生成表示场景的二维可见光图像的图像数据202。相机304可以由任何合适的图像传感器实现，例如电荷耦合器件(“CCD”)图像传感器、互补金属氧化物半导体(“CMOS”)图像传感器、高光谱相机、多光谱相机或类似物。

深度传感器306可以由被配置为生成深度数据204的任何合适的传感器实现。例如，深度传感器306可以由飞行时间传感器、结构光传感器、干涉仪、高光谱相机、多光谱相机和/或可以服务于特定实现方式的被配置为获取深度数据的任何其他合适的传感器。在深度传感器306由飞行时间传感器实现的情况下，飞行时间传感器可以由一个或多个光电探测器(例如，一个或多个单光子雪崩二极管(“SPAD”)探测器)、CCD传感器、CMOS传感器和/或任何其他合适的配置实现。在图3的示例中，深度传感器306与相机304分离(即物理上不同)。

在配置300中，***100可以通过指导相机304获取图像数据202并从相机304接收图像数据202来获得图像数据202。同样，***100可以通过指导深度传感器306获取深度数据204并从深度传感器306接收深度数据204来获得深度数据204。

为此，在配置300中，***100通过双向通信链路308通信地耦合到成像设备302并且通过通信链路312通信地耦合到照明***310。通信链路308和312可以各自由可以服务于特定的实现方式的任何合适的有线和/或无线通信介质来实现。如本文所述，***100可以使用通信链路308和312来指导相机304和深度传感器306获取图像数据202和深度数据204并接收图像数据202和深度数据204。

照明***310可以被配置为(例如，在***100的方向)发射用于照明要由成像设备302成像的场景的光314。照明***310发射的光314可以包括可见光和/或不可见光(例如红外光)。如图所示，光314可以通过成像设备302传播到场景(例如，通过成像设备302内的照明通道，该照明通道可以由一根或多根光纤、光导、透镜等实现)。

如图所示，照明***310发射的光314可以在由成像设备302成像的场景内从表面316反射。在成像设备302瞄准患者的内部空间的情况下，表面316表示内部空间内的表面(例如，解剖表面)。

相机304和深度传感器306可以各自检测反射光314。相机304可以被配置为基于检测到的光生成表示包括表面316的场景的二维可见光图像的图像数据202。深度传感器306可以被配置为基于检测到的光生成深度数据204。图像数据202和深度数据204可以各自具有任何合适的格式。

为了生成场景的立体图像，***100可以指导照明***310发射光314。***100还可以激活(例如，打开)可见光相机304和深度传感器306。光314传播到场景并且从表面316(以及，在一些示例中，场景中的一个或多个其他表面)反射。相机304和深度传感器306都检测反射的光314。

相机304(和/或包括在成像设备302中的其他电路)可以基于检测到的光314生成表示场景的二维可见光图像的图像数据202。这可以以任何合适的方式来执行。可见光相机304(和/或包括在成像设备302中的其他电路)可以将图像数据202传输到***100。这也可以以任何合适的方式执行。

深度传感器306可以基于检测到的光314生成表示场景的深度图(例如，表面316的深度图)的深度数据204。这可以以任何合适的方式来执行。例如，深度传感器306可以测量光314的光子从照明***310行进到深度传感器306所花费的时间量。基于该时间量，深度传感器306可以确定表面316相对于深度传感器306的位置的深度。表示该深度的数据可以一任何合适的方式在深度数据204中表示。例如，由深度数据204表示的深度图可以包括与图像中的每个像素对应的深度值(例如，Z缓冲值)的阵列。

深度传感器306(和/或包括在成像设备302中的其他电路)可以将深度数据204传输到***100。这可以以任何合适的方式执行。

***100可以接收图像数据202和深度数据204并且对图像数据202和深度数据204执行一个或多个处理操作。例如，如下文将更详细描述的，***100可以基于图像数据202和深度数据204生成3D位置数据206。

作为另一示例，***100可以基于图像数据202和深度数据204生成表示场景的右侧透视图像和表示场景的左侧透视图像。这可以以任何合适的方式来执行。***100然后可以指导显示设备以形成场景的立体图像的方式同时显示右侧和左侧透视图像。在一些示例中，显示设备被包括在计算机辅助手术***204中和/或通信地耦合到计算机辅助手术***204。

图4图示了示例性配置400，其中深度传感器306由包括在成像设备302中的可见光相机304-1和304-2实现。在配置400中，***100可以通过指导相机304-1获取患者的内部空间的第一图像(例如，第一二维图像)、通过指导相机304-2获取患者的内部空间的第二图像(例如，第二二维图像)来获得深度数据204，并且基于第一和第二图像来生成由深度数据204表示的深度图。

在图4中，由相机304-1获取的第一图像由图像数据202-1表示，并且由相机304-2获取的第二图像由图像数据202-2表示。如图所示，图像数据202-1和202-2被传输到由***100实现的深度数据生成器402。深度数据生成器402可以基于图像数据202-1和202-2使用任何基于可见图像的技术来确定深度数据204。

根据本文描述的***和方法，成像设备302的其他配置是可能的。例如，成像设备302可以包括多个相机304和/或多个深度传感器306。为了说明，成像设备302可以包括与单独的深度传感器306组合的两个相机304。在这些实施例中，深度数据可以基于由两个相机304获取的图像生成。由深度传感器304生成的深度数据可用于微调或以其他方式增强基于由两个相机304获取的图像生成的深度数据。

在一些示例中，***100可以通过访问配准到来自除了成像设备204之外的源的图像的术前图像来获得深度数据204。例如，图5示出了示例性配置500，其中***100从术前图像源502获得深度数据204。源502可以由计算机辅助断层摄影术(CT)扫描仪、磁共振成像(MRI)设备、超声设备、三维扫描(LIDAR)设备和/或被配置为生成患者的术前图像的任何其他合适的替代成像设备来实现。术前图像可以与由图像数据202表示的图像配准，从而提供深度数据204。

指示3D位置(在其处在3D图像内呈现远程图解元件)的3D位置数据206可以由***100基于图像数据202、深度数据204和指导远程图解元件绘制在图像上(例如，2D图像或3D图像)的用户输入来生成和输出。这可以以任何合适的方式来执行。例如，***100可以访问表示由成像设备获取的图像的图像数据202，并以本文所述的任何合适的方式获得深度数据204。然后，***100可以基于图像数据、深度数据和用户输入，将3D位置数据206识别为3D图像内的多个像素(这些像素描绘了要呈现远程图解元件的3D位置)并且将多个像素指定为3D位置。

在其他示例中，***100可以基于绘制的远程图解元件将由与绘制的远程图解元件相关的图像数据202表示的2D图像上的多个像素识别为用户输入。***100可以基于深度数据204确定用于与远程图解元件相关的多个像素中的每一个的深度值，以识别3D位置数据206以在3D图像内呈现远程图解元件。换言之，***100可以识别表示在由图像数据202表示的2D图像上绘制的远程图解元件的2D像素坐标，然后使用深度数据204来确定每个2D像素坐标的深度值以识别表示远程图解元件被呈现在相关的3D图像中的位置处的像素的3D位置数据206。图像数据202和深度数据204可用于确定要在其上呈现远程图解元件的表面的位置、表面的尺寸和/或表面的任何其他特性。因此，一旦由***100呈现，3D图像内的远程图解元件可以在视觉上表现为与3D图像内的表面(例如，解剖或器官表面)物理接触。

一旦获得了用于呈现3D图像内的远程图解元件的3D位置，***100可以指示显示***在3D图像内的识别的3D位置处呈现远程图解元件。这可以以任何合适的方式来执行。

呈现的远程图解元件包括空间存储器，因为***100可以记录由呈现的远程图解元件的3D位置数据206表示的3D位置。在已从3D图像中移除远程图解元件之后，所记录的呈现的远程图解元件的3D位置可以用于后续调用和显示。

另外或替代地，本文描述的***和方法可以为远程图解元件提供时间存储器和/或用户存储器。例如，除了记录在3D图像内呈现远程图解元件的3D位置以提供与呈现的远程图解元件相关联的空间信息外，***100可以记录何时呈现远程图解元件的时间戳以提供与呈现的远程图解元件相关联的时间信息和/或指示提供远程图解元件以提供与呈现的远程图解元件相关联的用户信息的用户的身份的元数据。

在呈现远程图解元件之后，可以检测远程图解终止事件。远程图解终止事件被配置为将远程图解元件从被绘制在第一图像(例如，2D图像)上和/或从被呈现在第二图像(例如，3D图像)内移除。可以检测各种远程图解终止事件，包括但不限于用户选择终止远程图解元件的选项、用户选择从显示器移除远程图解元件的选项和/或任何其他合适的远程图解终止事件。还可以自动检测各种远程图解终止事件，例如，与远程图解元件相关联的预定时间间隔的到期、远程图解元件的特定形状和/或可以自动检测到的任何其他合适的远程图解终止事件。本文所述的***和方法还可在远程图解终止事件之后且在第二图像内指示(例如，图形地或声音地)在3D位置处再次呈现远程图解元件的选项。可以使用各种图形指示符来指示再次呈现远程图解元件的选项，包括但不限于图钉、箭头、符号、菜单选项和任何其他合适的图形指示符。各种听觉指示符也可用于指示再次呈现远程图解元件的选项，包括但不限于语音命令和任何其他合适的听觉指示符。

在一些示例中，***100可以基于选择期望的特定类型的远程图解的用户输入来确定远程图解模式。附加地或替代地，***100可以基于在其内提供远程图解元件的上下文和/或任何其他合适的因素来自动确定远程图解模式。如本文所用，远程图解模式可以包括但不限于自由形式模式、对象选择模式和基准标记模式。

在自由形式模式中，要在描绘场景的图像内绘制的远程图解元件可以包括但不限于要在场景的对应3D图像内呈现的任何合适的绘图或图形项目。例如，远程图解元件可以包括几何形状、单词、符号、标记或任何合适的绘图或图形项目。远程图解元件还可以用于各种形式的通信，例如，手术团队成员之间、手术团队成员与远程图解元件管理***之间、和/或手术团队成员与手术***的另一个组件(例如，远程图解元件的形状可以通过光学字符识别来解释并且作为命令提供给***100和/或手术***部件)之间的通信。

在对象选择模式中，远程图解元件可用于选择图像内的对象。例如，当处于对象选择模式时，用户可以围绕图像中描绘的对象画一个圆圈，或者以其他方式提供对图像中描绘的对象的选择的指示。如本文所述，可以在3D图像内以图形方式呈现对象选择。

在基准标记模式中，远程图解元件可以用于在图像上放置可以在3D图像内以图形方式呈现的基准标记。本文提供了这方面的示例。

用户可以向***100提供用户输入，包括但不限于在图像上绘制远程图解元件、选择远程图解模式和/或任何其他合适的用户输入。可以以任何合适的方式提供这样的用户输入。例如，用户输入在图像上绘制远程图解元件或将图形项目作为远程图解元件放置在图像上可以包括但不限于用户在触摸屏上绘制、用户使用输入设备在图像上绘制、用户选择图形项目并将其放置在图像上，和/或用户以任何其他合适的方式提供远程图解元件。在另一个示例中，选择远程图解模式的用户输入可以包括但不限于用户选择图像中显示的选项、用户选择计算机辅助手术***的部件上的用户输入按钮、用户提供口头命令，和/或用户以任何其他合适的方式选择远程图解模式。

现在将更详细地描述具有空间存储器、时间存储器和/或用户存储器的远程图解模式和远程图解元件的呈现。

图6示出了自由形式模式的远程图解的示例。图6示出了示例性2D图像600-1，其可以由瞄准患者的内部空间的成像设备捕获并且可以由图像数据202表示。图6进一步示出了与图像600-1相关并且可以由图像数据202和深度数据204表示的示例性3D图像600-2。如图所示，在自由形式模式中，远程图解元件602-1由用户作为用户输入绘制在图像600-1上，其例如描绘了被无缺陷组织606包围的组织缺陷604。虽然远程图解元件602-1被绘制为在组织缺陷604的特定区域上的矩形，但远程图解元件602-1可以是任何合适的形状或大小并且可以绘制在2D图像600-1中场景的任何合适的部分上。

在自由形式模式中，***100可以检测用户在描绘场景内的表面的2D图像上输入了远程图解元件，并且基于图像数据202、深度数据204和用户输入来呈现在描绘场景内的表面的对应3D图像内的3D位置处关联远程图解元件602-2。例如，***100可以基于远程图解元件602-1的用户输入绘制识别由与远程图解元件602-1相关的图像数据202表示的2D图像600-1内的多个像素。***100可以基于深度数据204确定与远程图解元件602-1相关的多个像素中的每一个的深度值，以识别用于在3D图像600-2内的3D位置处呈现远程图解元件的3D位置数据。与远程图解元件602-1相关的远程图解元件602-2然后显示为在3D图像600-2内的识别的3D位置上呈现(例如，在视觉上表现为与场景内的表面物理接触)。

虽然远程图解元件602-2被示为定位在组织缺陷604的一部分上方的波状矩形，但是应当认识到，可以替代地以任何其他合适的方式呈现远程图解元件602-2。例如，远程图解元件602-2可以是至少部分透明的或用部分线呈现以允许3D图像600-2和/或组织缺陷604的用户可视化，同时远程图解元件602-2在3D位置上呈现。

在一些示例中，其上提供有远程图解元件602-1的2D图像600-1可以由第一显示***(例如，手术团队成员可访问的单个显示设备)并且在其内呈现远程图解元件602-2的3D图像600-2可以通过第二显示***(例如，外科医生使用的立体查看器中包括的显示设备)显示。在一些示例中，第一显示***可以位于与第二显示***不同的房间中。

图7示出了示例性的远程图解的对象选择模式。特别是，图7示出了示例性2D图像700-1，其可以由瞄准患者的内部空间的成像设备捕获并且可以由图像数据202表示。图7进一步示出了与图像700-1相关并且可以由图像数据202和深度数据204来表示的示例性3D图像700-2。如图所示，在对象选择模式中，远程图解元件702-1由用户作为用户输入绘制在2D图像700-1上，该2D图像例如描绘了被无缺陷组织606包围的组织缺陷604。如图所示，远程图解元件702-1可以绘制为围绕组织缺陷604的大部分但不是全部的圆形。在对象选择模式中，该绘制指示用户尝试选择组织缺陷604。远程图解元件702-1可以以可以服务于特定实现方式的任何其他合适的形状或方式绘制。

***100可以以任何合适的方式检测对象的选择。例如，尽管远程图解元件702-1没有完全围绕组织缺陷604，但***100能够通过将分类启发法应用于图像数据202、深度数据204和表示与2D图像上的远程图解元件的绘图相关的像素的2D像素坐标的用户输入来检测组织缺陷604的选择。围绕组织缺陷604(并且可以显示对其的选择)的远程图解元件702-2随后被显示为在3D图像700-2内的识别的3D位置上呈现。如图所示，远程图解元件702-2遵循组织缺陷604的实际轮廓，而不是看起来像远程图解元件702-1。以这种方式，如下文更详细描述的，可以减少或防止可能由于在3D图像700-2内的不同表面上呈现的远程图解元件702-1而导致的视觉伪影。

尽管通过组织缺陷604周围的虚线示出了远程图解元件702-2，但是任何其他合适的图形指示都可以用于显示对象选择，包括但不限于突出显示对象、用颜色遮蔽对象、用不同线条勾勒出对象的轮廓，和/或任何其他合适的图形指示。尽管拉伸元件702-2被示为围绕组织缺陷，但患者的任何内部解剖结构(例如，血管、器官和/或组织)、任何手术器械和/或位于内部空间中的任何其他合适的对象同样都可以在对象选择模式中选择。

在对象选择模式中，***100可以以任何合适的方式检测用户选择2D图像中的对象并且基于图像数据202、深度数据204和2D像素坐标的用户输入来识别对象在3D图像内的3D位置。例如，***100可以通过将图像数据202、深度数据204和2D像素坐标的用户输入应用于分类启发法并执行分类启发法以识别和选择3D图像内的对象来检测对象的选择。

例如，基于图像数据202、深度数据204和2D像素坐标的用户输入，***100可以分割3D图像(例如，通过将图像的不同部分分类为对应于不同的项目(例如，组织的类型、器官或对象)。基于分割，***100可以确定手术区域和/或要在其上呈现远程图解元件的表面的一个或多个特征，例如识别对象、识别对象的3D位置、确定组织类型等。

在另一个示例中，***100可以通过将图像数据202、深度数据204和2D像素坐标的用户输入输入到被配置为识别对象的机器学习模型中来识别对象。可以以任何合适的方式训练和/或使用机器学习模型。

有利地，远程图解的对象选择模式在3D图像内整齐地呈现远程图解元件，而没有视觉伪影，如果3D呈现下降到低于用户在2D图像上绘制的远程图解元件预期的表面下方的表面可能发生视觉伪影。例如，用户可以尝试通过在2D图像上围绕工具的末端绘制一个圆圈来选择场景中的工具的末端。此处，如果未在工具的末端周围精确绘制圆圈，则可能不希望将远程图解元件向下呈现到2D图像上的绘制的远程图解元件下方的整个表面，因为远程图解元件的某些部分可能在3D图像内被呈现为在工具上，而其他部分可能被呈现为在工具后面的组织表面上。因此，分类启发法(例如，机器学习、分割等)可用于确定用户确实打算选择工具的末端。作为响应，***100可以重绘或以其他方式调整2D绘图以位于工具端部的周边上，使得当它在3D图像内呈现时，远程图解元件仅在工具上而不是在由用户在2D图像上绘制的远程图解元件下方的非预期表面上。

在图8中，示出了远程图解的基准标记模式的示例。图8示出了可以由瞄准患者的内部空间的成像设备捕获的并且可以由图像数据202表示的示例性2D图像800-1。图8进一步示出了与2D图像800-1相关并且可以由图像数据202和深度数据204表示的示例性3D图像800-2。如图所示，在基准标记模式中，用户可以在图像800-1上绘制多个基准标记802(例如，基准标记802-1和802-2)，其例如描绘了被无缺陷组织606包围的组织缺陷604。基准标记802构成多个远程图解事件并且可以用于各种目的，例如指导切除、缝合过程和/或任何其他程序。

如图所示，基准标记802可以在3D图像800-2内呈现。在一些示例中，***100可以识别远程图解事件是基准标记802，并且作为响应，即使组织被移动或拉伸，也使得基准标记802与组织缺陷604的解剖结构保持在原位。例如，与2D图像800-1中所示的组织相比，3D图像800-2中所示的组织被拉伸。然而，基准标记802已经移动以停留在它们相对于组织缺陷604的相对位置。

图9示出了示例性可选图形指示符902和示例性时间戳904，该示例性时间戳904放置在3D图像900-2内先前呈现远程图解元件602-2的位置处，如图6所示。图9示出了可以由瞄准患者的内部空间的成像设备捕获的并且可以由图像数据202和深度数据204表示的示例性3D图像900-1。在检测到远程图解终止事件之后，远程图解元件602-2被从3D图像900-1中移除，并由可选图形指示符902代替，可选图形指示符902被示为3D图像900-2内位于先前呈现的远程图解元件602-2的中心位置处的图钉。在某些示例中，在所呈现的远程图解元件的3D位置处的可选图形指示符902可以被永久地记录并且在手术程序期间由用户在任何时间查看。当接收到表示图形指示符902的选择(例如，用户将光标悬停在图钉上)的第一用户输入时，***100可以显示包括日期和时间信息的时间戳904。可选地，用户信息也可以被包括在时间戳904中。当接收到表示图形指示符902的选择的另一个用户输入(例如，用户点击图钉)时，***100可以响应于用户输入再次在3D图像900-2内呈现远程图解元件602-2。

图10图示了指向远程图解元件的位置(例如，3D位置)的示例性定向图形指示符1002。图10示出了示例性3D图像1000-1，该图像可以由瞄准患者的内部空间的成像设备捕获并且可以由图像数据202和深度数据204表示。如前所示，在远程图解终止事件之后，图形指示符902代替了先前呈现的远程图解元件602-2。3D图像1000-2图示了改变的场景，例如当相机移动时，从视图中移除图形指示符902。在这种情况下，***100可以显示定向图形指示符1002，例如箭头，其指向图形指示符902的方向，以有利地提醒用户或外科医生注意当前不在视野中的先前呈现的远程图解元件的位置，诸如，远程图解元件602-2。用户然后可以导航到所呈现的远程图解元件的区域并看到可以是可任选地选择的图形指示符(例如可选图形指示符902)。各种定向图形指示符可用于指示先前呈现的远程图解元件的位置，包括但不限于箭头、符号、菜单选项和任何其他合适的定向图形指示符。

图11图示了可以由远程图解元件管理***(例如，***100和/或其任何实现方式)执行的示例性方法1100。而图11示出了根据一个实施例的示例性操作，其他实施例可以省略、添加、重新排序和/或修改图11所示的任何操作。

在操作1102中，远程图解元件管理***检测指导将远程图解元件绘制在描绘场景内的表面的图像内的用户输入。操作1102可以以本文描述的任何方式来执行。

在操作1104中，远程图解元件管理***基于表示场景的深度图的深度数据并且在描绘场景内的表面的三维(3D)图像内呈现远程图解元件。操作1104可以以本文描述的任何方式来执行。

在操作1106中，远程图解元件管理***记录场景内的在其处将远程图解元件呈现在3D图像内的3D位置。操作1106可以以本文描述的任何方式来执行。

在操作1108中，远程图解元件管理***检测将远程图解元件从被呈现在3D图像内移除的远程图解终止事件。操作1108可以以本文描述的任何方式来执行。

在操作1110中，远程图解元件管理***在远程图解终止事件之后指示再次将远程图解元件呈现在3D位置处的选项。操作1110可以以本文描述的任何方式来执行。

本文描述的***和方法可以结合用于执行关于患者的手术程序的计算机辅助手术***来使用和/或由其实现。图12示出了示例性计算机辅助手术***1200(“手术***1200”)。如图所示，手术***1200可以包括相互通信地耦合的操纵***1202、用户控制***1204和辅助***1206。手术***1200可以被手术团队用于对患者1208执行计算机辅助手术程序。如图所示，手术团队可以包括外科医生1210-1、助理1210-2、护士1210-3和麻醉师1210-4，他们都可以统称为“手术团队成员1210”。如可以服务于特定的实施方式的额外的或替代的手术团队成员可以在手术会话期间出现。

虽然图12示出了正在进行的微创手术程序，但应当理解，手术***1200可以类似地用于执行开放式手术程序或可以类似地受益于手术***1200的准确性和便利性的其他类型的手术程序。此外，它将应当理解，贯穿其中可以采用手术***1200的手术会话不仅可以包括手术程序的操作阶段，如图12所示，但也可以包括手术程序的术前、术后和/或其他合适的阶段。手术程序可以包括对患者使用手动和/或器械技术以调查或治疗患者身体状况的任何程序。

如图12所示，操纵***1202可以包括多个操纵器臂1212(例如，操纵器臂1212-1到1212-4)，多个手术器械可以耦合到这些操纵器臂。每个手术器械可以通过可用于患者1208的计算机辅助手术程序(例如，通过至少部分地***患者1208并***纵以对患者1208执行计算机辅助手术程序)的任何合适的手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜)、感测器械(例如，力感测手术器械)、诊断器械或类似物来实施。尽管在本文中将操纵***1202描绘和描述为包括四个操纵器臂1212，但是将认识到操纵***1202可以仅包括单个操纵器臂1212或可以用于特定实现方式的任何其他数量的操纵器臂。

操纵器臂1212和/或附接到操纵器臂1212的手术器械可以包括一个或多个位移换能器、取向传感器和/或用于生成原始(即，未校正的)运动学信息的位置传感器。手术***1200的一个或多个部件可以配置成使用运动学信息来跟踪(例如，确定手术器械的位置)和/或控制手术器械。

用户控制***1204可以被配置为便于外科医生1210-1控制操纵器臂1212和附接到操纵器臂1212的手术器械。例如，外科医生1210-1可以与用户控制***1204交互以远程移动或操纵操纵器臂1212和手术器械。为此，用户控制***1204可以向外科医生1210-1提供由成像***(例如，本文描述的任何医学成像***)捕获的与患者1208相关的手术区域的画面(例如，高清3D画面))。在某些示例中，用户控制***1204可以包括具有两个显示器的立体查看器，其中外科医生1210-1可以查看与患者1208相关联并且由立体成像***生成的手术区域的立体图像。外科医生1210-1可以利用画面来通过一个或多个手术器械附接到操纵器臂1212执行一个或多个程序。

为了便于控制手术器械，用户控制***1204可以包括一组主控制件。这些主控制件可以由外科医生1210-1操纵以控制手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制件可以被配置为检测外科医生1210-1的各种手、手腕和手指运动。以此方式，外科医生1210-1可以使用一个或多个手术器械直观地执行程序。

辅助***1206可以包括一个或多个计算设备，该计算设备被配置为执行手术***1200的主要处理操作。在这样的配置中，辅助***1206中包括的一个或多个计算设备可以控制和/或协调由手术***1200的各种其他组件(例如，操纵***1202和用户控制***1204)执行的操作。例如，包括在用户控制***1204中的计算设备可以通过被包括在辅助***1206中的一个或多个计算设备向操纵***1202发送指令。作为另一个示例，辅助***1206可以从操纵***1202接收并处理表示由附接到操纵器臂1212之一的成像设备捕获的画面的图像数据。

在一些示例中，辅助***1206可以被配置为向可能无法访问在用户控制***1204处提供给外科医生1210-1的图像的手术团队成员1210展现视觉内容。为此，辅助***1206可以包括显示监视器1214，其被配置为显示一个或多个用户接口，例如手术区域的图像(例如，2D图像、3D图像)、与患者1208和/或手术程序相关的信息、和/或可以服务于特定实现方式的任何其他视觉内容。例如，显示监视器1214可以显示手术区域的图像以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器1214由触摸屏显示器实现，手术团队成员1210可以与触摸屏显示器交互(例如，通过触摸手势)以向手术***1200提供用户输入。

操纵***1202、用户控制***1204和辅助***1206可以以任何合适的方式彼此通信地耦合。例如，如图12所示，操纵***1202、用户控制***1204和辅助***1206可以通过控制线1216通信地耦合，控制线1216可以表示可以服务于特定实现方式的任何有线或无线通信链路。为此，操纵***1202、用户控制***1204和辅助***1206可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。

在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文描述的操作中的一个或多个。这样的指令可以使用多种已知的计算机可读介质中的任何一种来存储和/或传输。

如本文所指的非暂时性计算机可读介质可以包括参与提供可以由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“RAM”)和光盘(例如，CD、数字视频光盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如动态RAM)。

图13示出了示例性计算设备1300，该计算设备1300可以被具体配置为执行本文描述的过程中的一个或多个。本文描述的任何***、计算设备和/或其他部件可以由计算设备1300实现。

如图13所示，计算设备1300可以包括通过通信基础设施1310通信地连接到彼此的通信接口1302、处理器1304、存储设备1306和输入/输出(“I/O”)模块1308。虽然示例性计算设备1300在图13中示出，但是图13中所示的部件不旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图13中所示的计算设备1300的部件。

通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。

处理器1304通常表示能够处理数据和/或解释、执行和/或指导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1304可以通过执行存储在存储设备1306中的计算机可执行指令1312(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。

存储设备1306可以包括一个或多个数据存储介质、设备或配置，并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据，包括本文描述的数据，可以暂时和/或永久地存储在存储设备1306中。例如，表示被配置为指导处理器1304执行本文描述的任何操作的计算机可执行指令1312的数据可以存储在存储设备1306中。在一些示例中，数据可以布置在驻留在存储设备1306内的一个或多个数据库中。

I/O模块1308可以包括被配置为接收用户输入并提供用户输出的一个或多个I/O模块。I/O模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1308可以包括用于向用户展现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动程序)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，I/O模块1308被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户接口和/或可以服务于特定实现方式的任何其他图形内容。

在前面的描述中，已经参照附图描述了各种示例性实施例。然而，显然可以对其进行各种修改和改变，并且可以实施另外的实施例，而不背离如所附权利要求中阐述的本发明的范围。例如，本文所述的一个实施例的某些特征可以替代或与本文所述的另一实施例的特征组合。相应地，描述和附图被认为是说明性的而不是限制性的。

Claims (40)

1.一种***，包括：

存储指令的存储器；和

处理器，其通信地耦合到所述存储器并且被配置为执行所述指令以：

检测用户输入，所述用户输入指导要在描绘场景内的表面的图像内绘制的远程图解元件；

基于表示所述场景的深度图的深度数据并且在描绘所述场景内的所述表面的三维图像即3D图像内呈现所述远程图解元件；

记录所述场景内的3D位置，在所述3D位置处所述远程图解元件被呈现在所述3D图像内；

检测将所述远程图解元件从被呈现在所述3D图像内移除的远程图解终止事件；和

在所述远程图解终止事件之后指示在所述3D位置处再次呈现所述远程图解元件的选项。

2.根据权利要求1所述的***，其中检测用户输入包括检测用户在图像中选择包括所述场景内的表面的对象。

3.根据权利要求2所述的***，其中所述处理器还被配置为执行所述指令以执行关于所述场景的分类启发法，并且其中检测所述用户选择所述对象是基于所述分类启发法的执行。

4.根据权利要求1所述的***，其中检测用户输入包括检测所述用户将基准标记放置在描绘所述场景内的所述表面的图像上。

5.根据权利要求1所述的***，其中所述3D图像由瞄准患者的内部空间的成像设备获取，并且其中所述处理器还被配置为执行所述指令以：

访问表示由所述成像设备获取的所述3D图像的图像数据；

获得所述深度数据；

基于所述图像数据和所述深度数据，识别所述3D图像内的多个像素，所述多个像素描绘了所述远程图解元件将要呈现的3D位置；和

将所述多个像素指定为所述3D位置。

6.根据权利要求5所述的***，其中所述成像设备包括可见光相机，并且由所述成像设备获取的所述图像包括由所述可见光相机获取的二维可见光图像。

7.根据权利要求6所述的***，其中所述深度数据的获得包括在所述成像设备瞄准所述患者的内部空间时指导所述成像设备中的并且与所述可见光相机分离的深度传感器来获取所述深度数据。

8.根据权利要求7所述的***，其中所述深度传感器包括飞行时间传感器。

9.根据权利要求5所述的***，其中所述深度数据的获得包括：

指导包括在所述成像设备中的第一可见光相机获取所述内部空间的第一可见光图像；

指导包括在所述成像设备中的第二可见光相机获取所述内部空间的第二可见光图像；和

基于第一可见光图像和第二可见光图像生成所述深度数据。

10.根据权利要求1所述的***，其中所述远程图解元件的呈现至少部分透明以允许用户在所述远程图解元件被呈现在所述3D位置处时进行可视化。

11.根据权利要求1所述的***，其中指示在所述3D位置处再次呈现所述远程图解元件的选项包括在所述3D图像内展现可选择图形指示符。

12.根据权利要求11所述的***，其中所述处理器还被配置为执行所述指令以：

接收表示所述图形指示符的选择的用户输入；和

响应所述用户输入，再次在所述3D位置处呈现所述远程图解元件。

13.根据权利要求1所述的***，其中所述处理器还被配置为执行所述指令以：

确定表示何时首次呈现所述远程图解元件的时间戳；和

在所述远程图解终止事件之后，展现所述时间戳。

14.根据权利要求1所述的***，其中所述图像由第一显示***显示并且所述3D图像由第二显示***显示。

15.根据权利要求14所述的***，其中所述第一显示***位于与所述第二显示***不同的房间中。

16.根据权利要求1所述的***，其中所述处理器还被配置为执行所述指令以在所述远程图解终止事件之后展现指向所述3D位置的定向图形指示符。

17.根据权利要求1所述的***，其中描绘所述场景内的所述表面的所述图像是二维图像即2D图像。

18.根据权利要求17所述的***，其中所述远程图解终止事件将所述远程图解元件从被绘制在所述2D图像上移除。

19.根据权利要求1所述的***，其中所述远程图解元件的所述呈现包括呈现所述远程图解元件以在视觉上表现为与由所述3D图像描绘的所述表面物理接触。

20.一种***，包括：

存储指令的存储器；和

处理器，其通信地耦合到所述存储器并且被配置为执行指令以：

检测指导将要在描绘场景的第一图像内绘制的远程图解元件的用户输入；

响应于所述用户输入，在描绘所述场景的第二图像内呈现所述远程图解元件；

记录所述场景内的位置，在所述位置处所述远程图解元件被呈现在所述第二图像内；

检测将所述远程图解元件从被呈现在所述第二图像内移除的远程图解终止事件；和

在所述远程图解终止事件之后并且在所述第二图像内，指示在所述位置处在所述第二图像内再次呈现所述远程图解元件的选项。

21.根据权利要求20所述的***，其中用户输入的检测包括检测所述用户在所述第一图像中选择所述场景内的对象。

22.根据权利要求21所述的***，其中所述处理器还被配置为执行所述指令以执行关于所述场景的分类启发法，并且其中检测所述用户选择所述对象是基于所述分类启发法的执行。

23.根据权利要求20所述的***，其中用户输入的检测包括检测所述用户将基准标记放置在描绘所述场景的所述第一图像上。

24.根据权利要求20所述的***，其中所述远程图解元件的所述呈现至少部分透明以允许用户在所述远程图解元件在所述位置处呈现在所述第二图像内时进行可视化。

25.根据权利要求20所述的***，其中指示在所述位置处在所述第二图像内再次呈现所述远程图解元件的所述选项包括在所述第二图像内展现可选择图形指示符。

26.根据权利要求25所述的***，其中所述处理器还被配置为执行所述指令以：

接收表示所述图形指示符的选择的用户输入；和

响应于所述用户输入在所述位置处在所述第二图像内再次呈现所述远程图解元件。

27.根据权利要求20所述的***，其中所述处理器还被配置为执行所述指令以：

确定表示何时首次呈现所述远程图解元件的时间戳；和

在所述远程图解终止事件之后并在所述第二图像内显示所述时间戳。

28.根据权利要求20所述的***，其中所述第一图像由第一显示***显示并且所述第二图像由第二显示***显示。

29.根据权利要求28所述的***，其中所述第一显示***位于与所述第二显示***不同的房间中。

30.根据权利要求20所述的***，其中所述处理器还被配置为执行所述指令以在所述远程图解终止事件之后并且在所述第二图像内展现指向所述位置的定向图形指示符。

31.一种方法，包括：

通过远程图解元件管理***检测用户输入，所述用户输入指导将要在描绘场景内的表面的图像内绘制的远程图解元件；

由所述远程图解元件管理***基于表示所述场景的深度图的深度数据并且在描绘所述场景内的所述表面的三维图像即3D图像内呈现所述远程图解元件；

由所述远程图解元件管理***记录所述场景内的3D位置，在所述3D位置处，所述远程图解元件在所述3D图像内被呈现；

由所述远程图解元件管理***检测将所述远程图解元件从被呈现在所述3D图像内移除的远程图解终止事件；和

在所述远程图解终止事件之后由所述远程图解元件管理***指示在所述3D位置处再次呈现所述远程图解元件的选项。

32.根据权利要求31所述的方法，其中所述用户输入的检测包括检测用户在图像中选择包括所述场景内的所述表面的对象。

33.根据权利要求32所述的方法，还包括执行关于所述场景的分类启发法，并且其中检测所述用户选择所述对象是基于所述分类启发法的执行。

34.根据权利要求31所述的方法，其中所述用户输入的检测包括检测所述用户将基准标记放置在描绘所述场景内的所述表面的所述图像上。

35.根据权利要求31所述的方法，其中所述远程图解元件的呈现至少部分透明以允许用户在所述远程图解元件被呈现在所述3D位置处时进行可视化。

36.根据权利要求31所述的方法，其中所述指示在所述3D位置处再次呈现所述远程图解元件的选项包括在所述3D图像内展现可选择图形指示符。

37.根据权利要求36所述的方法，还包括：

接收表示所述图形指示符的选择的用户输入；和

响应于所述用户输入，在所述3D位置处再次呈现所述远程图解元件。

38.根据权利要求31所述的方法，还包括：

确定表示何时首次呈现所述远程图解元件的时间戳；和

在所述远程图解终止事件之后，展现所述时间戳。

39.根据权利要求31所述的方法，还包括：

在所述远程图解终止事件之后，展现指向所述3D位置的定向图形指示符。

40.一种存储指令的非暂时性计算机可读介质，当执行所述指令时，指导计算设备的处理器以：

检测指导将要在描绘场景内的表面的图像内绘制的远程图解元件的用户输入；

基于表示所述场景的深度图的深度数据并且在描绘所述场景内的所述表面的三维图像即3D图像内呈现所述远程图解元件；

记录所述场景内的3D位置，在所述3D位置处将所述远程图解元件呈现在所述3D图像内；

检测将所述远程图解元件从被呈现在所述3D图像内移除的远程图解终止事件；和

在所述远程图解终止事件之后指示在所述3D位置处再次呈现所述远程图解元件的选项。

Images