CN112839606A - 特征识别 - Google Patents

Abstract

一种用于增强可以执行手术程序的手术部位的表示的手术机器人***，所述***包括：显示器，所述显示器被配置成显示手术部位的至少一部分的表示的部分或全部；控制器，所述控制器包括输入装置，由此所述输入装置可以控制所述显示器上的指示器，所述控制器被配置成响应于与所述表示有关的用户输入而输出增强信号；以及处理器，所述处理器被配置成接收所述增强信号，并且响应于所接收的增强信号，增强所述手术部位的表示。

Description

特征识别

背景技术

已知使用机器人辅助和执行手术。图1示出了典型的手术机器人100，其由基座108、臂102和器械105组成。基座支撑机器人，并且其自身刚性地附接到例如手术室地面、手术室天花板或推车。臂在基座与器械之间延伸。臂借助于多个柔性关节103沿着其长度铰接，所述多个柔性关节用于将手术器械定位在相对于患者的期望位置中。手术器械附接到机器人臂的远端104。手术器械在端口107处穿透患者101的身体，以便接近手术部位。在其远端，器械包括用于参与医疗程序的末端执行器106。

图2示出了用于执行机器人腹腔镜手术的典型手术器械200。手术器械包括基座201，手术器械借助于该基座连接到机器人臂。轴202在基座201与铰接部203之间延伸。铰接部203终止于末端执行器204。在图2中，一对锯齿状钳口示为末端执行器204。铰接部203允许末端执行器204相对于轴202移动。期望通过铰接部将至少两个自由度提供给末端执行器204的运动。

成像装置可以与手术器械一起位于手术部位处。成像装置可以对手术部位成像。由成像装置提供的手术部位的图像可以显示在显示器上，以供执行程序的外科医生观察。因此，可以进行外科医生不直接看到手术部位的腹腔镜(或微创)手术。

发明内容

根据本发明的一个方面，提供一种用于增强可以执行手术程序的手术部位的表示的手术机器人***，所述***包括：显示器，所述显示器被配置成显示手术部位的至少一部分的表示的部分或全部；控制器，所述控制器包括输入装置，由此所述输入装置可以控制所述显示器上的指示器，所述控制器被配置成响应于与所述表示有关的用户输入而输出增强信号；以及处理器，所述处理器被配置成接收所述增强信号，并且响应于所接收的增强信号，增强所述手术部位的表示。

所述***还可以包括成像装置，由此所述成像装置被配置成对所述手术部位成像并生成所述手术部位的图像馈送。可以根据所生成的图像馈送获得所述手术部位的表示。手术部位的表示可以是3D表示。

所述***可以包括具有手术器械的机器人臂，所述手术器械具有末端执行器，由此所述手术部位的表示可以包括所述末端执行器的表示，所述指示器包括所述末端执行器的表示的一部分。

所述增强信号可以指示所述显示器上显示的特征。所述***可以被配置成根据指示器位置将所述增强与所述手术部位的表示相关联。所述处理器可以被配置成根据与所述机器人***相关联的关节数据来增强所述手术部位的表示。所述处理器可以被配置成使所述增强与根据所述关节数据确定的所述手术部位的表示中的位置相关联。

所述处理器可以被配置成根据所述表示的图像处理来增强所述手术部位的表示。

所述***可以包括第二输入装置，所述处理器被配置成根据所述第二输入装置处的用户输入来增强所述手术部位的表示。所述输入装置和所述第二输入装置中的至少一个可以响应于与相应输入装置的语音命令、手势和触摸交互中的一个或多个。

所述处理器可以被配置成确定增强标准得到满足，并且根据该确定来增强所述手术部位的表示。所述处理器可以被配置成根据以下各项中的至少一个确定所述增强标准得到满足：

手术器械的附接、拆卸、操作和/或状态改变；

图像识别信号，所述图像识别信号指示所述手术部位的表示中的图像识别匹配；

误差信号，所述误差信号指示与所述手术机器人***相关联的误差；

时间信号；以及

指示所述手术机器人***的用户改变的信号。

所述处理器可以被配置成根据用户输入和图像识别信号中的至少一个来表征与所述手术部位的表示中的增强相关联的特征。所述***可以包括联接到所述处理器的存储器，所述存储器被配置成存储所述手术部位的表示和所述增强中的至少一个。

根据本发明的另一方面，提供了一种用于增强可以执行手术程序的手术部位的表示的方法，所述方法包括：显示手术部位的至少一部分的表示的部分或全部；控制所述显示器上的指示器；接收与所述表示有关的用户输入，并且响应于所接收的用户输入而输出增强信号；响应于所述增强信号而增强所述手术部位的表示。

所述方法可以包括以下各项中的至少一个：根据存储的所述手术部位的表示生成所述手术部位的表示；以及生成所述手术部位的图像馈送并且根据所生成的图像馈送生成所述手术部位的表示。所述指示器可以包括所述手术机器人***的成像末端执行器的一部分，并且所述方法可以包括通过控制所述末端执行器来控制所述显示器上的指示器。所述方法可以包括根据关节数据和所述表示的图像处理中的至少一个来增强所述手术部位的表示。所述方法可以包括确定增强标准得到满足，以及根据该确定增强所述手术部位的表示。所述方法可以包括使所述增强与至少一个增强组相关联。所述方法可以包括根据所述增强所属的增强组而显示所述增强。

所述方法可以包括在所述手术部位的表示包括多个增强时，确定以下各项中的至少一个：

增强的数目；

所述多个增强之间的距离；

由所述多个增强包围的面积；以及

由所述多个增强包围的体积。

所述方法可以包括在所述显示器和辅助显示器中的至少一个上显示以下各项中的一个或多个：

增强的数目；

连接多个增强的线；

由多个增强包围的面积；以及

由多个增强包围的体积。

上文任何方面的任何一个或多个特征可以与上文任何其它方面的任何一个或多个特征组合。任何设备特征在可能时都可以写为方法特征，反之亦然。这些内容在此仅出于简洁起见而未全部写出。

提供本发明内容以用简化形式介绍一系列构思，这些构思将在下面的具体实施方式部分中进一步描述。本发明内容中对特征的提及并不表明它们是本发明或所要求保护的主题的关键特征或必要特征，也不应被视为限制所要求保护的主题的范围。

附图说明

现在将参照附图以举例的方式描述本发明。

在附图中：

图1示出了执行手术程序的手术机器人；

图2示出了已知的手术器械；

图3示出了手术机器人；

图4示出了外科医生控制台；

图5示意性地示出了控制器的配置；

图6示出了用于增强手术部位的表示的方法；

图7示出了增强的实例；

图8示出了表示的所显示部分的实例；

图9示出了用于使表示的一部分居中的过程；以及

图10示出了增强的另一实例。

具体实施方式

以下描述描述了在手术机器人***的上下文中的本发明技术，但下文所描述的特征不限于此类***，而是可以更一般地应用于机器人***。在一些实例中，本发明技术可以应用于远程操作的机器人***。在一些实例中，本发明技术可应用在机器人***的用户在操作机器人***时可能分不清方向的部位处。本发明技术可能是有用的情形的一些实例包括利用“蛇形”机器人进行探索、调查或维修的那些情形。

机器人***可以包括制造***，例如车辆制造***、零件处理***、实验室***和例如用于危险材料的操纵器或手术操纵器。

图3示出了具有从基座301延伸的臂300的手术机器人。该臂包括多个刚性分支302。分支通过转动关节303联接。最近侧的分支302a由近侧关节303a联接到基座。它和其他分支通过另外的关节303串联联接。适当地，手腕304由四个单独的转动关节组成。手腕304将一个分支(302b)联接到臂的最远侧分支(302c)。最远侧分支302c承载手术器械306的附接件305。臂的每个关节303具有：一个或多个电机307，所述电机可以***作以在相应的关节处引起旋转运动；以及一个或多个位置和/或扭矩传感器308，所述传感器提供关于该关节处的当前配置和/负荷的信息。适当地，电机被布置在它们驱动其运动的关节的近侧，以便改善重量分布。为了清楚起见，图3中仅示出了电机和传感器中的一些。臂一般可以如我们共同未决的专利申请PCT/GB2014/053523中所述。

臂终止于附接件305中以用于与器械306相接。适当地，仪器306采用参照图2描述的形式。器械直径小于8mm。适当地，器械具有5mm直径。器械的直径可以小于5mm。器械直径可以是轴的直径。器械直径可以是铰接轮廓的直径。适当地，铰接轮廓的直径与轴的直径匹配或比轴的直径窄。附接件305包括驱动器械铰接的驱动组件。驱动组件接口的可移动接口元件机械地接合器械接口的对应可移动接口元件，以便将驱动从机器人臂传输到器械。在典型操作期间，一个器械更换了几次。因此，在操作期间，器械可附接到机器人臂且可从机器人臂拆卸。驱动组件接口和器械接口的特征有助于它们在彼此接合时的对准，从而降低它们需要由用户对准的准确性。

器械306包括用于执行操作的末端执行器。末端执行器可以采用任何合适的形式。例如，末端执行器可以是平滑的钳口、锯齿状钳口、夹持器、一对剪切钳、用于缝合的针、摄像头、激光器、刀、缝合器、烧灼器、抽吸器。如关于图2所述，器械包括在器械轴与末端执行器之间的铰接部。该铰接部包括允许末端执行器相对于器械的轴移动的若干关节。铰接部中的关节由例如电缆的驱动元件致动。这些驱动元件在器械轴的另一端处固定到器械接口的接口元件。因此，机器人臂按以下方式将驱动传输到末端执行器：驱动组件接口元件的移动移动器械接口元件，该器械接口元件移动驱动元件，该驱动元件移动铰接部的关节，该铰接部的关节移动末端执行器。

用于电机、扭矩传感器和编码器的控制器分布在机器人臂内。控制器经由通信总线连接到控制单元309。控制单元309包括处理器310和存储器311。存储器311以非暂态方式存储软件，该软件可由处理器执行，以控制电机307的操作，使臂300以本文所述的方式操作。具体而言，软件可以控制处理器310以使电机(例如经由分布式控制器)根据来自传感器308的输入以及来自外科医生命令接口312的输入进行驱动。控制单元309联接到电机307，以根据由软件的执行所产生的输出来驱动它们。控制单元309联接到传感器308以用于从传感器接收感测输入，并联接到命令接口312以用于从命令接口接收输入。例如，相应的联接可以分别是电缆或光缆，和/或可以通过无线连接来提供。命令接口312包括一个或多个输入装置，由此用户可以以期望的方式请求末端执行器的运动。输入装置例如可以是可手动操作的机械输入装置，诸如控制手柄或操纵杆，或非接触式输入装置，诸如光学手势传感器。存储在存储器311中的软件被配置成根据预定的控制策略对这些输入作出响应，并且使臂和器械的关节相应地移动。控制策略可以包括安全特征，该安全特征响应于命令输入而调节臂和器械的运动。因此，总的来说，命令接口312处的外科医生可以控制器械306以执行期望的手术程序的方式移动。控制单元309和/或命令接口312可以远离臂300。

适当地，成像装置被配置成输出图像信号或图像馈送，该图像信号或图像馈送表示成像装置所在的手术部位的图像，和/或包括手术部位的图像。图像信号可以包括视频信号。

虽然上述描述将单个屏幕称为显示装置，但是在一些实例中，机器人手术***包括多个显示装置或屏幕。屏幕适当地被配置成将图像显示为二维图像和/或显示为三维图像。屏幕可以设置在单个用户控制台上，或者两个或更多个控制台可以每个包括至少一个屏幕。这允许额外的观察屏幕，其可用于允许除控制台用户之外的人观察手术部位，例如用于训练，和/或用于手术室中的其他人观察。

手术部位的表示

可以在显示器上显示手术部位的表示，以允许外科医生看到该部位并使其能够执行手术程序。该表示可以是或可以包括来自成像装置的图像馈送，所述成像装置例如位于手术部位处的内窥镜。手术部位的表示可以包括2D或3D表示。3D表示可通过合适的处理从2D原始表示生成。在一些实例中，3D表示可以包括3D模型，例如身体或身体的一部分的3D模型。例如，当手术程序在腹腔中执行时，3D模型可以表示此类腹腔。在一些实例中，3D模型可以至少部分地从诸如与患者有关的身体数据等的数据导出。例如，数据可以包括来自例如MRI扫描等的扫描的数据。3D模型可以根据对要经历手术程序的患者的了解(例如根据对该人的生理状况的了解)来修改或选择。在一些实例中，该表示基于所捕获的图像馈送和例如部位的3D模型等的模型。

3D模型适当地是3D解剖模型。该模型可以包括仿真或模拟数据。该模型可以包括已经从关于较早程序获得的数据建立的模型数据。较早程序可以与正在计划或执行的程序具有相同的或类似类型。

手术部位的表示可能在手术程序期间改变。例如，表示可以随着患者移动(例如，当患者的取向改变例如患者台倾斜时)和/或当成像装置相对于手术部位改变其位置(或定位)和/或取向时而改变。成像装置可以平移通过手术部位，和/或放大或缩小。此类改变还可改变显示器上显示的部位的表示。例如，在手术程序期间，显示在显示器上的模型的部分可以改变。所显示的模型的部分可根据确定的末端执行器的位置而改变。例如，可以根据发送至末端执行器(或更一般地，***)的控制信号和/或末端执行器的运动学数据来确定末端执行器的位置。显示器上显示的模型的部分可以通过改变表示的数字缩放来改变，即成像装置本身的缩放不需要改变；所述改变可以通过对手术部位的表示执行的处理来实现。

通常，所显示的表示允许外科医生看到末端执行器的位置，并且相应地控制末端执行器以便执行手术程序。由于外科医生看到所显示的手术部位的部分，而不是整个部位，因此外科医生在手术期间可能分不清方向。换句话说，外科医生可能失去正观察手术部位的哪个部分的线索，和/或在正观察手术部位的所述部分的取向的线索。这可能意味着包括延长执行程序所花费的时间，这是因为在继续之前外科医生需要额外时间来正确定向自身。本发明人已认识到，优选在手术程序期间，可以向外科医生(和/或手术室工作人员的其它成员)提供附加信息。此类附加信息可以通过增强手术部位的表示，和/或通过增强手术部位的表示的显示来提供。

增强

增强手术部位的表示可允许对用户(例如外科医生)包括视觉辅助，该视觉辅助可例如有助于定向手术部位的所显示的表示。在本文所论述的实例中，“定向”适当地指确定或理解所显示的表示的取向。“定向”可以包括了解显示的表示所处的取向。本发明技术的方法可以使得手术程序能够更快速地和/或更准确地完成。增强可以提供例如在外科医生使用所述***控制末端执行器与末端执行器的操作或一般来说机器人***的操作之间的增强的人机交互。如本文将解释的，这种增强可以使***的用户能够更可重复、更可靠地和/或更快速地等等执行技术任务。

增强手术部位的表示可以在手术程序之前、手术程序期间和/或手术程序之后完成。任选地，至少一个增强在手术程序期间显示在表示上或作为表示的一部分。在一些实例中，这可以使诸如外科医生等的用户在执行程序时更准确地实时定向该表示。

增强可以涉及外科医生通过部位(例如，通过由外科医生控制的一个或多个末端执行器)所采取的路径、在部位处的一个或多个点处所采取的动作、在部位中的特定位置处存在(或不存在)的特征、部位的部分的移动等中的一个或多个。

可以自动地或响应于用户输入而添加增强。在响应于用户输入而添加增强的情况下，用户可以指定增强的一部分，并且增强的另一部分可以自动发生。这方面的一个例子是特征识别。诸如图像处理器等的处理器可以监测部位的表示，并且确定哪些特征存在，或者可能存在于表示中，或者存在于所显示的表示的一部分中。图像处理器或依赖于来自图像处理器的输出操作的另一处理器可以自动标记或加标签于一个或多个确定的特征。替代地，用户可以指示特征，并且***可以例如通过图像识别或图像匹配等，例如根据自动特征确定来自动选择要应用于该特征的标记或标签。

以上实例说明本发明技术的一种用途。用户可以标注或识别特征，例如所显示的图像馈送或手术部位的模型中的解剖特征。可以根据用户输入将增强添加到表示中。例如，用户输入可以指示要添加增强的特征或特征的位置。用户还可以指示或指定要添加的增强的性质，例如用于增强的名称或标记，和/或增强的类型。

在手术机器人***中，手术机器人的部分在3D空间内的位置通常已知。例如，末端执行器在3D空间中的位置已知，或者可以基于运动学控制信息来确定。此类运动学数据已经存在于***中，因此可能不需要计算额外运动学数据。因此，本发明技术可以有利地利用***中的现有信息来为***的用户提供额外益处。增强可以是与手术部位的表示有关的3D空间中的增强。当表示在显示器中移动时，增强的相关联移动可以考虑深度、旋转和/或横向平移等。此方法可以提高增强的定位的准确性，并且因此提高与基于增强的***交互的准确性。

在一个实例中，诸如外科医生等的用户可能希望指示解剖特征上产生切口或***缝针的位置。这可以在外科医生找到适合切口或缝针的位置的情况下有用，但可能希望在产生切口或***缝针之前执行另一个任务。使外科医生能够添加此类增强会使外科医生能够快速且准确地返回到由增强指示的位置。相对于当前位置的此类增强的位置可有助于导航穿过手术部位和/或定向手术部位的表示。例如，查看表示的所显示部分上的此类增强可以使用户能够快速且准确地确定正在显示的部位的部分，从而促进更高效的人机交互。在手术程序的背景下，这可以通过允许外科医生将重新定位所识别的位置所需的时间降低到最少来减少手术时间。减少手术时间对患者有益，因为它可以降低并发症的风险并有助于恢复时间。手术时间的减少可能对患者和医院有利，因为这可能产生可能执行的手术数量的增加，这又可能使得每次手术的成本降低。

增强无需在表示上显示或作为表示的一部分显示。例如，可以将增强添加到表示的一部分，然后改变所显示图像(例如通过成像装置和/或表示的缩放或平移)，使得增强不再在显示器上可见。在这种情况下，所述***可以被配置成通过向表示或表示的所显示部分添加可能为不同类型的进一步增强来指示增强的存在和/或位置。此类增强可以指示向或朝着表示的特征的方向和/或距离，例如表示中的另一增强和/或解剖特征。这将在下文更详细地描述。

在一些实例中，可以自动或以辅助方式执行动作。例如，常见动作，例如打结，可以由外科医生开始，并且动作的其余部分可以自动完成以便帮助外科医生。此类辅助的动作可在重复性移动或动作中是有用的。增强可以在将执行自动动作的位置处提供，或在需要辅助执行动作的位置处提供。例如，外科医生可以指示要打结的一个或多个位置，和/或通过打结来半途向***指示需要打结的辅助。一旦已经执行诸如打结的辅助动作，就可以修改预先存在的增强以指示已经执行辅助动作。附加地或替代地，可以提供新的增强以指示已执行辅助动作。新增强的位置可以提供执行辅助动作的位置的指示。

合适的位置(彼此最合适的位置、取向、间隔)的识别，例如外科医生可以执行任务和/或***可以执行辅助动作的位置的识别由外科医生适当地完成。在一些实例中，可自动执行合适位置的识别。可以根据先前识别的位置，例如包含在手术部位的模型中的位置来执行此类自动识别。所述模型可以通过考虑一个或多个先前程序来构建。因此，自动识别可能受益于对先前程序的组合了解，所述先前程序可能已经由与将要执行的程序相比的相同或另一个或多个外科医生执行。这样，更初级的外科医生可以受益于经验更丰富的同事的知识，而无需那些经验更丰富的同事在手术期间在场或在手术之前直接咨询。位置的自动识别可以经过***用户的确认。例如，***可以建议任选的位置。所建议的任选位置可以与置信因数相关联，所述置信因数可以指示所建议的任选位置适合当前程序的置信度。可以任何适当方式确定置信因数。在一些实例中，可以通过确定先前程序与当前程序之间的相似性和/或先前程序中使用的模型与当前程序中使用的模型之间的相似性来确定置信因数。置信因数可以根据执行先前程序中的一个或多个的用户来确定。例如，置信因数可能越高，表明置信度越高，其中置信因数至少部分地基于由相对较有经验的外科医生执行的程序。

外科医生可以例如通过识别位置和/或通过确认建议的位置来指示位置，使得***可以相应地增强手术部位的表示。在将自主地或部分自主地执行动作的情况下，外科医生接着可以向***指示可以执行此类至少部分自主的动作。

标签或增强可手动或自动添加。自动增强可根据图像识别而发生。这将在下文更详细地论述。可以根据指示器添加增强。指示器可以显示在显示器上。指示器可以包括光标或其它指针。指示器可以指示显示器的点或区域。例如，指示器可以呈形状例如圆形的形式，其内部部分由指示器指示。指示器可以包括在显示器上呈现实心和/或彩色的外边缘，例如，圆形指示器的圆周可为黑色或白色实线。外边缘可以闪烁以突出显示边缘。与显示器的其余部分相比，指示器可具有不同的颜色、对比度、3D外观和/或焦点。例如，指示器形状的内部可以是有颜色的，并且指示器的外部可以是黑色和白色。在一些实例中，指示器的内部可以通过聚焦而强调，而指示器的外部可以脱焦。可以使用突出显示指示器的任何其它合适的方式。

可向增强提供标记。对增强进行标记可以手动进行、自动进行或手动和自动的某种组合进行。例如，一旦添加增强，用户可以指定标记。这可以通过用户输入数据来完成，例如通过在键盘上输入标记、经由语音接口、经由手势接口、经由诸如鼠标的指针接口、和/或以任何其它合适的方式。可以使用这些方法的组合来输入数据。在一些实例中，例如麦克风等语音响应输入装置可用于输入标记。用户可以大声说出可以应用于增强的标记。可以通过从一组可能的标记中选择标记来将标记添加到增强中。标记的选择可以经由菜单***执行。菜单***可以包括所有可能的标记。菜单***可以包括一组可能的标签或使一组可能的标记可用。可以预选择该组可能的标记。可以根据用户的用户简档、正执行的手术程序、手术部位的位置等中的至少一个来选择该组可能标记。在一些实例中，用户可以预先定义要使用的标记。用户定义的标记可以是***定义的标记的补充。标记可以与一个或多个手术程序相关联，使得标记的子集可以用于相关手术程序。例如，标记“动脉”可以适当地可用于广泛的程序。在给定程序的手术部位处看不到肾的情况下，无需提供标记“肾”。

图像识别可用于辅助标记增强。图像识别算法可以选择要应用于增强的一组可能标记。图像识别算法可以根据模型，例如3D模型和/或手术部位的位置来选择集合。

标记可以包括文本标记和标记突出显示。文本标记可以例如提供被增强的特征的名称，例如“肾”或“动脉”。任何所需的详情都可以在文本标记中提供。标记突出显示可以包括表示的点或区域的视觉指示。例如，可以突出显示特征的边缘，例如动脉的边缘或器官(例如肾)的边缘。另外或替代地，可以突出显示特征的内部区域，例如由特征的边缘界定的区域。突出显示可以采用轮廓、阴影、着色、2D/3D外观改变、不同对比度等中的一个或多个的形式。在一个实例中，诸如肾等的器官(或表示中可见的器官的那部分)可以是有阴影的。这可以通过在表示中在该特征(在此实例中是肾)周围提供清晰指示来辅助用户。当手术程序不预期与该特征交互时，给特征加阴影可能是合乎需要的。当手术程序预期与要突出显示的特征交互时，可以使用替代的突出显示形式，例如不使特征变模糊的突出显示形式。可手动和/或自动地确定要突出显示的特征的边缘。在一个实例中，外科医生可以将指示器引导至边缘上的点，并向***指示该点表示特征的边缘上的点。外科医生可以描绘出边缘，或沿着边缘提供一个或多个点，基于这些点，边缘的其余部分能够被内插、外推和/或由***，例如通过图像分析以其它方式确定。例如，所述***可以被配置成确定边缘的任一侧的一个或多个图像特性(例如，颜色、对比度、光度、深度等中的一者或多者)的差异，并且通过图像描绘跟随该一个或多个特征的变化的线。一旦特征已被标记，***就可以执行图像分析和/或跟踪，以随着表示改变一致地标记该特征。

增强可以由***的用户添加或选择。例如，可以包括输入装置的控制器可以被配置成输出增强信号。增强信号可以与显示器上的指示器的位置相关联。增强信号可以指示指示器在显示器上的位置。例如，当用户控制控制器输出增强信号时，***可以被配置成在指示器的位置处添加增强。在一些实例中，在要导航菜单***的情况下，可以通过激活控制器来选择菜单***中的指示器的位置(即，菜单***值或标记)，以便输出增强信号。

控制器可以被配置成响应于激活控制器处的用户控件而输出增强信号。用户控件可以包括按钮或开关。用户控件可以包括键盘。用户控件可以包括电阻性传感器、电容性传感器、跟踪球、操纵杆或控制棒、语音传感器、手势传感器和/或这些和其它用户输入装置的任何组合。在一些实例中，控制器被配置成响应于在输入装置处接收用户输入而输出增强信号。输入装置可以包括用户控件。输入装置适当地使用户能够控制显示器上的指示器。例如，在输入装置上移动操纵杆或控制棒可使得指示器在显示器上对应移动。在一些实例中，输入装置的移动可以使指示器在显示器上对应移动。例如，可以通过例如手动控制器臂连杆和万向节以三维方式移动手动控制器。指示器的移动可以基于手动控制器的至少一个维度的移动。例如，两个维度的移动(例如，限定x-y平面或y-z平面的移动)可以控制指示器在显示器上的两个维度的移动。此方法允许指示器由用户以简单且直观的方式围绕显示器移动。在一个实例中，手动控制器的三维移动可用于控制末端执行器的位置，并且一个(或在一些实例中，两个)输入装置上的控制棒可用于控制手术部位的表示中的指示器位置。

控制器可以包括手术机器人的用户控制台或者可以是其一部分。

图4中示出了例如外科医生控制台400的用户控制台的示例说明。诸如外科医生等的用户可以经由外科医生控制台400处的输入装置304控制机器人臂302和联接到机器人臂302的器械320，并且可以根据需要操纵机器人臂和/或器械。如图4中所示，外科医生控制台400包括非接触式输入装置410，该非接触式输入装置包括手势传感器，例如光学手势传感器和语音传感器中的至少一个。外科医生控制台400包括触摸屏输入装置420。另外或替代地，显示器306可以包括触摸屏输入。外科医生控制台400包括足部操作输入装置430，例如脚踏板。装置410、420、430中的每一个在图4中示出，但应了解，可在其它实例中提供这些装置的任何数目的任何组合。并非所有输入装置或所有类型的输入装置都需要在所有示例中提供。

图5中示出了例如用户控制台400的控制器的一部分的配置的示意图。控制器500包括外科医生命令接口510。***还包括命令处理器单元520和显示器530。命令处理器单元520联接到外科医生命令接口510和显示器530两者。外科医生命令接口510被配置成可由诸如外科医生等的用户操作。外科医生命令接口510允许用户输入对手术机器人***的命令。用户可以使用命令接口控制手术机器人***的操作，例如通过控制一个或多个机器人臂和/或联接到机器人臂的末端执行器。命令接口510包括输入装置512。例如，输入装置512可以是输入装置，如图4中304处所示。在图5中仅示出了一个输入装置，但可以提供多于一个输入装置。通常，提供两个输入装置512，用户双手中的每一个使用一个。

在一些实例中，输入装置可以是手持式控制器，其由控制手术机器人的外科医生操纵。例如，输入装置可以通信联接到机器人臂和器械，由此例如在手术部位处器械的末端执行器的位置和操作可以由外科医生控制。

第二输入装置514设置在命令接口510处。在一些实例中，第二输入装置与输入装置512的类型相同。在其它实例中，第二输入装置514是与输入装置512不同类型的装置。例如，第二输入装置514可以包括语音接口、手势接口和触摸接口中的一个或多个。因此，第二输入装置514可以响应于在第二输入装置处接收的语音命令、手势和/或触摸。输入装置514可以是例如在图4中306、410、420或430处所示的装置。

此布置允许外科医生使用第二输入装置来增强手术部位的表示。例如，在手术程序期间，外科医生可以使用输入装置来执行手术程序的一部分。在由外科医生选择的时间点，可能期望增强由输入装置控制的指示器所在的手术部位的表示的部分。例如，在外科医生刚完成缝合的情况下，外科医生可能希望增强在缝合处或接近缝合处的手术部位的表示。这可以允许外科医生在手术部位的表示上记录缝合的位置。这可以使外科医生(和/或另一个人)能够在稍后的时间(例如，在程序中稍后或在程序后复查期间)定位该位置，即缝合。随着手术程序的进展，显示在显示器上的手术部位的部分很可能改变。增强手术部位的表示以便记录缝合的位置允许外科医生确定该位置距当前位置的取向或方向和/或距离。这可用于帮助外科医生适当地定向所显示的表示，例如其中缝合不再显示在显示器上。第二输入装置的提供允许不需要外科医生改变输入装置用于控制末端执行器的方式的情况下添加增强。也就是说，不需要移动末端执行器以添加增强。例如，外科医生可以说“缝合”，并且第二输入装置可以检测外科医生的语音输入，确定命令(此处，“缝合”)并且使信号被生成以相应地增强手术部位的表示。附加地或替代地，外科医生可以执行手势以用于由对手势敏感的输入装置，例如摄像头进行检测。外科医生可以触摸触摸响应输入装置，例如显示手术部位的表示的显示屏。第二输入装置无需由控制输入装置的同一个人控制。在一些实例中，外科医生将控制输入装置以便执行手术程序。手术助理或手术室工作人员的其它成员可以使用第二输入装置。在一些实例中，第二输入装置可以采取与输入装置类似的形式。在一些实例中，输入装置和第二输入装置中的一个或两个可用于导航手术机器人***的菜单，例如显示器上显示的菜单。菜单选项可以预先配置。菜单选项可以根据以下各项中的一个或多个预先配置：用户偏好、手术程序的类型、手术程序中的阶段、联接到***的末端执行器的类型和/或数目等。

在所有实例中，无需在与输入装置512相同的命令接口510处提供第二输入装置514。例如，输入装置可以在一个用户控制台处或与一个用户控制台相关联，第二输入装置可以在相同或不同的用户控制台处或与相同或不同的用户控制台相关联。第二输入装置可以被配置成生成信号。处理器可以被配置成从第二输入装置接收所生成的信号，并增强手术部位的表示或相应地修改增强。

提供与输入装置512不同类型的第二输入装置514有利地允许命令接口510的用户更容易地实现对机器人***的控制。例如，当用户控制两个手动可操作的输入装置512时，用户可能需要放开这些输入装置中的一个，以能够控制另一个手动可操作的输入装置。用户可以在不需要放弃对两个输入装置512中的任一个的控制的情况下有利地实现对第二输入装置514的控制。例如，在第二输入装置514包括语音接口的情况下，用户可以大声说出命令。这可以在保持抓住输入装置512的同时完成。

如图3中所示，命令接口联接到控制单元309，以用于实现对机器人臂和手术机器人***的末端执行器的控制。再次参考图5，命令接口510通信联接到命令处理器单元520。命令处理器单元520包括处理器521。处理器521被配置成与命令接口或控制器510通信，并且能够控制手术部位的表示的增强。处理器521可以被配置成执行图像处理，例如图像识别。附加地或替代地，可以提供图像处理器522。图像处理器522可以被配置成执行图像处理，例如图像识别。处理器521和/或图像处理器522可以被配置成执行边缘检测、光谱分析等。

处理器521和可选图像处理器522可以访问存储器523。在图5所示的实例中，存储器设置在命令处理器单元520处。在一些实例中，存储器可以设置在别处，和/或额外存储器可以设置在别处。将存储器523本地提供到命令处理器单元520可以改善存储器访问时间。至少部分地远离命令处理器单元520提供存储器523可以使得能够使用较大的存储器，而不需要命令处理器单元520有大物理尺寸。在存储器523的至少一部分远离命令处理器单元520设置的情况下，存储器523的远程部分可通过有线和无线连接中的一个或多个联接到命令处理器单元520。

存储器可以存储用于由处理器521和/或图像处理器522执行的程序。存储器523可用于存储处理的结果，以及任选地存储中间处理结果。存储器523可以存储手术部位或其至少一部分的表示。存储器523可存储关于手术部位的表示的增强。增强可以存储为手术部位的表示的一部分，或与其分开存储。在一些实例中，增强可存储在命令处理器单元处的存储器523处，且存储的增强所基于的手术部位的表示可存储在远程存储器处。在一些实例中，一个或多个增强可存储在命令处理器单元处的存储器523处，且一个或多个增强和增强所基于的手术部位的表示可存储在远程存储器处。

命令处理器单元520可以包括计算逻辑525。计算逻辑可以包括距离计算逻辑526、面积计算逻辑527、体积计算逻辑528和/或用户定义的计算逻辑529。计算逻辑被适当地配置成根据至少一个增强计算一个或多个度量，如本文其它地方更详细地描述的。

规定增强

下文描述了用户可以如何规定增强的实例。

如所论述，显示器上的指示器可由控制器控制。指示器可以包括诸如鼠标指针等的指针。诸如鼠标指针等的指示器通常是虚拟指示器，因为它不在手术部位处，而是添加到部位的表示中，或者在显示器上显示表示时覆盖在表示上。

在一些实例中，指示器可以包括物理指示器。物理指示器可以作为手术机器人的一部分提供。例如，物理指示器可以作为末端执行器的一部分提供。由于在显示器上可见末端执行器，因此末端执行器本身可用作物理指示器。

物理指示器可以包括末端执行器的指示器部分。例如，在末端执行器是具有一对钳口的夹持器工具的情况下，指示器可以包括处于闭合位置的钳口的尖端。末端执行器可具有其中末端执行器可充当指示器的指示器模式。在钳口完全关闭，或关闭超过预定点时可进入指示器模式。附加地或替代地，用户能够经由例如控制器处的控件，例如在输入装置和第二输入装置中的一者或另一者处的控件，在末端执行器的指示器模式与末端执行器的非指示器模式之间选择。适当地，不管是选择指示器还是非指示器模式，末端执行器保持以通常方式可控，使得所执行的程序不需要有任何中断。夹持器的钳口(或更一般地，任何其它末端执行器的配置或操作)不需要处于末端执行器充当指示器的特定配置中。

在一些实例中，指示器可以包括末端执行器的特定部分。例如，钳口的尖端、针的尖端等。例如，在末端执行器是夹持器的情况下，最左边的钳口的尖端可以充当指示器。此处，“最左边的钳口”可以是由用户观察的显示器中左侧的任何钳口，或者不管所观察的取向如何它可以是末端执行器的给定钳口。末端执行器的指示器部分可以这样指示，例如由末端执行器本身上的标记(其可以是来自末端执行器的另一部分的颜色、形状和/或配置的差异)和/或虚拟地在显示器上指示。虚拟地指示末端执行器的指示器部分具有以下优点：可以根据用户偏好、操作条件、正进行的手术程序等中的一个或多个改变此类指示。

可以将增强添加到在由指示器指示的位置处的手术部位的表示。例如，可以在指示器所在的位置处添加增强。指示器位置可以是显示器上的位置(即，在显示器的二维屏幕空间中)。指示器位置可以是显示器上的指示器到三维表示中的特征上的投影。

响应于控制器输出增强信号而适当地添加增强。增强信号可由所述输入装置输出。

例如，可以将增强添加到由指示器指示的特征，或添加到由指示器指示的特征上的位置。用户可以将指示器控制在所显示的表示中的期望特征(例如，器官)上。用户可以使控制器输出增强信号。作为响应，处理器521可以例如通过在指示器位置处添加增强来增强手术部位的表示。用户可以打开菜单，或者菜单可以在添加增强时自动打开。用户可以使用控制器，例如输入装置或第二输入装置导航菜单，以便选择用于增强的期望标记。在其它实例中，处理器521或图像处理器522可确定已添加增强的特征。此确定可通过图像识别和/或图像匹配或其它图像分析进行，例如基于可至少部分地从例如MRI扫描等的扫描导出的数据而导出的3D模型。然后，可以将确定特征的适当标记添加到表示中或以其它方式与增强相关联。在一些实例中，标记可以是特征的名称，例如，“动脉”、“肾”等。

增强可以由***自动添加，例如由处理器521自动添加。用户无需采取任何动作来使控制器输出增强信号。在一些实例中，控制器可以包括时钟或可访问时钟，且增强信号可由控制器根据时钟输出。例如，增强信号可以以预选择的时间或以预选择的频率输出。这可以允许获得关于不同外科医生到达程序中的给定点所花费的时间的数据，或获得关于外科医生从开始程序起在给定时间处达到的程序中的点的数据。此类数据可以增强对已经被执行的程序的程序后分析或离线分析。此类增强可以自动完成，而不需要用户输入。此方法使得能够重复且高效地获得数据。

可以在程序中的任何期望阶段自动地或手动地添加增强。在一些实例中，所述***可监测程序，将正在执行的程序与一个或多个先前程序进行比较。可以连续或定期执行此类比较。定期比较可以使用比连续比较更少的处理功率，因此可以是优选的。可以通过关于正在执行的程序对手术部位的表示进行图像处理以及关于一个或多个先前程序对对应部位的表示进行图像处理来执行该比较。对应部位的表示可以基于与一个或多个先前程序相关联的模型的平均值。当在程序中发生动作时，可能优选以比不发生动作时相对更大的速率执行比较。因此，在执行比较时，可以考虑在部位处例如末端执行器的移动。在移动速率较大的情况下，可以增大比较速率。在活动时段期间的较高比较速率使得能够进行准确比较，同时在相对不活动时段期间节省处理功率。可以根据机器人运动学数据来确定比较速率。例如，可以根据末端执行器的一部分的速度和/或根据末端执行器的操作来确定比较速率。

当确定当前程序偏离一个或多个先前程序时，可以添加增强。偏差可涉及执行程序的阶段的时间或相对时间。偏差可涉及执行程序的阶段的位置。在当前程序与预期行为例如基于一个或多个先前程序的预期行为变化超过阈值量时，可以确定发生偏差。阈值量可以是执行动作的时间段。例如，当动作的执行比预期时间早或晚大于5秒、10秒、30秒、1分钟、2分钟或5分钟时，可以确定已发生偏差。阈值量可以是距手术部位的表示中的预定位置的距离。例如，在离预期位置大于1mm、2mm、5mm、10mm或20mm处执行动作时，可确定已发生偏差。这种方法允许在程序之间进行有用的比较，同时允许考虑诸如生理差异等的差异。

在一些实例中，在确定已发生出错状态的情况下，可以增强表示。出错状态可以包括机器人臂和/或器械故障。用于确定出错状态的发生的阈值可以是用户可定义的和/或预设置的。

可以根据任何期望的源，例如远程信息处理数据源来生成增强信号。例如，可以根据确定器械更换、手动控制器臂关联改变、电外科模式改变、内窥镜移动、对至少一个手动控制器进行重新索引等中的一个或多个来生成增强信号。可以根据本文所述任何动作的特定组合发生来生成增强信号。

增强信号可以指示显示器上显示的特征。增强信号可以包括指示指示器相对于手术部位的表示的位置的位置数据。例如，增强信号可以包括与指示器相对于3D模型的位置有关的数据。例如输入装置等的控制器可以被配置成提供位置数据。可以根据所显示的指示器获得位置数据。

位置数据可以包括关节数据，例如与机器人臂和/或末端执行器的一个或多个关节相关联的数据。关节数据可以包括关节位置数据。例如，关节位置数据可以包括与支撑器械的机器人臂的关节的位置、取向和/或配置有关的数据，和/或与器械和/或器械的末端执行器的关节的位置、取向和/或配置有关的数据。关节数据可以包括运动学数据。例如，运动学数据可以包括与机器人臂和器械的多个关节中的一个的位置、取向和/或配置的变化有关的数据。运动学数据可以包括与机器人臂和器械的多个关节中的一个的位置、取向和/或配置的变化率有关的数据。运动学数据可以包括一个或多个关节的初始位置数据，从初始位置起发生位置变化。在末端执行器充当指示器的情况下，提供此类位置数据尤其有用。在这种情况下，指示器(即，末端执行器)的3D位置将是已知的。因此，可以将增强以高度准确的方式添加到表示中。此方法还可以在所需的处理方面提供节省，因为位置数据已经存在于***中，并且不需要重新计算。

在需要更准确地识别所显示表示中的特征的情况下，可以在多于一个位置处标注特征。可以在特征上间隔开(例如横向间隔开)的位置处输入标签。在一些实例中，可能期望改变一个标签与另一个标签之间表示的取向或缩放。在一些实例中，可能期望在一个标签与另一个标签之间改变观察条件。观察条件可以包括视图是2D视图还是3D视图、图像对比度、图像着色和/或阴影，和/或图像增强是否存在。在一些实例中，特征可以由一个或多个标签指示，其中患者处于一个位置，并且患者随后移动(此类移动可以包括移动患者的一个或多个肢体，和/或移动患者所躺的手术台的取向等)。在一些情况下，患者移动可使手术部位的部分相对于彼此移动。例如，由于不同的重力效应，患者的取向改变可以引起器官移动。在患者处于新位置时，相同的特征可以由一个或多个标签来标注。以此方式标注特征可有助于***稳健地抵抗患者移动或其它类似效应。例如，在不同患者位置处标注特征可以有助于使该特征能够在程序期间被跟踪，在此期间患者可能改变位置。可以执行图像处理以识别两个(或更多个)标注的位置是否是相同特征的一部分，例如沿着动脉间隔开的点或在肾上的不同位置处的点。当一个点在一个特征上(例如，在动脉上)并且另一个点在不同的特征上(不在动脉上)时，***可以提示用户标注一个或多个另外的点。根据与不在该特征处的标签相比在该特征处的标签的相对数目，可选择特征作为期望增强的特征。以此方式，不需要由用户移除或调整无意的标签，这可能耗时，而是可以制作一个或多个额外标签(这对于用户来说可能更快)以指示要增强的特征。

一旦表示已被增强，增强可以是可移动的，例如自动地移动或由用户移动。增强可以通过将增强拖放到显示器上来移动。控制器可以被配置成允许例如经由计算机鼠标光标、输入装置和/或第二输入装置进行此类拖放。

如所提及，增强可以由用户使用自由文本标记，和/或从一组标记中选择。对增强进行标记可以自动发生，或至少部分地自动发生。例如，表示可以由处理器521或图像处理器522处理，并且图像识别技术用于提示特定特征是什么。在某些情况下，单独使用此类图像识别技术可能存在困难。这可能是因为成像的手术部位可能没有足够高的对比度，和/或它可能没有被良好照亮。有利地，本发明技术允许增强图像处理。可以在当前程序的部位表示与先前程序和/或模型的一个或多个表示之间进行比较。先前程序和/或模型的表示适当地包括至少一个标记或已知特征。当确定当前表示中的特征与先前表示中或模型中的特征相同或相似时，先前表示或模型中的所述特征的标记可以供用户选择，或自动应用于当前表示中的特征的增强。取决于与标记相关联的置信因数，可以进行标记是否可用于用户选择还是自动应用的确定。此方法允许***通过建立关于类似类型的程序和/或程序模型的数据库来“学习”不同特征的标识。因此，可以使自动标记或建议可能的标记更准确。这可以节省用户正确标记特征的时间。更准确的特征标记可以基于这些标记来提高任务的准确性。

处理器可以被配置成监测或跟踪表示的增强和/或特征，例如解剖特征，例如器官或血管。在一些实例中，可以自动地确定例如解剖特征等的特征。例如，***可以通过图像处理来确定特征。当手术部位的表示改变时，增强和/或特征的这种监测或跟踪是有用的。例如，表示的观察位置可以改变。这可归因于观察位置的横向移动，或如在成像装置的位置和/或取向的改变上可能发生的观察位置的角改变。有用地，所述***被配置成使得随着显示器上显示的表示的部分改变，增强保持其相对于手术部位的表示的位置。例如，当成像装置移动到右侧时，使得基于该成像装置的图像输出的表示在显示器上移动到左侧，增强也将移动到左侧。所述***被适当地配置成使得增强与手术部位的表示配准地移动，即，所述***被配置成使得增强与表示一起移动。例如，在将增强添加到表示中的特定特征的情况下，增强适当地与该特征的移动一起移动。特征的此类移动可以相对于手术部位的表示在平移和/或缩放变化上发生。特征的移动可以其它方式发生。例如，手术程序可以涉及移动特征。例如器官等的特征可由于呼吸、心跳和重力中的一个或多个(例如，当调整患者台时)而移动。

如上所述，可以手动和/或自动地添加增强。可以根据确定增强标准得到满足来添加增强。处理器521可以被配置成确定增强标准是否得到满足。

增强标准可以包括确定手术器械是否附接到***，是否从***拆卸，手术器械是否由***操作和/或手术器械的状态是否存在变化。增强标准可以包括确定在手术部位的表示中存在指示图像识别匹配的图像识别信号。例如，当表示中的特征通过图像识别确定为例如肾的特定特征时，出现此图像识别匹配是有用的，从而相应地触发表示的增强。

增强标准可以包括确定是否存在指示与手术机器人***相关联的误差的误差信号。增强标准可以包括确定已达到特定时间，或者特定时间已过去。更一般地，例如，可以由处理器521根据时间信号确定增强标准是否得到满足。例如，增强标准可以包括在特定时间或在特定时间范围内发生的特定动作。这可以包括在给定时间段内进行的缝合或一系列缝合。

时间信号可以包括指示当天的时间的信号。时间信号可以包括指示自程序开始起经过的时间的信号和/或程序中的预定义点。预定义点可以是例如切割程序的开始或结束、缝合程序的开始或结束和/或电灼程序的开始或结束。时间信号可以包括程序的持续时间的指示，例如切割、缝合和电灼程序中的一个或多个。

增强标准可以包括确定手术机器人***的用户改变。指示用户改变的信号可以指示控制输入装置的外科医生中止程序，例如，通过松开输入装置以使输入装置与末端执行器的主动控制解耦，和程序正在由另一外科医生继续。指示用户改变的信号可指示在一个控制台处的外科医生接管在另一控制台处的外科医生。这可以在手术程序期间或在手术程序中中止时发生。

可以根据诸如用户改变信号等的信号来确定用户改变。可以根据与***的用户相关联的登录或注册确定***的用户已改变。可以根据与用户相关联的识别信号确定***的用户已改变。识别信号可以从成像装置或视觉处理器输出，该成像装置或视觉处理器可以被配置成执行面部识别以例如从一组用户中识别用户，和/或对例如诸如QR代码等2D代码执行模式识别。识别信号可从被配置成检测无线信号的无线接收装置输出。无线接收装置可以被配置成检测WiFi(TM)信号、蓝牙(TM)信号和/或射频信号，例如RFID信号。由发射这些类型信号中的至少一种的用户携带的装置可用于区分用户，并且任选地用于识别特定用户。

“离线”增强表示

如上文实例所述，可在程序期间添加增强。可以在程序之前或之后另外或替代地添加增强。可以在程序开始之前，例如在规划阶段添加增强。在程序开始之前，将不会有来自成像装置的手术部位处的“实时”图像馈送。因此，优选地，在程序开始之前，将增强添加到例如部位的3D模型的模型中。此类3D模型可以几种方式中的一种方式生成。例如，3D模型可以从例如MRI扫描的扫描导出。3D模型可以源自立体模式，所述立体模式可以根据一个或多个患者相关参数来选择。3D模型可以源自多于一种立体模式。例如，3D模型可以源自不同立体模式的加权组合。

控制器被适当地配置成能够导航通过模型，以便在程序期间可视化预期表示。例如，这可以由输入装置和/或第二输入装置完成。

在规划阶段，增强手术部位的表示是有用的，以便能够识别可能的所关注区域和/或预期手术干预的位置。在此类规划阶段中，增强可由外科医生或其它医师添加。例如，增强可以由受训外科医生或护士添加。在规划阶段添加的此类增强不必如此准确。它可能足以指示一般区域或特征。此类增强可以例如通过识别关键特征和/或关键特征例如血管、器官和/或骨骼结构的方向来指示整个手术部位中的近似位置。此类指示可以减少外科医生在手术期间所需的时间。例如，通过帮助外科医生将自身定位在手术部位内，增强可以节省外科医生的时间和/或努力。这可以帮助减少手术所需的总时间，这可以为患者和医院两者提供优点，如本文其它地方讨论的。

在程序期间，可以添加增强以突出显示所关注区域。这些可以包括外科医生在程序期间可能希望返回的点。这可能是因为外科医生注意到一些意外的情况，需要更详细的检查。此类增强可以指示单个兴趣点(例如器官)，或多个兴趣点(例如，多个器官或同一器官上的多个点)。

外科医生可以添加增强以指示较高风险或危险的区域。例如，可能期望借助于增强来突出显示血管(例如动脉)的位置。这可以帮助外科医生避开血管，因此可以降低在程序期间引起无意出血的风险。

可以添加增强以指示程序中的路径点。此类路径点可用于指导用户(例如，受训或经验较少的外科医生)。此方法可以使用户能够更快速地重新跟踪横穿的路径，这继而允许减少完成程序所需的时间。路径点可用于在实时程序期间或在实时程序模拟期间引导受训或经验较少的外科医生。

可以在缝合、切口、电灼操作和/或组织的抓握点的位置处添加增强。通常，可以在末端执行器处于或变得可操作的点处添加增强。通过这种方式增加手术部位的表示允许跟踪活动部位。可以基于增强来确定这些活动部位的3D位置。这可以允许稍后分析程序或程序期间的特定活动。

程序完成后可添加增强。可以根据从程序获得或在程序期间获得的数据将此类增强添加在程序的所记录馈送上和/或构建的模型上。增强可以指示用于改进的可能区域。在程序完成之后添加此类增强意味着可以在比程序本身期间压力更小的环境中进行程序审查。因此，可以执行比程序期间可能更大的水平的分析。在一些实例中，增强可以指示缝合部位的最佳位置和/或间隔。此类增强可以提高用户对后续程序中可能发生的潜在问题的认识，这些程序与正在审查的程序相同或相似。以这种方式提高认识可以减少后续程序中不合需要的事件的数目，这可以例如提高这些后续程序的效率和/或可以在程序期间减少并发症的数目。

对手术部位的表示添加的增强可以若干不同方式使用。可以使用增强的方式的一个实例是在手术期间帮助引导外科医生。增强允许将指示添加到部位中外科医生所看到之处的表示。例如，通过标记器官(例如肾)，外科医生将更好地理解部位，并且因此可以更容易地控制末端执行器和/或围绕部位移动。这将在下文更详细地论述。

对增强分组

可以将增强添加到一个或多个增强组。可以将多个增强添加到特定增强组。可以根据这些增强共同的特征来对增强分组。例如，增强可以根据以下各项中的一个或多个进行分组：

·***的用户添加增强的点，

·添加增强的用户，

·被执行的程序，

·所执行程序的类型，

·被增强的特征的类型(例如器官、血管、组织和/或骨骼、损伤和/或患病区域)，

·被增强的特征(例如，特定器官或血管)，

·需要动作的点(即，“待完成”列表，其可包含切口点)，

·时间(例如，最后一小时或最后30分钟添加的所有增强)，

等等。

不同组中的增强可在显示器上区分。例如，***(例如，处理器521)可以被配置成不同地突出显示不同组中的增强。增强可以通过以下各项中的一种或多种来突出显示：呈不同颜色；具有不同字体和/或大小的标记；具有不同轮廓；和闪烁或以不同频率闪烁。

所述***被适当地配置成根据特定增强所属的增强组而显示或隐藏增强。这增加了用户能够识别特定类型的增强的容易性，并且因此能够根据这些增强采取行动。

所述***(例如处理器521)可以被配置成根据一个或多个增强来执行计算。适当地，可以自动执行计算。例如，所述***可以自动对添加的增强的数目或特定增强组中的增强数目计数。例如，增强组可以涉及沿着特征(例如胃)延伸的卷须(tendril)。外科医生可能需要围绕部位移动以查看所有卷须，因为一些可能位于胃部的背对彼此的侧面上。外科医生无需一次性地添加关于所有卷须的增强。增强可以在程序的不同阶段添加，甚至实际上在不止一个程序中添加。在这种情况下，可能难以正确地记住卷须的数量。多于一个用户可能已添加增强。因此，如果***提供例如“tendril(卷须)”增强组中的增强数目计数，则是有用的。

所述***可以被配置成确定多个增强或增强组中的多个增强之间的距离。多个增强之间的距离可以包括增强之间的最大距离，例如彼此相距最远的两个增强之间的距离(在手术部位的表示的2D或3D空间中)。多个增强之间的距离可以包括增强之间的最小距离，例如彼此最接近的两个增强之间的距离(在手术部位的表示的2D或3D空间中)。多个增强之间的距离可以包括多个增强或多个增强的子集之间的距离的平均值(例如，平均值、众数或中值中的一个或多个)。多个增强之间的距离可以包括后续增强之间的距离(即，对于3个增强，总距离可以是第一与第二增强之间的距离以及第二与第三增强之间的距离的总和)。此方法允许用户沿着特征的长度添加增强，并且***接着确定该特征的长度。

所述***可以被配置成确定特征的取向。例如，所述***可以被配置成根据连接与该特征相关联的两个或更多个增强的一条或多条线来确定特征的取向。取向可以相对于方便的参考系确定，例如手术台、体腔、手术部位处的另一个识别或选择的特征等。

所述***可以被配置成指示在两个以上增强之间或者在增强组中的多个增强之间的线。该线可在显示器上和/或在另一显示器上可见。以此方式线的指示可用于远程图显(telestration)。例如，在程序期间或在执行程序之前的训练期间，提供远程图显能力可用于教学和/或指导。所述***可以被配置成根据基于增强的点对点线(连接所有所选的增强)、最佳拟合线和样条中的一个或多个来指示线。所述***可以被配置成指示2D或3D中的线。

所述***可以被配置成确定由多个增强或增强组中的多个增强包围的面积。由多个增强包围的面积可以包括多边形的面积，多边形的每个拐角处具有增强。由多个增强包围的面积可以包括由投影到3D模型中的特征上的多个增强包围的面积。例如，多个增强可以位于例如器官的弯曲特征上。由多个增强包围的面积可以包括增强投影到其上的弯曲特征的表面面积。此方法使得能够确定手术部位的表示内的特征的表面，所述表面可能比特征到2D显示器上的投影的面积更有用。

所述***可以被配置成确定由多个增强或增强组中的多个增强包围的体积。由多个增强包围的体积可以包括由3D空间中(例如手术部位的3D模型中)的增强的位置包围的体积。确定由多个增强包围的体积可以允许确定手术部位处的特征的体积。例如，可以跨越肿瘤表面添加增强。所述***被适当地配置成根据与该肿瘤相关联的增强的3D空间中的位置确定肿瘤的大小或近似大小。

所述***(例如处理器521)可以被配置成限制在指定的点、线、面积或体积中、经过指定的点、线、面积或体积或指定的点、线、面积或体积附近末端执行器的进入或移动。指定的点、线、面积或体积可以由一个或多个增强组中的一个或多个增强来限定。例如，可以在例如动脉的特征上或沿着特征添加增强(这可以在规划阶段完成)。与动脉有关的增强可以在“动脉”增强组中。可以针对静脉(或其它特征)添加进一步的增强。与静脉有关的增强可以在“静脉”增强组中。所述***可以被配置成限制末端执行器进入围绕一个或多个选定特征的体积中。例如，所述***可以限制末端执行器进入围绕“动脉”和“静脉”增强组(或包含“动脉”和“静脉”增强组的“血管”增强组)中的一个或两个的体积中。这可以降低外科医生在手术期间意外损坏特征(此处，动脉或静脉)的风险。所述***可以被配置成限制或防止末端执行器在此类点、线、面积或体积的预设定距离内的运动。所述***可以被配置成根据末端执行器的一部分与限制的点、线、面积或体积(或者一般来说，与任何指定的增强或增强组)的接近度而提供反馈(例如视觉和/或触觉反馈，例如可听声音或振动(例如输入装置的)。此方法可以允许末端执行器比原本情况下更快移动，同时减少发生组织损伤的可能性。因此，这种方法可以有助于加快程序，这可以改善患者恢复时间。

现在参考图6，示出了用于增强手术部位的表示的方法。任选地，成像装置可用于对手术部位的至少一部分成像602。任选地，可以获得手术部位的模型604，例如2D或3D模型。在606处获得手术部位的表示。可以根据在602处捕获的手术部位的图像和在604处获得的手术部位的模型中的一个或两个来获得手术部位的表示。在608处，显示表示。例如，表示可以显示在显示器上。控制显示器上的指示器610。指示器由控制器处的输入装置适当地控制。在612处，接收增强信号。增强信号可以由控制器，例如由输入装置输出。响应于接收到增强信号，增强手术部位的表示614。可以根据显示器上的指示器位置来增强手术部位的表示。

可以根据存储的部位表示来获得手术部位的模型604。显示器上可见的末端执行器可以包括指示器。所述方法可以包括通过控制末端执行器来控制指示器。

定向增强

如所提及，一个或多个增强可以在表示上提供或作为表示的一部分提供，以帮助定向表示。此类导航辅助可以增强对所显示的表示的理解，并且提高机器人***的用户可以使用机器人***来执行程序的速度和/或准确性。

在一些实例中，处理器521被配置成接收成像装置信号。成像装置可以被配置成输出成像装置信号。成像装置信号指示成像装置例如相对于手术部位或某个其它适当的参考系(例如，患者台(其可为可移动的)或手术室)的位置和取向中的至少一个。这使处理器能够确定可使用成像装置查看的手术部位的一部分的位置和取向。即，处理器可以确定成像装置的图像馈送所涉及且可被显示的手术部位的部分。如上文所论述，手术部位的表示可基于图像馈送和/或3D模型。因此，成像装置信号使处理器能够确定由成像装置观察的手术部位的部分。处理器可以被配置成将手术部位的成像部分与3D模型匹配。在一些实例中，手术部位的成像部分可以与3D模型相同或大致接近。当图像中的器官和血管处于与3D模型中相同或大致相同的相对位置时，可能就是这种情况。然而，器官和血管不一定以相同方式彼此一起移动。当患者倾斜时，例如，不同的器官和/或血管(或实际上任何其它内部结构)可以不同地动作。不同行为可至少部分地归因于组织的相对“松软度(floppiness)”(或弹性)。适当地，3D模型和/或处理器可以访问关于组织松软度的数据或假设。当存在例如可能使组织移动的患者角度的变化时，可以根据与每个组织相关联的松软度值(或相对松软度值)来估计组织(例如器官和血管)的新位置。可基于估计位置生成更新的3D模型。以此方式，处理器可以被配置成将手术部位的成像部分与3D模型和/或更新的3D模型匹配。此方法有助于根据图像馈送和3D模型两者生成表示，因为它可以使成像视图能够正确地与3D模型对准。可以根据成像装置信号来增强表示。处理器可输出显示信号，以引起增强的表示的至少部分的显示。所述***可以包括被配置成显示增强的表示的至少一部分的显示器。

在程序期间，成像装置通常将被移动。即，成像装置的位置和取向中的至少一个将改变。成像装置的缩放可以改变。适当地，处理器被配置成接收另一成像装置信号。另一成像装置信号适当地指示成像装置的更新的位置和/或取向，和/或指示成像装置的更新缩放或平移状态。处理器被适当地配置成根据成像装置信号和另一成像装置信号确定成像装置的位置、成像装置的取向、成像装置的缩放和成像装置的平移状态中的至少一个的变化。处理器可以被配置成根据所确定的变化更新增强的表示。处理器可以被配置成通过更新施加在表示上或施加到表示的增强来更新增强的表示。

所述表示可基于表示的特征，例如器官、血管，或更一般地一个或多个解剖特征，和/或缝合、切口、电灼作用等中的一个或多个的部位而增强。增强可以指示手术部位的表示的取向。可以基于另一个增强，例如较早添加的增强来增强表示。其它增强可基于一个或多个解剖特征。例如，所述***可以被配置成检测解剖特征的表示中的存在。此检测可通过图像处理来执行，例如图像匹配等。在说明性实例中，所述***可以识别表示中存在肾(无论其在显示器上是否可见——例如，被观察的表示的部分可能不包括包含肾的表示部分)。肾可以这样标记，例如根据本文所述的一种或多种技术。此类标记可以添加为增强(同样地，无论显示器上是否可见)。可基于此增强(即，在此实例中基于‘肾’标记)进一步增强表示。在另一实例中，可以根据确定肾存在于表示中而不需要首先针对肾增强表示来增强表示。

指示表示的取向的增强可以采用几种形式中的一种。增强可以通过指示表示的“全局”取向，例如通过指示向上方向(例如，针对重力或垂直于患者台)和朝向作为整体或身体的一部分(例如，朝向套管针***位置或朝向患者头部)的手术部位的一部分的方向中的一个或多个来指示取向。增强可以通过指示表示的“局部”取向，例如通过指示解剖特征(例如，可相对于手术部位整体移动的解剖特征)的位置来指示取向。例如，器官(或其它解剖特征)可以在程序期间移动。器官可在患者移动时由于重力而移动。器官可能由于呼吸而移动。器官可以由外科医生移动。在一些实例中，增强可以指向或以其它方式指示“屏幕外”特征，即，不是所显示的表示的一部分的特征。

增强，例如指示“全局”取向的增强，可以包括人工水平线。这方面的一个实例在图10中示出。例如，线或平面1002(例如在3D增强上)可以指示水平线或平面。增强可以包括朝向手术部位的一部分(例如，在上述实例中，套管针***点)的方向和/或距离的指示1004，或更一般地，针对所关注特征的指示。例如，可以提供指向所关注特征的箭头1004。箭头可以2D或3D提供。在一些实例中，可提供线或平面和箭头两者。例如，增强可以包括球体1000，平面1002可在球体内旋转以指示重力水准面，并且一个或多个箭头1004可设置在球体内(例如，在球体的中心与球体的外表面之间延伸的径向箭头)，指示朝向所关注特征的方向。可以任何方便的方式示出球体。球体可以是透明的。球体可以由经度和/或纬度的一条或多条线指示。

处理器可以被配置成确定到所关注特征的方向和距离中的至少一个。可以根据屏幕的边界投影到表示上的确定和/或表示所基于的3D模型来确定与所关注特征的距离。与所关注特征的距离可以根据解剖模型，例如3D模型来确定。与所关注特征的距离可根据一个或多个增强的模型中的位置来确定。例如，在已添加与给定特征例如血管相关联的增强的情况下，可以将该增强的位置视为指示相关联特征例如血管的位置。因此，从某一其它点(例如，屏幕到表示上的投影的边界)到此类增强的位置的距离可被视为到该相关联特征的距离。

增强可以包括朝向所关注特征的距离的指示。距离可以从屏幕边缘上的点(即，表示的所显示部分的边缘处的点)、从屏幕的中心(或表示的所显示部分)或根据需要从任何其他点测量。可测量到所关注特征的最靠近边缘、到所关注特征的中心点、到所关注特征的最靠近边缘与最远边缘之间中途的点，或根据需要到任何其它点的距离。优选地，距离测量为从最靠近所关注特征的表示的所显示部分的边缘处的点到最靠近表示的所显示部分的所关注特征的边缘的距离。即，可以确定距离为表示的所显示部分与所关注特征之间的最短距离。最靠近表示的所显示部分的所关注特征的部分可随着成像装置的位置、取向、缩放和/或平移改变而改变。可以确定处理器相应地自动更新距离确定。增强可以包括文本标记，其提供到所关注特征的距离，例如以毫米为单位。可以使用任何其他单位。测量单位和/或测量的准确性可以是可选择的，例如用户可选择的。要使用的测量单位以及显示该测量的准确度可以在用户简档中预先设定。

因此，在所关注特征在表示的所显示部分中不可见的情况下，增强可提供所关注特征位于何处的指示。该指示可以包括指向该所关注特征的方向和距离。这可以使诸如外科医生等的用户在被呈现表示时能够更快速地获得他们的方位，和/或降低当穿过手术部位时他们将失去方位的风险(其中此类导航可以包括3D部位内的平移和/或旋转运动)。

特征可被视为不存在于表示的所显示部分中，其中它在显示表示的部分的显示器上不可见。特征可被视为不存在于表示的所显示部分中，其中特征被表示中的另一特征遮挡和/或在所显示表示的视场之外。

可以提供多于一个取向增强。每个此类增强可以指向或以其它方式指示各自的所关注特征。多于一个这样的增强可以指向或以其他方式指示相同的所关注特征。例如，当提供两个此类增强时，显示器的右手上拐角和左手上拐角处各一个，增强可以一起提供除了单个增强提供的信息之外的信息。例如，通过比较每个增强和所关注特征之间的相对距离，可以容易地确定所关注特征是位于中心位置(相对于显示器)还是位于一侧或另一侧。因此，可以使用增强的此类组合来获得表示的更准确的取向。

增强可以包括朝向特征的距离的指示，例如屏幕边缘与特征(例如，特征的最靠近屏幕边缘的部分)之间的距离。可以任何方便的方式提供朝向特征的距离的指示：闪烁、闪烁频率、颜色、大小、形状、轮廓、透明度、半透明度和/或增强的这些和/或其它视觉特征中的任何一个或多个。可以根据确定的距离来选择或显示增强。可以指示与所关注特征的距离的增强的一些实例在图7中示出。

图7a示出了可以指向所关注特征的箭头701。图7a中的箭头具有宽度轴w1。图7b示出了可以指向所关注特征的另一箭头702。图7b中的箭头具有宽度轴w2。w1大于w2，这可指示从箭头701到所关注特征的距离大于从箭头702到所关注特征的距离。在一些实例中，相对较大的箭头宽度可以指示与所关注特征的相对较短的距离。

可以通过比较图7b和图7c中的箭头来观察可以改变以指示与所关注特征的距离的增强的另一特征。图7b中的箭头702具有宽度w3的箭头。图7c中的箭头703具有宽度w4的箭头。w3大于w4，这可指示从箭头702到所关注特征的距离大于从箭头703到所关注特征的距离。在一些实例中，相对较大的箭头宽度可以指示与所关注特征的相对较短的距离。

箭头轴的宽度和/或箭头的宽度可以基于到所关注特征的距离。例如，箭头轴和/或箭头的宽度可以与到所关注特征的距离成正比或成反比。在一些实例中，箭头轴和/或箭头的宽度可以与到所关注特征的距离成线性、逆线性、对数或逆对数比例。

箭头轴和/或箭头的宽度减小可以指示所关注特征越来越接近显示器的边缘或边界。轴和/或箭头的“零”宽度可以指示所关注特征在边界处。当所关注特征出现在显示器上时，可以从显示器移除增强(此处，箭头)。在一些实例中，指示所关注特征的增强或标签可以替换箭头(或其它‘屏幕外’增强)，因为该所关注特征出现在屏幕上。在一些实例中，随着所关注特征移出屏幕，与该特征相关联的标签可以被指示到该特征的方向和/或距离的“屏幕外”增强替换。

例如响应于成像装置和/或患者组织的移动，适当地动态更新指示所关注的屏幕外特征的距离和/或方向的增强。

增强的大小的其它方面可以改变以指示距离。例如，在确定的距离较大的情况下，作为整体的增强的大小可以增加。在其它实例中，在确定的距离较大的情况下，增强的大小可以减小。处理器可以被配置成根据距离修改增强的大小。处理器可以被配置成在最小尺寸和最大尺寸中的一个或两个内修改增强的大小。最小尺寸和/或最大尺寸可以是可选择的，例如用户可选择的。

在一些实例中，处理器被配置成当确定所关注特征在屏幕上可见时，例如当从屏幕边缘到所关注特征的距离变为零时，移除增强。在一些实例中，处理器被配置成当所关注特征在屏幕边界内部延伸一定距离时移除增强。采取这种方法可以意指在去除增强之前，所关注特征是可见的并且可能还可被用户识别。所关注特征的屏幕边界(在此处处理器移除增强)内部的距离可以是预设定的和/或可选择的，例如用户可选择的。所关注特征的屏幕边界(在此处处理器移除增强)内部的距离可取决于性质、类型、和/或对所关注特征的分类(例如，当特征无法立即识别时，可能期望确保在移除增强之前在屏幕上可见更多该特征)、和/或正在执行的程序(例如，可以针对不同特征根据例如每种特征对该特定程序的重要性选择不同动作)。在一些实例中，来自至少一个先前程序的数据，任选地包括与来自该程序的一个或多个结果有关的数据，可用于确定所关注特征，何时增强关于所确定所关注特征的表示和/或何时移除关于所确定所关注特征的增强。例如，当此类数据表明对给定特征是什么存在混淆(例如，误认为特定特征为另一特征)时，该特征可被选择以进行增强和/或该特征的增强可保留比为另一特征的增强更长时间。

图7d和图7e示出了可以随着与所关注特征的距离而变化的增强的另一视觉特性。在所示的实例中，增强是箭头。其它形状可以作为增强提供或作为增强部分提供。图7d和图7e示意性地示出了在不同频率下闪烁的增强。例如，处理器可以使增强以指示到所关注特征的距离的频率或相对频率闪烁。例如，相对较高的闪烁频率可以指示相对较接近(或者在其它实例中更远离)的所关注特征。

增强可以包括文本标记。例如，在增强包括箭头的情况下，文本标记可以沿着箭头的长度提供，与箭头重叠，邻近箭头等等。图7f和图7g示出了箭头的实例，其上显示示出到所关注特征的距离的文本标记。在增强包含其它形状的情况下，可类似地提供文本标记。文本标记可以包括特征的描述，例如“肾”。

在处理器被配置成移除指示到特征的方向和/或距离的增强的情况下，处理器可以被配置成保留标记，例如关于该特征的描述性标记。例如，在肾在屏幕外的情况下，可以将增强施加到表示到肾的距离和方向的表示。一旦肾出现在屏幕上，增强可以仅包含标记“肾”，增强的其余部分已被去除。

适当地，处理器被配置成根据在表示的所显示部分中不存在的特征来确定增强。例如，根据不在屏幕上的特征来确定增强。

在一些实例中，处理器被配置成根据增强数据确定增强。处理器可以被配置成接收增强数据。增强数据可以包括与表示相关联的数据。与表示相关联的此类数据可以与表示一起存储或作为表示的一部分存储。此类数据可以包括加标签(或标记)的特征。此类数据可基于或包括规划阶段和/或一个或多个先前程序期间生成的数据。例如，与表示相关联的数据可以包括根据一个或多个先前执行的程序而获得的数据，所述一个或多个先前执行的程序与正在执行或计划执行的程序类型相同或相似。在一些实例中，与表示相关联的数据可以包括根据由同一外科医生或团队执行的一个或多个先前执行的程序而获得的数据。

在一些实例中，增强数据包括指示表示中的特征的数据。例如，增强数据可以包括特征标记，和/或与血管和器官中的一个或多个的边缘有关的数据。

在一些实例中，指示表示中的特征的数据指示一组特征组中的一个或多个特征组。特征组可以涉及一个或多个器官(通常是血管)、待执行/已执行手术程序的部位、所关注部位和取决于待执行/正在执行的程序的部位或特征。特征的此分组可以使得表示的取向能够基于在该程序/此时与外科医生相关的特征。此方法可使得能够更快确定取向–帮助外科医生更快速且高效地执行程序，即促进更好的人机交互。

在一些实例中，所接收的成像装置信号和/或所接收的另外的成像装置信号包括与成像装置有关的运动学数据。运动学数据可以来自运动学控制器，例如命令处理器单元520处的运动学控制器。运动学控制器可以是处理器521的一部分，或者它可以单独地提供。以此方式使用运动学数据使得能够使用***内的现有信息；不需要为了增强表示的目的而单独计算运动学数据。这可以例如在速度、处理功率和数据带宽中的至少一个方面提高***的效率。运动学数据是高度准确的，因为运动学数据使得手术机器人能够移动。因此，使用该相同的运动学数据使得能够快速且准确地确定手术部位的表示的取向。这可以改善人机交互，使得***的用户，例如外科医生，能够在手术程序期间快速定向自身。这使得外科医生能够更快速和/或更准确地操作。这促进了手术程序的改进，例如手术的缩短(这对于患者和医院是有利的)。

处理器可以被配置成跟踪所关注特征的位置，例如解剖特征的位置。处理器可以被配置成相对于表示的所显示部分跟踪位置。处理器可以被配置成根据跟踪的位置以及成像装置取向、成像装置位置、成像装置的视场和表示的所显示部分的视场中的至少一个的变化来更新增强的表示。在一些实例中，可以通过对由成像装置生成的图像馈送进行图像处理来跟踪位置。在一些实例中，可以通过处理3D模型中的位置的3D坐标并跟踪所述模型相对于成像装置如何移动来跟踪位置。这些方法和其它方法的组合是可能的。

有可能从一个或多个程序建立数据集，并使用此类数据集来改进取向确定。在一些实例中，处理器可以被配置成根据手术部位的表示内的特征(例如，根据由成像装置生成的图像馈送中的特征)来确定取向。处理器可以被配置成根据表示中的多于一个特征来确定取向。通过许多不同程序(其可以是相同类型的程序)建立数据集使得能够基于更多数量的参考特征和特征的参考组合更准确地确定取向。例如，在图像馈送中手术部位的表示中的一个或多个特征可以与数据集中的一个或多个特征进行比较。可以例如根据表示和/或成像装置的位置和取向中的一者或两者预测或估计取向。可以选择对应于围绕预测取向的期望范围内的取向的数据集的元件，以与图像馈送中的一个或多个特征进行比较。最符合图像馈送中的一个或多个特征的数据集的元件可用于确定取向。例如，取向可以被确定为关于最佳匹配的先前确定的取向。在一些实例中，可以将预测或估计的取向与成像装置的运动学组合以提高准确性。

在一些实例中，处理器可以被配置成根据成像装置的位置和/或取向来确定(或识别)表示中的特征。例如，处理器可以确定在生成的图像馈送中存在特征。处理器可以从成像装置的位置和/或取向确定正在由成像装置成像的表示的部分。处理器可以例如根据解剖模型确定该特征是什么，并且可以相应地增强表示。处理器可以根据包括从一个或多个先前程序获得的数据的数据集来确定特征是什么。数据集可以包括来自至少一个先前程序的一个或多个结果。例如，在先前已识别特征和/或至少实现满意结果的情况下，所述识别可由处理器使用以识别当前表示中的特征。此方法使得能够使用先前识别的特征，从而允许考虑其中识别那些特征的程序的结果。可以预期，更好的结果将与更准确的特征识别正相关。因此，关注结果高于阈值水平(例如定性水平)的所识别特征可以预期提高稍后特征识别的准确性且因此提高增强的准确性。

至少一些解剖特征通常在手术部位内移动。例如，器官可由于重力、患者呼吸、由外科医生移动等中的一个或多个而移动。因此，该器官的手术部位中的位置将不保持恒定。所述位置可以以可预测的方式改变。例如，器官(或更一般地，所关注特征)可以在第一时间在第一位置，并且可以在第二时间在第二位置。处理器适当地被配置成确定当前时间是第一时间还是第二时间。处理器可以被配置成根据确定所述当前时间是第一时间还是第二时间，和/或根据确定的特征的位置来识别特征。

相反，在一些实例中，处理器被配置成根据表示中的所识别特征来确定位置和/或取向。例如，当特征(例如器官)在重力影响下可移动时，其中处理器确定该特征(例如器官)在特定位置(例如当重力在相对于手术部位在特定方向上作用时特征通常移向的位置)中，可根据该位置来确定取向(例如重力方向)。

用户可以标注诸如器官的特征，以已知方式移动患者，并重新标注相同特征。这可以得到特征的弹性的指示，这可以允许在患者经历其它移动时估计该特征的位置。

如上文所论述，可以在程序之前、期间和/或之后的不同时间标注特征。可以在相对于手术部位的不同位置标注特征。以此方式标注特征可有助于基于此类标注提高稍后确定的准确性。此方法使得数据集能够由给定特征可能存在的一系列可能位置构成。可以找到特征的位置可取决于正在执行的程序、正在执行的程序的阶段、自程序开始以来的时间、正在执行的动作等中的一个或多个。标注特征多次使得特征的移动能够被更好地表征，这可基于那些特征产生更准确的确定。此方法还可以有助于提高预测器效率，例如通过缩小特征的可能位置范围，或者通过缩小给定位置处的潜在特征的列表。

在一些实例中，处理器被配置成自动地居中特征上所显示的表示的视场。特征可以是预定的，例如对于特定程序或特定程序的给定部分。特征可以是可选择的，例如用户可选择的。自动居中(或重新居中)功能的启动可取决于自动居中信号。自动居中信号可以由控制器生成，例如由控制器处的输入装置生成。响应于接收到自动居中信号，处理器可以被配置成自动地重新居中表示的所显示部分，以便将所显示的表示居中于所识别特征上。所述处理器可以被配置成在不使成像装置移动的情况下重新居中表示的所显示部分。换句话说，要使所显示的表示的视场在特定特征上居中无需移动成像装置。例如，处理器可以被配置成改变所显示的表示的缩放，使得重新缩放的表示可以适当地居中，而不需要成像装置移动。此方法促进特征的数字重新居中，该数字重新居中可能比通过移动成像装置而重新居中更快。此外，其使得能够以避免在返回到原始视点时引入位置和/或取向误差的方式重新居中，然后返回到原始视点。

此类重新居中在图8中示出。图8a示出显示器(或表示的所显示部分)802。表示的所显示部分包括(在此高度简化且示意性的实例中)特征，例如器官804和血管806。器官804与血管806之间的接合朝向表示的所显示部分802的右侧。此接合可指定为所关注特征，且可针对此接合生成重新居中信号。作为响应，处理器可以缩放表示，以便将缩放的表示居中于此所关注特征上。在808处，表示的缩放部分在图8a中以虚线示出。图8b示出了重新居中的表示，其再次包含器官804和血管806，但现在器官804与血管806之间的接合居中地位于显示器802中。所关注特征的此类居中可以实现***用户与***本身之间的更方便的交互。这可能是因为所关注特征的居中允许在表示的所显示部分中更清楚地看到所关注特征。

用于重新居中表示的过程在图9中示出。识别表示的所显示部分可以在其上居中的所关注特征(901)。所关注特征的识别可以使用本文所述方法中的一种或组合来执行。在一些实例中，所关注特征可以手动地识别和/或标记。在一些实例中，所关注特征可以被自动地识别和/或标记。可以生成自动居中信号(902)。自动居中信号的生成可以是自动的，例如响应于满足一个或多个标准。自动居中信号的生成可以是手动的，例如通过用户与控制器处的输入装置交互。因此，可以响应于来自用户的输入和/或响应于(例如)正在达到的程序的预定部分，或某个其它标准或标准组合来执行自动居中功能的启动。该标准适当地取决于用户偏好和/或正在执行的程序。例如，标准可以取决于用户简档。因此，***可以被配置成使得当外科医生到达程序中的预定点时，例如期望在该点获得所关注特征的更清晰视图，例如，在待执行切口之处或待***缝针处，可生成自动居中信号。

响应于自动居中信号，处理器可以被配置成改变所显示的表示的缩放(903)。缩放的变化可取决于所识别的特征。因此，可以使得所识别的特征能够在缩放的表示中居中的方式改变缩放。然后可以重新居中表示(904)。适当地，表示根据所识别的特征而重新居中。可以显示重新居中的表示(905)。例如，处理器可以被配置成输出显示信号，以引起表示的显示。

在一些实例中，表示可在显示器上重新定向。对此的图示可以通过比较图8b和图8c而看到。图8b示出了器官804和血管806。如显示器802上所显示的，器官804的右侧边缘大致竖直。血管806向上延伸到右侧。图8c还示出了器官804和血管806，但是在图8c中，表示的取向已经改变，使得血管大致水平地延伸。图8c中所显示的表示已相对于图8b中所显示的表示顺时针旋转。显示器上的表示的这种取向变化可用于实现给定特征，例如血管806的一致取向。这可以向用户诸如外科医生提供跨越许多不同程序的给定特征的一致视图，这可以增强由外科医生执行的程序的可重复性和/或准确性。例如，在外科医生要添加缝合的情况下，外科医生可能更喜欢在水平取向上观察被缝合的特征。

可以根据用户输入、用户简档、预设的取向等来选择可以将表示旋转到的特定取向。取决于用户简档选择取向可以使每个外科医生能够在最适合该外科医生的取向上查看表示。

可以通过旋转成像装置和/或通过例如在处理器处以数字方式旋转表示来执行重新定向表示。在处理器处重新定向表示具有无需移动成像装置的优点。在处理器处重新定向表示时，将控制器重新映射到手术器械，使得外科医生对控制器的移动(例如，向左方向)使对应手术器械在正确的方向上移动(在手术部位的所显示表示的重新定向参考系的向左方向上)通常是适当的。控制器到手术器械的重新映射可以根据所显示的表示来执行。因此，可以在重新映射中考虑表示的重新定向。

本文所述的技术可以用于非手术机器人目的。例如，它们可以用于机器人***或更一般地说应用于期望获得关于诸如机器人程序等的程序的附加信息的***中。

申请人在此独立地公开了本文描述的每个单独的特征以及两个或更多个这种特征的任意组合，只要这些特征或组合能够基于本说明书作为一个整体根据本领域技术人员的公知常识来实施，而不管这些特征或特征的组合是否解决本文公开的任何问题，并且不限制权利要求的范围。申请人指出，本发明的各方面可以由任何这样的单个特征或特征组合组成。鉴于以上描述，对于本领域技术人员来说显而易见的是，可以在本发明的范围内进行各种修改。

权利要求书(按照条约第19条的修改)

1.一种用于增强能够执行手术程序的手术部位的表示的手术机器人***，所述***包括：

显示器，所述显示器被配置成显示手术部位的至少一部分的表示的部分或全部；

控制器，所述控制器包括输入装置，由此所述输入装置能够控制所述显示器上的指示器，所述控制器被配置成响应于与所述表示有关的用户输入而输出增强信号；以及

处理器，所述处理器被配置成接收所述增强信号，并且响应于所接收的增强信号，增强所述手术部位的表示，所述增强根据所述手术部位的模型执行。

2.根据权利要求1所述的***，其中所述处理器被配置成接收与所述手术程序有关的数据，并且执行所接收的数据与和先前程序有关的数据的比较，并且根据所述比较来增强所述手术部位的表示。

3.根据权利要求1或权利要求2所述的***，其还包括成像装置，由此所述成像装置被配置成对所述手术部位成像并且生成所述手术部位的图像馈送，其中根据所生成的图像馈送获得所述手术部位的表示。

4.根据任一前述权利要求所述的***，其中所述手术部位的表示是3D表示。

5.根据任一前述权利要求所述的***，其包括具有手术器械的机器人臂，所述手术器械具有末端执行器，由此所述手术部位的表示包括所述末端执行器的表示，所述指示器包括所述末端执行器的表示的一部分。

6.根据任一前述权利要求所述的***，其中所述增强信号指示所述显示器上显示的特征。

7.根据任一前述权利要求所述的***，其中所述***被配置成根据指示器位置将所述增强与所述手术部位的表示相关联。

8.根据任一前述权利要求所述的***，其中所述处理器被配置成根据与所述机器人***相关联的关节数据来增强所述手术部位的表示。

9.根据权利要求8所述的***，其中所述处理器被配置成使所述增强与根据所述关节数据确定的所述手术部位的表示中的位置相关联。

10.根据任一前述权利要求所述的***，其中所述处理器被配置成根据所述表示的图像处理来增强所述手术部位的表示。

11.根据任一前述权利要求所述的***，其包括第二输入装置，所述处理器被配置成根据所述第二输入装置处的用户输入来增强所述手术部位的表示。

12.根据任一前述权利要求所述的***，其中所述处理器被配置成确定增强标准得到满足，并且根据该确定来增强所述手术部位的表示，其中所述处理器被配置成根据以下各项中的至少一个确定所述增强标准得到满足：

手术器械的附接、拆卸、操作和/或状态改变；

图像识别信号，所述图像识别信号指示所述手术部位的表示中的图像识别匹配；

误差信号，所述误差信号指示与所述手术机器人***相关联的误差；

时间信号；以及

指示所述手术机器人***的用户改变的信号。

13.根据任一前述权利要求所述的手术机器人***，其中所述处理器被配置成：

增强沿着所述指示器指示的所述表示的解剖特征的边缘的一个或多个点处的表示；以及

从所指示的一个或多个点内插和/或外推所述边缘的其余部分。

14.根据任一前述权利要求所述的手术机器人***，其中所述处理器被配置成使所述增强与置信因数相关联，所述置信因数指示所述增强适合当前程序的置信度。

15.根据权利要求14所述的手术机器人***，其中所述置信因数根据以下各项中的一个或多个来确定：

所述当前程序与较早程序之间的相似性；

所述当前程序中使用的模型与较早程序中使用的模型之间的相似性；以及

执行所述较早程序的用户。

16.根据任一前述权利要求所述的手术机器人***，其包括联接到所述处理器的存储器，所述存储器被配置成存储所述手术部位的表示和所述增强中的至少一个。

17.一种用于增强能够执行手术程序的手术部位的表示的方法，所述方法包括：

显示手术部位的至少一部分的表示的部分或全部；

控制显示器上的指示器；

接收与所述表示有关的用户输入，并且响应于所接收的用户输入而输出增强信号；以及

响应于所述增强信号而增强所述手术部位的表示。

18.根据权利要求17所述的方法，其包括以下各项中的至少一个：

根据存储的所述手术部位的表示生成所述手术部位的表示；以及

生成所述手术部位的图像馈送并且根据所生成的图像馈送生成所述手术部位的表示。

19.根据权利要求17至18中任一项所述的方法，其中所述指示器包括所述手术机器人***的成像末端执行器的一部分，并且所述方法包括通过控制所述末端执行器来控制所述显示器上的指示器。

20.根据权利要求17至19中任一项所述的方法，其包括根据关节数据和所述表示的图像处理中的至少一个来增强所述手术部位的表示。

21.根据权利要求17至20中任一项所述的方法，其包括确定增强标准得到满足，以及根据该确定增强所述手术部位的表示。

22.根据权利要求17至21中任一项所述的方法，其包括使所述增强与至少一个增强组相关联。

23.根据权利要求22所述的方法，其包括根据所述增强所属的增强组而显示所述增强。

24.根据权利要求17至23中任一项所述的方法，其包括在所述手术部位的表示包括多个增强时，确定以下各项中的至少一个：

增强的数目；

所述多个增强之间的距离；

由所述多个增强包围的面积；以及

由所述多个增强包围的体积。

25.根据权利要求17至24中任一项所述的方法，其包括在所述显示器和辅助显示器中的至少一个上显示以下各项中的一个或多个：

增强的数目；

连接多个增强的线；

由多个增强包围的面积；以及

由多个增强包围的体积。

Claims (25)

1.一种用于增强能够执行手术程序的手术部位的表示的手术机器人***，所述***包括：

显示器，所述显示器被配置成显示手术部位的至少一部分的表示的部分或全部；

控制器，所述控制器包括输入装置，由此所述输入装置能够控制所述显示器上的指示器，所述控制器被配置成响应于与所述表示有关的用户输入而输出增强信号；以及

处理器，所述处理器被配置成接收所述增强信号，并且响应于所接收的增强信号，增强所述手术部位的表示。

2.根据权利要求1所述的***，其还包括成像装置，由此所述成像装置被配置成对所述手术部位成像并且生成所述手术部位的图像馈送。

3.根据权利要求2所述的***，其中根据所生成的图像馈送获得所述手术部位的表示。

4.根据任一前述权利要求所述的***，其中所述手术部位的表示是3D表示。

5.根据任一前述权利要求所述的***，其包括具有手术器械的机器人臂，所述手术器械具有末端执行器，由此所述手术部位的表示包括所述末端执行器的表示，所述指示器包括所述末端执行器的表示的一部分。

6.根据任一前述权利要求所述的***，其中所述增强信号指示所述显示器上显示的特征。

7.根据任一前述权利要求所述的***，其中所述***被配置成根据指示器位置将所述增强与所述手术部位的表示相关联。

8.根据任一前述权利要求所述的***，其中所述处理器被配置成根据与所述机器人***相关联的关节数据来增强所述手术部位的表示。

9.根据权利要求8所述的***，其中所述处理器被配置成使所述增强与根据所述关节数据确定的所述手术部位的表示中的位置相关联。

10.根据任一前述权利要求所述的***，其中所述处理器被配置成根据所述表示的图像处理来增强所述手术部位的表示。

11.根据任一前述权利要求所述的***，其包括第二输入装置，所述处理器被配置成根据所述第二输入装置处的用户输入来增强所述手术部位的表示。

12.根据任一前述权利要求所述的***，其中所述输入装置和所述第二输入装置中的至少一个响应于与相应输入装置的语音命令、手势和触摸交互中的一个或多个。

13.根据任一前述权利要求所述的***，其中所述处理器被配置成确定增强标准得到满足，并且根据该确定来增强所述手术部位的表示。

14.根据权利要求13所述的手术机器人***，其中所述处理器被配置成根据以下各项中的至少一个确定所述增强标准得到满足：

手术器械的附接、拆卸、操作和/或状态改变；

图像识别信号，所述图像识别信号指示所述手术部位的表示中的图像识别匹配；

误差信号，所述误差信号指示与所述手术机器人***相关联的误差；

时间信号；以及

指示所述手术机器人***的用户改变的信号。

15.根据任一前述权利要求所述的手术机器人***，其中所述处理器被配置成根据用户输入和图像识别信号中的至少一个来表征与所述手术部位的表示中的增强相关联的特征。

16.根据任一前述权利要求所述的手术机器人***，其包括联接到所述处理器的存储器，所述存储器被配置成存储所述手术部位的表示和所述增强中的至少一个。

17.一种用于增强能够执行手术程序的手术部位的表示的方法，所述方法包括：

显示手术部位的至少一部分的表示的部分或全部；

控制显示器上的指示器；

接收与所述表示有关的用户输入，并且响应于所接收的用户输入而输出增强信号；以及

响应于所述增强信号而增强所述手术部位的表示。

18.根据权利要求17所述的方法，其包括以下各项中的至少一个：

根据存储的所述手术部位的表示生成所述手术部位的表示；以及

生成所述手术部位的图像馈送并且根据所生成的图像馈送生成所述手术部位的表示。

19.根据权利要求17至18中任一项所述的方法，其中所述指示器包括所述手术机器人***的成像末端执行器的一部分，并且所述方法包括通过控制所述末端执行器来控制所述显示器上的指示器。

20.根据权利要求17至19中任一项所述的方法，其包括根据关节数据和所述表示的图像处理中的至少一个来增强所述手术部位的表示。

21.根据权利要求17至20中任一项所述的方法，其包括确定增强标准得到满足，以及根据该确定增强所述手术部位的表示。

22.根据权利要求17至21中任一项所述的方法，其包括使所述增强与至少一个增强组相关联。

23.根据权利要求22所述的方法，其包括根据所述增强所属的增强组而显示所述增强。

24.根据权利要求17至23中任一项所述的方法，其包括在所述手术部位的表示包括多个增强时，确定以下各项中的至少一个：

增强的数目；

所述多个增强之间的距离；

由所述多个增强包围的面积；以及

由所述多个增强包围的体积。

25.根据权利要求17至24中任一项所述的方法，其包括在所述显示器和辅助显示器中的至少一个上显示以下各项中的一个或多个：

增强的数目；

连接多个增强的线；

由多个增强包围的面积；以及

由多个增强包围的体积。

Images