CN112689483A - 用于在机器人外科手术中使用的用户输入装置 - Google Patents

Abstract

本发明描述了用于控制外科机器人***的用户输入装置（UID）。UID可包括一个或多个追踪传感器以根据该UID的姿态而生成相应的空间状态信号。该追踪传感器中的至少一个追踪传感器可以是摄像机。在多个追踪传感器的情况下，通过传感器融合算法处理该空间状态信号以生成更稳健的单个追踪信号和质量量度。数字控制***随后使用该追踪信号和该质量量度来控制与该UID相关联的外科机器人***致动器的运动。本文还描述并要求保护其他实施方案。

Description

用于在机器人外科手术中使用的用户输入装置

相关申请

本申请要求在2019年6月12日提交的美国专利申请号16/439,591的权益，该美国专利申请要求在2018年6月15日提交的美国临时专利申请号62/685,821的优先权，该申请的全部内容在此以引用的方式并入本文。

背景技术

技术领域

公开了与机器人***相关的实施方案。更具体地，公开了与外科机器人***和对应的用户输入装置相关的实施方案。

发明背景

内窥镜外科手术涉及检查患者身体并且使用内窥镜和其他外科手术工具在身体内执行外科手术。例如，腹腔镜外科手术可使用腹腔镜进入并且查看腹腔。可使用手动工具和/或具有机器人辅助工具的外科机器人***执行内窥镜外科手术。

可由外科医生远程地操作外科机器人***以控制位于手术台处的机器人辅助工具。外科医生可使用位于手术室中的计算机控制台来命令机器人操纵安装在手术台上的手术工具，或者该计算机控制台可位于不同的城市。机器人控制的外科手术工具可为安装在机器人臂上的抓钳。因此，可由远程外科医生控制外科机器人***以在机器人外科手术期间抓取组织。

外科机器人***的控制可能需要来自外科医生的控制输入。例如，外科医生可在她的手里持有用户输入装置（UID），诸如操纵杆或计算机鼠标，她操纵该用户输入装置来生成控制外科机器人***部件的运动的控制命令的信号，该外科机器人***部件例如为机器人***的致动器、机器人臂和/或手术工具。

发明内容

依靠单个追踪模态的现有的UID在空间上受限并且容易发生错误。此类错误可生成机器人操纵器的非期望和潜在危险的移动。在医疗应用的情况下，可需要亚毫米级（用于平移）和亚度数（用于取向）范围内的移动来实现在临床上可行的操作。应注意，可通过对来自UID的控制信号进行滤波来减少可导致控制误差的***噪声。然而，信号滤波可引入时延，该时延对机器人操纵器的稳定操作具有相关联的不合意的影响。因此，需要无噪声、准确且实时的感测方法来检测用于控制外科机器人***的UID的状态、位置和取向。

本公开的一方面是一种基于若干追踪模态的组合的用于控制外科机器人***的UID（与可能在空间上受限并且容易发生错误的依靠单个追踪模态的UID形成对比）。该追踪模态可包括视觉模态和惯性模态以实现对UID的姿态的估计。视觉/惯性测距方法融合了i）基于视觉模态的对姿态的估计与ii）基于惯性模态的对姿态的估计。更具体地，将使用成像光学器件所计算的姿态的估计与诸如惯性测量单元（IMU）和/或电磁体（EM）传感器的追踪传感器的测量值进行组合以生成准确的姿态确定。该UID可实现在较广（无限制）的运动范围上的稳健和快速（例如，实时）的追踪；不会有EM噪声或失真的追踪；以及可检测和补偿周围环境中的对象或人的追踪。

以上发明内容不包括本发明的所有方面的详尽列表。可以设想，本发明包括可利用以上总结的各个方面的所有合适组合来实施的所有***和方法，以及以下具体实施方式中所公开及随本申请一同提交的权利要求书中特别指出的那些***和方法。此类组合具有未在以上发明内容中明确叙述的特定优点。

附图说明

本发明的实施方案在附图中是以示例的方式而不是以限制的方式来示出的，在附图中，类似的附图标记指示类似的元件。应当注意，本公开中对本发明的“一个”实施方案的提及并不一定指同一实施方案，并且它们表示至少一个实施方案。另外，为了简明及减少附图总数的目的，可使用给定附图来示出本发明的不止一个实施方案的特征，并且对于给定实施方案而言可能不需要附图中的所有元件。

图1是根据一个实施方案的手术场地中的示例性外科机器人***的示图。

图2是根据一个实施方案的具有向外看的摄像机的用户输入装置的透视图。

图3A示出了用于基于视觉或摄像机的追踪的标记的示例性布置。

图3B示出了用户控制台处的标记的若干其他布置。

图4是根据一个实施方案的用于在具有摄像机的用户输入装置中使用的印刷电路板的透视图。

图5是根据一个实施方案的具有摄像机的用户输入装置的侧视图。

图6是根据一个实施方案的具有若干摄像机的用户输入装置的透视图。

图7是根据一个实施方案的外科机器人***的框图。

图8是根据一个实施方案的融合表示用户输入装置的姿态的空间状态信号以控制外科机器人***致动器的运动的方法的操作的框图。

具体实施方式

描述了用于控制机器人***且更具体地控制外科机器人***的用户输入装置（UID）的实施方案。然而，该UID可用于控制其他医疗***，诸如介入性心脏病学***或医疗视觉***（仅列举几个可能的应用）。

在各种实施方案中，参照附图进行描述。然而，可在不使用一个或多个这些具体细节或与其他已知的方法和构造相结合的情况下实施某些实施方案。在以下的描述中，为了提供实施方案的透彻理解而阐述了许多具体细节，诸如具体构造、尺寸和工艺。在其他情况下，为了避免不必要地使本说明书变得不清楚，没有对熟知的工艺和制造技术进行特别详细的描述。在整篇说明书中对“一个实施方案”、“实施方案”等的提及意指所述特定特征、结构、配置或特性包括在至少一个实施方案中。因此，整篇说明书的各个不同地方出现的短语“一个实施方案”或“实施方案”等不一定都指同一实施方案。此外，特定特征、结构、构造或特性可以以任何合适的方式结合在一个或多个实施方案中。

整篇说明书中相关术语的使用可表示相对位置或方向。例如，“远侧”可指示远离参照点的第一方向，例如远离操作者的第一方向。类似地，“近侧”可指示在与该第一方向相反（例如，朝向操作者）的第二方向上的位置。提供此类术语是为了确立相对参照框架，但是此类术语并非旨在将UID的使用或取向局限于下文各种实施方案中所述的具体构造。

图1是位于手术场地中的示例性外科机器人***100的示图。机器人***100包括用户控制台120、控制塔130以及位于手术机器人平台111（例如，工作台、床等）处的一个或多个手术机器人臂112。***100可并入有用于对患者102执行外科手术的任何数目的装置、工具或配件。例如，***100可包括用于执行外科手术的一个或多个外科手术工具104。外科手术工具104可以是附接到外科手术臂112的远侧端部的用于执行外科手术的端部执行器。

可在外科手术期间手动地、通过机器人或通过以上两种方式操纵每个外科手术工具104。例如，外科手术工具104可以是用于进入、查看或操纵患者102的内部解剖学的工具。在一个实施方案中，外科手术工具104是可抓取患者102的组织的抓钳。可通过床边的操作者106手动地控制外科手术工具104；或者可通过机器人经由对该外科手术工具附接至的外科机器人臂112进行致动移动来控制该外科手术工具。机器人臂112被示出为工作台安装式***，但在其他构造中，可将臂112安装在推车、天花板或侧壁中或安装在另一合适的结构支撑件中。

一般来讲，远程操作者107，诸如外科医生或其他操作者，可使用用户控制台120例如通过遥控操作来远程地操纵臂112和/或外科手术工具104。如图1中示出，用户控制台120可位于与***100的其余部分相同的手术室中。然而，在其他环境中，用户控制台120可位于相邻或附近的房间中，或者该用户控制台可处于远程位置，例如位于不同的建筑物、城市或国家中。用户控制台120可包括座椅122、用脚操作的控件124、一个或多个手持式用户输入装置（UID） 126以及至少一个操作者显示器128，该至少一个操作者显示器被构造为显示例如患者102体内的手术部位的视图。在示例性用户控制台120中，远程操作者107在操纵用脚操作的控件124和手持式UID 126的同时坐在座椅122上并且观看操作者显示器128，以便远程地控制臂112和外科手术工具104（它们安装在臂112的远侧端部上）。用脚操作的控件124可以是脚踏板，诸如七个踏板，该脚踏板当被致动时生成运动控制信号。用户控制台120可包括一个或多个附加的输入装置，诸如键盘或操纵杆，以接收手动输入来控制用户控制台120或外科机器人***100的操作。

在一些变化中，床边操作者106还可在“床上”模式下操作***100，其中床边操作者106现在处于患者102的一侧，并且例如在一只手握持手持式UID 126的情况下同时地操纵机器人驱动的工具（附接到臂112的端部执行器）和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID 126以控制机器人部件，同时床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变化中，床边操作者106可对患者102执行机器人辅助式微创外科手术和手动腹腔镜外科手术。

在示例性手术（外科手术）期间，为患者102做手术准备并且以无菌的方式覆盖手术单，并且施配麻醉。可使用已知的技术诸如通过在皮肤中形成切口来实现对患者解剖学的初始进入。可通过患者身上的光学入口将套管针和/或其他外科手术工具***到该切口中。随后可将套管针定位在手术部位处。当机器人***100的臂处于收起构造或收回构造（以促进进入手术部位）或处于操作者限定的停泊姿态时，可手动地执行对手术部位的初始进入。一旦完成初始进入，便可执行机器人***（包括它的臂112）的初始定位或准备。接下来，外科手术继续进行到用户控制台120处的远程操作者107利用用脚操作的控件124和UID126来操纵各种端部执行器和可能的成像***以执行外科手术。穿着无菌手术衣的床边人员还可在手术床或手术台处提供手动辅助，例如，可执行诸如缩回组织的任务的床边操作者106对机器人臂112中的一个或多个机器人臂执行手动重新定位以及工具交换。还可存在非无菌人员来辅助用户控制台120处的远程操作者107。当完成手术或外科手术时，***100和/或用户控制台120可被配置或设置为处于促进手术后程序的状态，诸如清洁或杀菌以及医疗保健记录条目或经由用户控制台120的打印输出。

在一个实施方案中，远程操作者107持有UID 126并且移动该UID以提供输入命令来移动机器人***100中的机器人臂致动器114。UID 126可例如经由控制台计算机***110通信地耦合到机器人***100的其余部分。UID 126可生成与UID 126的移动相对应的空间状态信号，例如UID的手持式壳体的位置和取向，并且该空间状态信号可以是用以控制机器人臂致动器114的运动的输入信号。机器人***100可产生随该空间状态信号而变的控制信号来控制致动器114的比例运动。在一个实施方案中，控制台计算机***110的控制台处理器接收该空间状态信号并且生成对应的控制信号。基于控制如何激励致动器114以移动臂112的一段或连杆的这些控制信号，包括附接到该臂的端部执行器的相应外科手术工具的移动可模仿UID 126的移动。类似地，在远程操作者107与UID 126之间的交互可生成例如抓持控制信号，该抓持控制信号致使外科手术工具的抓钳的钳口闭合并且抓取患者102的组织。

可以可替代地提供UID 126的感测到的运动来控制外科机器人***100的其他方面。例如，通过手指离合器检测的手势可生成离合器信号来暂停致动器114和对应的外科手术工具104的运动。例如，当操作者用手指触摸UID 126的手指离合器时，该手指离合器可生成离合器信号，并且该离合器信号可以是用以暂停致动器114的运动的输入信号。类似地，一个或多个电容性感测垫可位于UID 126上，并且操作者可在执行诊断、手术、腹腔镜或微创外科手术或另一机器人程序的同时触摸该电容性感测垫，以控制内窥镜的摄像机视图、用户控制台120的显示器上的光标等。

外科机器人***100可包括若干UID 126，其中针对控制致动器和相应臂112的外科手术工具（端部执行器）的每个UID生成相应的控制信号。例如，远程操作者107可移动第一UID 126来控制位于左机器人臂中的致动器114的运动，其中该致动器通过移动该臂112中的连杆、齿轮等而作出响应。类似地，远程操作者107移动第二UID 126控制另一致动器114的运动，该另一致动器继而移动机器人***100的其他连杆、齿轮等。机器人***100可包括固定到在患者右侧的床或桌子的右臂112，以及处于该患者左侧的左臂112。致动器114可包括一个或多个马达，对该一个或多个马达进行控制，使得它们驱动臂112的关节的旋转，以例如相对于患者改变内窥镜或附接到该臂的外科手术工具的抓钳的取向。可通过从特定UID 126生成的空间状态信号来控制同一臂112中的若干致动器114的运动。UID 126还可控制相应的外科手术工具抓钳的运动。例如，每个UID 126可生成相应的抓持信号来控制致动器的运动，该致动器例如为打开或闭合在外科手术工具的远侧端部处的抓钳的钳口以抓取患者102体内的组织的线性致动器。

在一些方面，在平台111与用户控制台120之间的通信可通过控制塔130，该控制塔可将从用户控制台120（并且更具体地，从控制台计算机***110）接收到的操作者命令转译为机器人控制命令，该机器人控制命令被传输至机器人平台111上的臂112。控制塔130还可将来自平台111的状态和反馈传输回用户控制台120。机器人平台111、用户控制台120和控制塔130之间的通信连接可使用多种数据通信协议中的任何合适数据通信协议经由有线和/或无线链路来进行。任何有线连接可任选地内置到手术室的地板和/或墙壁或天花板中。机器人***100可将视频输出提供到一个或多个显示器，包括在手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。视频输出或馈送还可以被加密以确保隐私，并且全部或部分视频输出可以被保存到服务器或电子保健记录***。

将了解，图1中的手术室场景是说明性的，并且可能未准确地表示特定的医疗实践。

具有用于视觉/惯性测距的摄像机的UID

出于遥控操作的目的，使用UID来控制机器人***以提供对操作者意图的准确感测并且发起机器人操纵器的稳定和稳健的运动。用于控制外科机器人***的现有的UID是基于若干追踪模态中的一个模态。这些模态包括：机械追踪***，该机械追踪***感测UID的连杆的移动并且基于该移动向致动器输出控制信号；电磁（EM）追踪***，该EM追踪***感测UID在EM空间内的移动并且基于该移动向致动器输出控制信号；以及光学追踪***，该光学追踪***包括摄像机，该摄像机位于UID外部以观看UID上的标记的移动（并且基于该移动向致动器输出控制信号）。这些模态中的每个模态与缺陷相关联，该缺陷诸如为由于机械连杆而对操作者（持有UID）的***进行的限制、由固有的***噪声或漂移导致的控制信号的错误、由附近的物体（例如，手机）导致的EM场的铁磁干扰或失真或由遮挡外部摄像机对UID标记的查看的附近物体导致的控制信号的错误。

在一个方面，一种用于控制外科机器人***的UID是基于若干追踪模态的组合（与可能在空间上受限并且容易发生错误的依靠单个追踪模态的UID形成对比）。该追踪模态可包括视觉模态（借助通过成像光学器件进行的数字图像捕获而“看到”）和惯性模态以实现对UID的姿态的估计。视觉/惯性测距方法融合了i）基于视觉模态的对姿态的估计与ii）基于惯性模态的对姿态的估计。更具体地，视觉模态是指已经通过分析由“向外看”的摄像机（即，该摄像机的成像光学器件在UID 26的远侧端部处面朝前以查看标记）产生的数字图像而计算出的姿态的估计。成像光学器件和图像传感器可被配置为使得数字图像在红外频谱（即，不一定在人类可见光谱中）中捕获在摄像机面前的场景。这些与例如惯性测量单元（IMU）和/或EM传感器的追踪传感器的测量有效地组合以生成单个追踪信号作为准确的姿态确定。如下文所描述，该UID提供：在较广（不受约束）的运动范围上的稳健和快速（例如，实时）的追踪；不会有EM噪声或失真的追踪；以及可检测和补偿周围环境中的对象或人的追踪。

参照图2，示出了根据一个实施方案的具有摄像机3的UID 126的透视图，该摄像机具有镜头6作为成像光学器件。如在下文进一步描述，UID 126具有用于视觉/惯性测距的部件，与常规的UID相比，该部件允许它的操作者与外科机器人***更可靠地交互。该UID可控制机器人仪器、其他机器人部件或外科机器人***的显示器上的图形用户界面（GUI）。在一个实施方案中，该UID包括装置主体2，该装置主体沿着中心轴线4在纵向方向上延伸。例如，该装置主体可从近侧端部5纵向延伸至具有面朝前的表面的远侧端部7，当操作者持有该UID时，该近侧端部一般在操作者（例如远程操作者107）的手里窝成杯状。

UID 126可包括要由操作者握持的抓持结构。例如，UID可包括从位于中心的装置主体2向外延伸的若干抓持连杆8。操作者可将抓持连杆的部分握持在若干手指之间，同时能够将UID 126作为一个整体在工作空间内自由地移动。该工作空间可以是操作者的臂展范围。该UID可不受限制工作空间的大小的机械连杆约束（在这里还称为无根UID）。

在一个实施方案中，将抓持连杆围绕中心轴线4安装在装置主体上。例如，抓持连杆可围绕中心轴线4对称地分布。每个抓持连杆可包括抓持曲柄，该抓持曲柄枢转地耦合到装置主体。例如，抓持曲柄可在近侧端部处铰接至装置主体，并且从该近侧端部向远侧延伸至抓持连杆的远侧顶端。因此，每个抓持曲柄可以是从装置主体悬臂的。操作者可挤压悬臂式曲柄以使曲柄朝向装置主体枢转，作为响应，这致使装置主体2内的传感器电路生成指示被挤压的曲柄的角度的信号，从而控制相关联的机器人臂上的端部执行器，例如，以生成该端部执行器的紧缩运动。

在一个实施方案中，UID 126还具有基于由摄像机生成的数据的视觉追踪模态。可将摄像机安装在装置主体2上或集成在装置主体2的壳体中。例如，可将摄像机安装在装置主体2的壳体内部，沿着中心轴线4安装在装置主体的远侧端部7处，如图所示，或者安装在使该摄像机能够在中心轴线4的远离抓持连杆的方向上查看的任何位置（例如，从远侧端部7的面朝前的表面向前引导摄像机的视场，例如，如图2中示出。该摄像机可包括若干子部件，包括镜头（作为成像光学器件的部分）和相关联的图像传感器，该图像传感器可以是摄像机模块（未详细示出）的部分。UID还可包括支撑结构，诸如安装在装置主体上的镜头支撑件9，该支撑结构固持镜头例如作为摄像机模块的部分。UID的中心轴线4可与镜头相交，例如，与摄像机的中心成像轴线重合。镜头可与中心轴线4偏移，并且可倾斜以捕获相对于中心轴线离轴的图像。

该摄像机提供视觉数据，通过数字处理器解译该视觉数据来确定UID的姿态。通过定义，UID的姿态是UID在工作空间中的位置和取向。例如，该位置可包括沿着正交轴线的3个自由度，并且该取向可包括围绕该轴线的3个自由度。更具体地，UID的姿态总共具有6个自由度。

摄像机可通过查看位于工作空间或周围环境（在UID外部）内的已知或可确定的位置的光学标记来生成关于UID的姿态的信息。例如，操作者可在坐在用户控制台的座椅122上并且在操作者显示器128上观看手术操作的实时场景时持有UID。摄像机可在操作者操纵UID时指向显示器，以模拟并控制位于所显示的手术部位处的外科手术工具的移动。在一个实施方案中，标记（诸如亮点的集合）位于显示器周围，使得通过摄像机查看该标记。可以基于标记的预定或已知的大小和形状来可靠地检测该标记，例如基于存储的数据结构，该所存储的数据结构描述标记的绝对位置和例如构成标记的一定数目的对象中的每个对象的相对位置，该相对位置在遥控操作期间保持固定。假定标记的绝对位置和标记的大小和形状是已知的，例如位于用户控制台上的预先限定的位置处，可通过（使用图案辨识或机器学习算法）检测由摄像机产生的数字图像中的对象并且将该对象解译为标记来准确地确定摄像机的姿态。例如，通过在由摄像机的图像传感器捕获的连续图像中检测标记并且随后确定标记的移动（例如，从不同的摄像机位置或角度捕获的标记的形状的变化或标记相对于摄像机的位置的变化），可以准确地确定摄像机的移动和/或位置（和因此UID的姿态）。

除了追踪静态标记（相对于UID是固定的标记）之外，UID可能够追踪在工作空间和周围环境周围的一个或多个移动标记。在一个实施方案中，操作者可持有两个UID（每只手一个）来控制外科机器人***的若干工具。第一UID上的第一摄像机可查看位于第二UID上的标记。更具体地，第一UID可使摄像机追踪在第一UID与第二UID之间的相对位置，并且该摄像机（以及追踪传感器）还可追踪第一UID相对于用户控制台上的静态标记的相对位置。通过确定第一UID相对于用户控制台的静态标记和第二UID的动态标记（当UID相对于彼此移动时，UID标记是动态的）两者的位置，可关联地确定第二UID相对于用户控制台的静态标记的位置。换句话说，可连同将该UID中的一个UID与外部基准进行参照一起使该UID彼此参照，以确定UID的相对移动和UID在参照系内的移动。

在一个实施方案中，两个UID（将握持在远程操作者107的手里）中的仅一个UID具有摄像机。可替代地，两个UID都具有可检测另一UID和/或用户控制台上的标记的摄像机。可通过基于由追踪传感器提供的传感器数据的位置确定来补充基于由摄像机提供的视觉数据的位置检测，该追踪传感器例如为惯性测量单元IMU、或UID中的一个UID的EM传感器。例如，通过处理来自摄像机的图像数据和来自IMU追踪器或EM追踪器的传感器数据，可确定两个UID在参照系内的位置和取向的更可靠的估计。

关于视觉模态估计（基于摄像机的位置和/或取向检测技术），这些可使用以下特征中的一个或多个特征。在一种情况下，标记10位于用户控制台120上（例如，参照图1以及图3A和图3B，其中在图3A中，标记10是位于操作者显示器128的大体上倒Y形工作台上的八个光源的集合）。标记10可发射处于特定波段（标记波长）的光，例如集中在850nm、或集中在940nm（红外）。摄像机可配置有带通滤波器以仅观察该标记波长。摄像机可被配置为在可见范围中和例如红外范围（例如，标记波长）中看到（图像），这允许对自然特征进行成像和追踪以及进行标记追踪。可替代地，可向在图像传感器前方的成像路径添加还阻挡可见光谱的红外通滤波器，从而导致图像传感器产生具有实质上黑色背景的图像，并且在该图像上已经捕获了具有高对比度的标记10的构成的发光结构。此解决方案还独立于可见光条件以及用户控制台120处的可见照明的任何变化。

该标记可包括多个发光结构，诸如线、二维区域或点。该标记可具有冗余特征（例如，比所需要的点更多的点）以允许追踪***容忍对标记的部分遮挡。标记的布局可以是基于特征的伪随机分布的预先限定的形状。图3A示出了位于用脚操作的控件124（例如，脚踏板）之间的倒Y形结构（例如，用于操作者显示器128的工作台或支撑件）。在那个示例中，示出了被布置成Y图案的八个点，其中每个点从大体上Y形结构的前面朝向远程操作者107坐着的座椅122（也参照图1）发射光。在图3B中描绘了标记10的另一示例，该标记包括位于不同位置的以下发光段的组成：在操作者显示器128上方的T7；在操作者显示器128下方的T6，其具有左段T6L和间隔开的右段T6R；在倒Y形工作台上在竖直线上的中心段T1和T2，以及在倒Y的相应支脚上的左段T3L和右段T3R；以及在用户控制台120的底层上的左段T5L和间隔开的右段T5R。应注意，标记10不需要在其组成中具有所有这些段；可省略所示出的段中的一个或多个段，但该组成作为一个整体仍然可充当具有容忍（对一些段的）部分遮挡的足够冗余度的可靠标记。另外，在操作者的肩部上以及在操作者107上方的天花板段上也可存在左标记段和右标记段（都未示出）。发光结构（作为自发射标记的部分）可以是发光二极管（LED），该LED定位在对特定的标记光发射波长（例如，红外）透明的材料后方。在一个实施方案中，LED位于对红外光透明的连续材料片材后方。

现在参照摄像机3，在一个实施方案中，镜头6是广角镜头，例如，具有至少90度的视场。该视场可影响UID的追踪功效。例如，较小的视场可能会降低追踪质量，并且较大的视场可能会限制摄像机的角分辨率并且减小在较大距离下的追踪精度。因此，视场可在110度-180度的范围内，例如170度。

镜头6可将可见光和不可见光从场景（例如，该场景包括由标记10发射的可见光和/或不可见光）引导至摄像机模块的图像传感器12（参照图4）。在一个实施方案中，图像传感器是具有约8.08M有效像素的CMOS图像传感器。然而，更一般地，由图像传感器捕获的图像数据可以是全高清晰度（HD），但该图像数据也可处于较低分辨率或较高分辨率。作为一个示例，摄像机的分辨率可以是1080p（1920×1080像素）以实现在距最近的对象60cm的距离处确定和追踪UID的位置方面的0.5mm和0.05度的RMS误差。

除了镜头和摄像机模块能力之外，可能会影响追踪精度的附加的设置包括摄像机的时延、更新速率和快门设置。在一个实施方案中，准确的追踪是基于事件的运动发生之间的时延，例如当附接到机器人臂的工具在与UID相同的方向上移动时，操作者在工作空间内移动UID至应用或发布所追踪的姿态之间的时延。例如，摄像机模块可在每秒120帧的速率下捕获图像以满足并超过目标时延。在一个实施方案中，摄像机模块包括不引入运动伪影的快门。已经确定滚动快门可引入运动伪影。因此，摄像机可具有快速（可调整）或全域快门以避免运动伪影。

参照图5，示出了根据一个实施方案的具有摄像机的UID 126的侧视图，其中在装置主体2中存在一个或多个附加的传感器，诸如用于检测触摸输入的触摸传感器，该触摸输入例如为向***发信号通知紧握或暂停遥控操作的离合器输入。附加的传感器可位于装置主体的外表面上，或者可容纳在装置主体内。例如，装置主体可包括附接到后壳体15的前盖13。在前盖与后壳体之间的空间可容纳部件，诸如图4的摄像机模块和附加的追踪部件。该追踪部件还可容纳在从后壳体向后延伸至近侧端部5的管筒16内。

UID 126可包括位于如图所示的每个抓持连杆8的外表面上的至少一个电容性感测垫18。至少一个抓持连杆可在它的外表面上具有若干暴露于用户的手指触摸的电容性感测垫。例如，该抓持连杆可包括在抓持连杆的外表面上循序地安装或布置的第一电容性感测垫、第二电容性感测垫和/或第三电容性感测垫。例如，该第一电容性感测垫可在外表面上的该第二电容性感测垫的远侧，并且该第二电容性感测垫可在该第三电容性感测垫的远侧，如图5中所示。

在一个实施方案中，可通过UID 126的处理器监测抓持连杆电容性感测垫的线性阵列的输出信号以检测该UID的操作者的挥扫手势。操作者可通过在抓持连杆的外表面上方挥扫他们的手指来输入挥扫手势。该挥扫可引起第一电容性感测垫、第二电容性感测垫和/或第三电容性感测垫的相应电容的变化序列。UID处理器可将该变化序列检测为垫阵列上的挥扫手势。挥扫手势可用于命令各种输出。例如，该挥扫手势可触发致使相关联的机器人臂执行预定操作的控制信号。可替代地，该挥扫手势可命令用户控制台的图形用户界面（GUI）的一些元件。例如，操作者可挥扫抓持连杆的外表面作为用以导航菜单、卷动所显示的视图、放大和缩小所显示的图像或控制GUI的其他方面的控制输入。

在一个实施方案中，一个或多个追踪传感器被安装在UID 126的装置主体2内，例如，被安装于在前盖13内部或后壳体15内部或管筒16内部限定的体积内。追踪传感器被配置为生成空间状态信号。空间状态信号可以是与UID的空间状态的任何方面相关的所测量或所感测的数据，包括根据UID的姿态例如响应于装置主体2的移动或响应于装置主体2在用户控制台120处的UID工作空间内的给定位置或取向而实时改变的所感测的数据。例如，该一个或多个追踪传感器可包括IMU传感器或EM传感器。该IMU传感器和/或该EM传感器可各自能够在一个或多个自由度上测量UID的姿态。

在一个实施方案中，外科机器人***具有用于UID的惯性追踪模态，其中处理器解译作为由IMU生成的传感器数据的一个或多个空间状态信号以追踪UID的位置和/或取向的一方面。IMU可测量UID加速度。IMU可使用至少3个自由度来测量该加速度。例如，UID的IMU可包括一个或多个加速度计以及一个或多个陀螺仪。该加速度计可测量UID沿着一条或多条轴线的惯性加速度，处理器可解译该惯性加速度以确定UID的位置的变化，例如沿着X轴线、Y轴线或Z轴线的平移。陀螺仪可测量UID围绕一条或多条轴线的角加速度或转动，例如偏转、俯仰和横滚。更一般地，IMU提供在一个或多个自由度上描述UID的相对姿态的各种空间状态信号（传感器数据），诸如加速度计测量值和/或陀螺仪测量值。

在一个实施方案中，外科机器人***具有EM追踪模态，其中处理器解译由位于装置主体2中的EM传感器生成的数据，以追踪UID的位置和取向两者。EM传感器可以是EM追踪***的部分，该EM追踪***还包括位于UID工作空间附近（例如，位于用户控制台120上）的EM场发生器（未示出）。EM场发生器包括生成电磁场的一个或多个EM传输器，UID 126在该电磁场内被远程操作者107握持和操纵（同时该远程操作者坐在座椅122上）。当UID移动时，发生在EM传感器与电磁场之间的交互。此交互被测量或感测为例如来自位于UID中的传感器的电信号。随后解译所测量的信号以使用6个自由度描述UID的姿态。EM追踪***使用6个自由度确定UID的姿态，例如3个自由度描述沿着轴线的平移，并且3个自由度描述围绕轴线的旋转。

UID 126可经由一个或多个有线或无线数据连接来传输来自它的摄像机、IMU或EM传感器的数据。在一个实施方案中，该传输是经由有线数据连接，例如通信地连接到UID的一个或多个处理器的缆线20。可从装置主体2的近侧端部（参照图6）、远侧端部或侧面布设UID的缆线20。例如，缆线可从如图5中看到的后壳体15侧向地退出或从在前盖与后壳体之间的体积退出，或者该缆线可沿着中心轴线（图6）从近侧端部5向外退出。

在一个实施方案中，该缆线从UID传感器中的一个或多个UID传感器传送数据。在1080p分辨率的情况下，摄像机模块的数据吞吐量可至多达2千兆位/秒（1920×1080像素×8位灰度×120帧/s=1.99千兆位/秒）。该缆线可以是用以传输由摄像机模块生成的视觉数据的USB缆线。然而，USB 2.0版本的最大信令速率被限定为480兆位/秒。因此，该缆线可以是USB 3.0版本或更高（USB 3.0被限定为5千兆位/秒并且USB 3.1被限定为10千兆位/秒）的USB缆线。

参照图6，示出了UID 126的另一示例的透视图，其中UID 126在此情况下具有若干摄像机，每个摄像机具有相应的成像镜头（在此示例中是三个成像镜头，如图所示）。可将镜头安装在UID的前盖13上并且该镜头相对于彼此倾斜，使得它们的摄像机相对于中心轴线4具有三个查看方向（DOV）。例如，摄像机可围绕中心轴线对称地分布并且指向与中心轴线成非零角度的方向。每个镜头可以是广角镜头，例如具有至少90°的视场的镜头。该镜头可组合地具有360°或更多的组合视场。

若干摄像机的组合视场可提供允许UID在工作空间内的更广范围的UID取向上（与单个摄像机相比）检测标记的视场。这意味着甚至当操作者已经将UID移动至UID的前方不面向操作者显示器128的位置或姿态时（例如，当按照持续未对准的方式使用UID时）也可维持对标记的追踪。此外，如果缆线20从UID的前端延伸（未示出）并且挂在该摄像机中的一个摄像机前方，则可不处理图像数据的（用于姿态估计）包含缆线的部分以避免图像伪影。那是因为来自另一摄像机模块的图像数据可用于补偿所省略的影像。当操作者意外地遮挡该摄像机中的一个摄像机（例如，将他们的手指在那个摄像机的镜头前方移动）时可执行类似的补偿。由于操作者的手指不太可能大到同时完全阻挡每个摄像机的视场，所以远程操作者107的工作空间中的标记中的一个或多个标记可对该摄像机中的一个或多个摄像机来说始终保持可见。因此，来自若干摄像机的图像的冗余度确保可检测到该标记中的一个或多个标记以便准确地确定UID姿态。

作为具有众多摄像机来扩展视场的替代方案，可与致动和编码的倾斜机构组合地使用单个摄像机。可通过处理器控制该倾斜机构以自动调整摄像机的取向（相对于UID 126的固定“基底”，例如穿过UID 126的预定和固定平面），使得始终使被追踪的标记维持在摄像机的视场内。在此实施方案中，为了在空间中定位UID（估计UID的姿态），在摄像机帧（由摄像机产生的数字图像）中检测到的标记姿态需要乘以在摄像机帧与UID基底之间的变换（该变换可由倾斜机构的位置编码器输出限定）。

参照图4，示出了根据一个实施方案的用于在UID 126中使用的印刷电路板（PCB）的透视图。传感器和电子信号处理单元安装至该PCB，该电子信号处理单元准备好传送至外部处理器（例如，控制台计算机110的部分）的传感器信号。在一个实施方案中，该PCB包括基板24，电子部件安装在该基板上。基板24可被成型成安装在前盖13与后壳体15（例如，参照图5）之间的体积内。可将摄像机模块、镜头、IMU或微处理器中的一者或多者安装在该基板上。可将其他部件（诸如EM传感器）安装在装置主体2内的其他地方并且连线至安装在该基板上的部件。

在一个实施方案中，安装在基板24上的一个或多个处理器包括UID控制器26。控制器26可通信地耦合到图像传感器12和IMU（未示出）。例如，控制器可具有数字摄像机通信接口和通用输入-输出引脚以将该控制器连接至图像传感器和IMU的传感器。因此，控制器26可同时获取由图像传感器生成的视觉数据和由IMU生成的惯性数据。

控制器26可包括数据输出连接以与外科机器人***的其他电子部件进行交接。例如，控制器可向输出连接输出包含来自摄像机、IMU或EM传感器中的一者或多者的数据的数据流。在一个实施方案中，该输出连接是被配置为连接至缆线20的通用串行总线（USB）输出端。因此，控制器26可经由USB 3.0连接将数据推送至外科机器人***的另一处理器，诸如控制台计算机110的处理器。

参照图7，示出了根据一个实施方案的外科机器人***的框图。缆线20将例如来自IMIU和/或EM追踪传感器的位置或取向数据的图像数据和元数据从UID 126传输至控制台计算机110。在一个实施方案中，缆线20包括并行运行的若干有线连接。例如，载运来自摄像机的原始图像数据和来自UID 126的追踪传感器的原始传感器数据的追踪数据线可与载运指示UID的抓持状态或离合器状态的原始抓持数据（例如，来自电容性传感器或触摸传感器或机械开关传感器的数据）的抓持数据线并行地运行。可通过抓持连杆的感测到的位置（例如，当操作者挤压或松弛抓持连杆时），由UID上的电容性传感器检测到的触摸输入或与由操作者作出的非追踪输入相关联的任何其他传感器数据来限定抓持状态。在一些情况下，UID控制器26可对原始图像数据、原始追踪传感器数据和/或原始抓持数据进行滤波，之后在缆线20上发送。

追踪数据线可将追踪数据载运至传感器融合模块28，该传感器融合模块是由控制台计算机110的处理器执行。该追踪数据可包括来自EM传感器的EM追踪数据、来自摄像机的图像数据和/或来自IMU传感器的IMU数据。在一个实施方案中，EM追踪数据被输入至传感器融合模块的EM追踪***29，并且图像数据和IMU数据被输入至传感器融合模块28的视觉-惯性测距模块30。该追踪数据可包括具有例如1080p灰度级下的120帧/秒的图像数据以及在400Hz下采样的IMU数据。现有的UID通常包括单根缆线以将追踪数据传输至机器人***，并且循序地对数据进行聚合、收集、处理、整合、发送和反串行化。然而，图像数据可能会消耗大量带宽，并且因此，对图像数据和IMU数据的连续传输可为不切实际的。因此，UID控制器26（参照图4）可同时对图像数据和IMU数据进行获取、整合和加时间戳。随后可将包含图像数据和IMU数据的加时间戳的数据发送至视觉/惯性测距模块30。包括视觉/惯性测距模块30的传感器融合模块28随后可将作为限定UID姿态的信号的追踪信号输出至控制台控制器31（通过控制台计算机110的一个或多个处理器执行软件）。控制台控制器31的追踪模块32可存储并处理该追踪信号。

融合来自多个传感器的传感器数据（其产生追踪信号）可实现对UID姿态（位置和取向）的更精确的估计。在下文描述传感器融合的附加的细节。

仍然参照图8，抓持数据线可将抓持状态数据载运至控制台计算机的控制台控制器31。在一个实施方案中，控制台控制器31的抓持模块34存储并处理抓持状态数据。控制台控制器可包括用以接收来自用户控制台部件的输入的其他模块。例如，座椅控制模块35可存储并处理来自座椅控件的输入数据。座椅控制输入可用于输出致使座椅122为操作者107进行调整的致动器信号。类似地，踏板控件37可存储并处理来自脚踏板的输入数据。踏板输入可用于输出导致***的各种变化的信号，诸如在图形用户界面中选择元件、起动或停止外科手术工具的移动等。

控制台控制器31可处理从UID和用户控制台120的其他部件接收的输入以生成一个或多个输出信号，该一个或多个输出信号经由通信链路被传输至外科机器人***。该输出信号可以是用以控制外科机器人***的臂和附接的工具的移动的控制信号。例如，至少一个处理器可位于控制塔130中，并且可通信地耦合到诸如外科机器人平台111或一个或多个显示器的***部件。外科机器人***的臂和/或工具致动器可从此处理器接收控制命令以产生与UID 126的移动相对应的运动。更具体地，该控制信号可致使致动器与UID姿态的变化协调地移动外科机器人***的臂和/或工具。

传感器融合

如上文描述的具有摄像机和一个或多个追踪传感器的UID可生成可用于彼此互补的若干追踪数据流。例如，IMU传感器和EM传感器可与固有的噪声或漂移相关联，当仅使用IMU传感器数据或仅使用EM传感器数据来追踪UID的姿态时，该固有的噪声或漂移可导致追踪错误。相比而言，摄像机实现对位置和取向的光学追踪，这不会有影响其他追踪传感器的噪声和漂移。因此，使用摄像机的光学追踪可担当用以纠正来自追踪传感器的数据中的错误的稳定器。更具体地，可组合来自摄像机的数据以及来自EM传感器或IMU传感器中的一者或多者的数据以生成追踪信号，该追踪信号被馈送至追踪模块32（图7）以用于控制外科机器人***。

在一方面，在传感器融合模块28中融合来自摄像机的视觉信息、来自EM传感器的EM追踪信息与来自IMU传感器的惯性测量信息中的两者或更多者以实现对UID姿态的稳定和可靠的估计。UID可获取来自每个UID传感器（例如，摄像机、EM传感器和IMU传感器）的数据并且同时将该数据传输至传感器融合模块28，该传感器融合模块融合来自视觉/惯性测距模块30和EM追踪***29的信息。视觉/惯性测距模块30可融合来自摄像机以及一个或多个IMU传感器的信息。传感器融合模块28可将用以纠正一个追踪模态的数据的错误和噪声的数据与另一追踪模态的数据进行组合。因此，对UID姿态的估计可更稳健，例如对周围环境或噪声更不敏感，并且可减少在该追踪模态数据流中的任一追踪模态数据流中固有的抖动/噪声。此外，与以引入的时延（由传感器测量的一个事件与下一个可能的处理以及向传感器测量值指派时间戳之间的时间量度）作为交换来减少噪声的对基于EM的追踪信号的常规滤波不同，例如EM追踪***29和/或视觉/惯性测距模块30的传感器融合模块28中的预测模型可允许实时地估计追踪信号。

参照图8，示出了根据一个实施方案的融合来自各种传感器的空间状态信号以控制外科机器人臂致动器114的运动的方法的操作的框图。UID 126可根据UID的姿态例如响应于装置主体2的移动而生成若干空间状态信号，该空间状态信号还称为输入姿态信号。UID 126的摄像机可生成捕获处于UID中的摄像机的视野中的标记的图像数据。IMU可生成IMU测量值，该IMU测量值被流式传输为与沿着若干轴线的平移运动和围绕该轴线的旋转运动相对应的IMU追踪数据。类似地，EM传感器可生成EM测量值，该EM测量值被流式传输为与EM传感器在若干自由度内的移动相对应的EM追踪数据。在图8中示出了这些图像数据、IMU数据和EM数据，从而指示在此示例中的UID包括每种类型的追踪传感器。然而，将了解，UID不需要具有所有那些传感器，而是替代地可仅包括那三种传感器类型中的两种传感器类型。在任何情况下，通过传感器融合模块28处理来自不同传感器的数据流以生成比单独使用该传感器数据流中的仅一个传感器数据流可实现的追踪信号更稳健和可靠的追踪信号（该追踪信号描述UID姿态）。

在一个实施方案中，通过UID控制器26的处理器来收集和聚合由每个UID传感器生成的数据流。对数据的聚合可包括使用同时接收和输出所有数据流的缓冲器。例如，可将图像数据发送到该缓冲器中，并且同时传输该缓冲器中的图像数据，可将来自IMU和/或EM传感器的附加的追踪数据添加至传输缓冲器。同时缓冲所有追踪数据的此过程可与常规的技术形成对比，因为通常图像数据将与其他数据循序地被接收、缓冲和发送而不是并行地进行。然而，并行地缓冲所有数据流允许在上文描述的大带宽和低时延传输。更具体地，与循序地发送作为整个包的图像数据紧接着发送IMU数据紧接着发送EM数据的过程相比，对与描述UID姿态的元数据交错的图像数据的连续聚合可增加传输带宽并且减小传输时延。

UID传感器中的每个UID传感器可相对更好地检测特定的UID姿态特性。例如，EM传感器和摄像机可比IMU传感器提供更准确的位置数据。相比而言，IMU传感器可比EM传感器或摄像机提供更好的速度信息。类似地，每个传感器与其他传感器相比可具有独有的缺陷。例如，摄像机可易受***作者或不经意地阻挡图像传感器对标记的视角的附近对象进行的遮挡影响。EM传感器可比其他传感器更易受抖动影响。IMU传感器可具有比其他传感器更多的固有漂移。在一个实施方案中，由控制台计算机110的处理器执行的视觉/惯性测距模块30考虑这些相对的优点和缺点中的每一者，以将单独的传感器读数有效地组合为准确地限定UID姿态的单个输出，例如追踪信号。

传感器融合模块28***地融合多个传感器数据流以实现对不期望的频率分量的实际滤波以及对UID姿态的稳健和可靠的估计。在一个实施方案中，传感器融合模块将线性二次估计量（LQE）用于此类滤波，该线性二次估计量同时地校正有噪声的输入数据并且对数据速率进行上采样以匹配机器人控制算法更新速率。这可通过在作为LQE的部分的卡尔曼滤波器中组合传感器流来实现。LQE概念的其他特化作用可实现使用输入传感器的稳健追踪。基于例如EM数据和IMU数据的相应空间状态信号的组合，传感器融合模块28可不仅生成与UID的姿态相对应的追踪信号作为它的输出，而且生成与相应空间状态信号之间的差异相对应的质量量度作为它的输出。该输出可以是在比每个单独的传感器源更高的更新速率下的低时延信号。此外，该输出信号可以是平滑的，这意味着单独的信号的高频率分量被传感器融合模块的估计模型移除。

传感器融合模块28可组合例如摄像机、EM追踪***和IMU的若干传感器的测量值以可靠地确定UID姿态。传感器融合模块28可包括视觉-惯性测距模块30（VIOM 30），该VIOM接收来自摄像机的图像数据和来自IMU的IMU数据。视觉/惯性测距模块可基于该图像数据和该IMU数据来确定UID的姿态。该传感器融合模块还可包括传感器融合算法，该传感器融合算法可从视觉/惯性测距模块接收包括组合的摄像机和IMU数据的经过处理的追踪流。该传感器融合算法还可从EM传感器接收EM数据。在一个实施方案中，传感器融合算法融合摄像机视图、IMUD数据和EM追踪的姿态的追踪流。例如，传感器融合算法可将由视觉/惯性测距模块输出的姿态估计与EM追踪的姿态估计进行组合以生成传感器融合模块28的输出追踪信号。

这可有助于确定传感器之间的空间关系。在一个实施方案中，可将数据流带入到同一坐标系中。这可基于对UID构造的预定知识来实现。例如，UID的装置主体2内的IMU传感器的物理位置可位于沿着中心轴线与EM传感器的位置相距已知距离处。此已知距离可用于将从每个传感器得到的位置和运动数据参考至单个主坐标，诸如沿着在IMU传感器与EM传感器之间的中心轴线存在的UID的重心。可通过以下操作来进一步细化传感器之间的限定的关系：对来自传感器的足够的对应的输出序列进行采样，并且解出未知的空间关系的一个或多个等式（例如，AX=XB，AY=YB等）。

除了使传感器的空间位置彼此相关之外，可执行对传感器的时间校准。时间校准可检测来自传感器的读数何时到达传感器融合模块28，并且可以是在每次手术操作开始时执行的一次性校准过程。时间校准可估计在不同传感器之间输送传感器数据中的相对时延，从而建立传感器的测量值之间（例如，在EM追踪***的测量值与IMU追踪***的测量值之间）的相关性。

对所测量的传感器数据之间的空间和时间关系的此类考虑使传感器融合模块28能够使用所接收的传感器数据来实时地估计UID姿态（其中及时地更新所估计的UID姿态，以确保对机器人臂上的端部执行器的响应式和平滑控制。）。在一个实施方案中，若干UID传感器中的一个UID传感器可在比另一传感器更高的速率下进行更新。基于传感器的空间和时间相关性，可在监测以最高速率进行更新的传感器的同时连续地确定传感器读数的差值。该比较可用于连续地更新UID的位置数据并且检测传感器读数中的分歧。

传感器融合模块28可使用来自每个追踪***的数据来确定追踪***的偏差。该偏差包括追踪***的特性，诸如预期的噪声曲线、预期的精度、预期的漂移以及限定***偏差的其他特性。可将这些特性并入到可为传感器融合模块28中的传感器融合算法的部分的预测模型中，以基于将至少两个追踪流融合为作为UID姿态的估计的单个追踪流来估计UID姿态。

实时传感器融合可包括生成UID的状态向量，该状态向量是由将UID的当前位置值与UID的预期位置值进行组合的模型作出的预测。也就是说，在预测阶段，可使用先前的传感器测量值和该预测模型来高频地估计当前的UID姿态。该预测模型并入有从先前的传感器测量值得到的前瞻性数据（例如，速度数据）以预测当前的UID姿态。

状态向量可由融合算法生成，并且可限定UID的当前姿态。该状态向量可包括关于以下各项的信息：由EM追踪传感器测量的6个自由度的姿态（EM传感器相对于全局参照系的取向和位置）、从IMU测量值得到的线性速度向量、从IMU测量值得到的角速度向量、从IMU测量值得到的加速度、从IMU测量值得到的重力方向、基于IMU追踪***的所确定的偏差的加速度向量和角速度向量的偏差，以及由传感器的空间关系确定的从IMU追踪***到EM追踪***的预定的6个自由度的变换。

可随时间通过将约束条件的累积的误差减到最少来更新状态向量。更具体地，紧密度或循环约束条件、对加速度的IMU约束条件、对角速度的IMU约束条件或限定的运动模型约束条件中的一者或多者可具有被最少化的相关联的误差以更新状态向量。对加速度的IMU约束条件可将加速度约束为：a – R_world_to_IMU * G + b_a，其中acc是IMU测量值。对角速度的IMU约束条件可将角速度约束为：w = omega + b_w，其中w是IMU测量值。运动模型约束条件可将运动模型限定为：omega_t = omega_t-1；v_t = v_t-1 + (a – omega_t-1叉积v_t-1) * dt；或a = a_t-1。

在一个实施方案中，向该约束条件中的每个约束条件指派权重。例如，该权重可对应于先前识别的追踪***的偏差。可替代地，该权重可表示固有误差得分，该固有误差得分可包括追踪***特有的信息，诸如EM场的质量。此类因素允许***在任何时间点确定追踪***有多可靠并且相应地对***读数进行加权。

传感器融合模块28可依靠其他数学运算来执行估计。传感器融合模块可尝试找到经加权的约束条件的总和的最小累积误差。传感器融合模块可使用Shur补从包移除旧的状态。传感器融合模块可调整约束条件权重以在上文描述的等式中包括取向。可替代地，可通过与EMT取向测量值组合地使用IMU的陀螺仪测量值来单独地计算取向。另外，可使用四元数或旋转矩阵来计算取向平均值。传感器融合模块可将噪声建模以便提高融合质量。任选地，传感器融合模块可在更高的频率下运行以实现采样速率的增加。

基于上文描述的模型，传感器融合模块28可输出从融合的追踪流得到的追踪信号以及质量量度。可将输出的追踪信号和质量量度传输至控制台控制器31以供进一步分析和使用。更具体地，控制台控制器31可使用追踪信号和质量量度来生成输出信号以供数字控制***软件（例如，正由控制塔130中的一个或多个处理器执行）使用来控制该***的相关联的外科机器人臂114。

该质量量度可对应于EM测量值与IMU测量值之间的差异。例如，该质量量度可表示传感器数据流中的一个传感器数据流的偏差。该质量量度可基于数据流的协方差。该质量量度还可表示单独的追踪***中的每个追踪***的固有误差得分。该质量量度可基于这些因素中的一个或多个因素，例如可基于所有该因素的组合。

在一个实施方案中，该质量量度可用作完整性校验。可将表征或比较来自UID的传感器读数的质量的该质量量度与预定阈值进行比较，以确定对UID姿态的估计（在来自传感器融合模块28的追踪信号中给出）是否准确。例如，该质量量度暗示每个传感器上的噪声，并且当该噪声超过特定水平时，可确定姿态估计是不可靠的（并且因此将暂停在相关联的机器人臂上的相关联的端部执行器或工具的运动）。因此，当相关联的端部执行器或工具的相关联的UID追踪的质量量度低于预定阈值从而指示来自追踪传感器中的至少两个追踪传感器的读数之间的过高差异时，控制台控制器31可被配置为至少暂停该相关联的端部执行器或工具（中止其运动）。

针对具有用于视觉/惯性测距的摄像机的UID作出本公开的以下附加的陈述。1.一种用于外科机器人***的用户接口装置（UID），该UID包括：装置主体，该装置主体沿着中心轴线延伸；多个抓持连杆，该多个抓持连杆围绕该中心轴线安装在该装置主体上；和摄像机，该摄像机安装在该装置主体上。2.根据权利要求1所述的UID，该UID还包括一个或多个追踪传感器，该一个或多个追踪传感器安装在该装置主体内，其中该一个或多个追踪传感器被配置为响应于该装置主体的移动而生成空间状态信号。3.根据权利要求2所述的UID，其中该一个或多个追踪传感器包括惯性测量单元（IMU）和电磁（EM）传感器，并且其中该EM传感器能够测量六个自由度。4.根据权利要求1所述的UID，其中该摄像机安装在该装置主体的端部上以在该中心轴线的远离该多个抓持连杆的方向上进行查看。5.根据权利要求1所述的UID，该UID还包括：印刷电路板，该印刷电路板安装在该装置主体内，其中该印刷电路板包括一个或多个处理器，该一个或多个处理器耦合到该摄像机的图像传感器并且耦合到惯性测量单元（IMU），其中该图像传感器生成视觉数据并且该IMU生成惯性数据；和USB缆线，该USB缆线连接至该一个或多个处理器以传输该视觉数据和该惯性数据。6.根据权利要求5所述的UID，其中该USB缆线是USB 3.0版本或更高。

针对传感器融合作出本公开的以下附加的陈述。1.一种外科机器人***，包括：用户接口装置（UID），该用户接口装置具有装置壳体和多个追踪传感器，该多个追踪传感器被配置为响应于该装置壳体的移动而生成相应的空间状态信号；和处理器，该处理器被配置为基于该相应的空间状态信号的组合而生成与该UID的姿态相对应的追踪信号和与该相应的空间状态信号之间的差异相对应的质量量度。2.根据权利要求1所述的外科机器人***，其中该多个追踪传感器包括被配置为生成EM测量值的电磁（EM）传感器和被配置为生成IMU测量值的惯性测量单元（IMU），并且其中该质量量度对应于在该EM测量值与该IMU测量值之间的差异。

3.根据权利要求2所述的外科机器人***，其中该处理器被配置为当该质量量度低于预定阈值时暂停该外科机器人***的相应工具的运动。

在前面的说明中，已经参照本发明的具体的示例性实施方案描述了本发明。显而易见的是，在不脱离如以下权利要求所述的本发明的更广泛的精神和范围的情况下，可对其做出各种修改。例如，上文提到其中UID是无根的（不受约束操作者工作空间的大小的机械连杆限制），操作者还可在远离用户控制台120（例如，在桌边处（在手术机器人平台111旁边））的同时执行遥控操作。在此类实施方案中，在如上文描述使用同时操作的多个追踪模态来追踪UID的情况下，可以存在位于例如操作者的肩部上或位于在操作者107的位置（在桌边处）上方的天花板上的用于视觉模态估计的标记10。因此，说明书和附图应当被认为是示例性意义而不是限制性意义。

Claims (20)

1.一种用于外科机器人***的用户输入装置（UID），所述UID包括：

装置主体，所述装置主体从近侧端部延伸至远侧端部，所述装置主体被配置为由操作者的手握持以对外科机器人臂进行遥控操作，其中所述装置主体的所述远侧端部位于所述近侧端部的前方，并且所述近侧端部在所述操作者的手里窝成杯状；

摄像机，所述摄像机具有图像传感器和成像镜头，所述摄像机安装在所述装置主体上，使得所述成像镜头在所述装置主体的所述远侧端部处面朝前以查看标记；和

UID控制器，所述UID控制器耦合到所述图像传感器，其中所述UID控制器将向处理器发送所述标记的由所述图像传感器产生的数字图像，所述处理器基于在所述数字图像中检测到所述标记来计算所述UID的姿态的视觉模态估计。

2.根据权利要求1所述的UID，所述UID还包括安装在所述装置主体上的第一追踪传感器，其中所述第一追踪传感器被配置为响应于所述装置主体的移动而生成第一空间状态信号，并且所述UID控制器耦合到所述第一追踪传感器并且被配置为将所述第一空间状态信号从所述第一追踪传感器发送至所述处理器，并且其中所述处理器将组合来自所述视觉模态估计和所述第一空间状态信号的信息以产生指示所述UID的所述姿态的追踪信号。

3.根据权利要求2所述的UID，其中所述第一追踪传感器是电磁（EM）追踪传感器。

4.根据权利要求2所述的UID，其中所述第一追踪传感器是惯性测量单元IMU，并且所述第一空间状态信号包括加速度计测量值和陀螺仪测量值。

5.根据权利要求4所述的UID，所述UID还包括第二追踪传感器，所述第二追踪传感器安装在所述装置主体上并且是将根据所述UID的所述姿态并且以六个自由度生成第二空间状态信号的电磁（EM）追踪传感器，其中所述处理器将通过组合来自所述视觉模态估计、所述第一空间状态信号和所述第二空间状态信号的信息而产生所述追踪信号。

6.根据权利要求1所述的UID，所述UID还包括多个抓持连杆，所述多个抓持连杆围绕所述装置主体的中心轴线安装在所述装置主体上，并且被配置为由所述操作者的手指操纵以对位于所述外科机器人臂上的端部执行器进行遥控操作，其中所述多个抓持连杆位于所述摄像机后方。

7.根据权利要求2所述的UID，所述UID还包括：

串行数据通信缆线，所述串行数据通信缆线连接至所述UID控制器以向所述处理器传输i）所述标记的由所述图像传感器产生的所述数字图像以及ii）来自所述第一追踪传感器的所述第一空间状态信号。

8.根据权利要求7所述的UID，所述UID还包括第二追踪传感器，所述第二追踪传感器安装在所述装置主体上并且是将根据所述UID的所述姿态并且以六个自由度生成第二空间状态信号的电磁（EM）追踪传感器，其中所述处理器将通过组合来自所述视觉模态估计、所述第一空间状态信号和所述第二空间状态信号的信息而产生所述追踪信号。

9.一种用于外科机器人***的用户输入装置（UID），所述UID包括：

装置主体，所述装置主体从近侧端部延伸至远侧端部，所述装置主体被配置为由操作者的手握持以对外科机器人臂进行遥控操作，其中所述远侧端部位于所述近侧端部的前方，并且所述近侧端部在所述操作者的手里窝成杯状；

摄像机，所述摄像机具有图像传感器和成像镜头，所述摄像机安装在所述装置主体上，使得所述成像镜头在所述装置主体的所述远侧端部处面朝前以查看标记；

电磁（EM）追踪传感器，所述电磁（EM）追踪传感器安装在所述装置主体上并且将根据所述UID的姿态而生成第一空间状态信号；和

UID控制器，所述UID控制器耦合到所述图像传感器和所述EM追踪传感器，其中所述UID控制器将向处理器发送所述标记的由所述图像传感器产生的数字图像和由所述EM追踪传感器生成的所述第一空间状态信号，其中所述处理器将基于在所述数字图像中检测到所述标记来计算所述UID的姿态的视觉模态估计，并且将所述视觉模态估计与所述第一空间信号进行组合以产生指示所述UID的所述姿态的追踪信号。

10.根据权利要求9所述的UID，所述UID还包括安装在所述装置主体上的惯性测量单元IMU，其中所述IMU将根据所述UID的所述姿态而产生第二空间状态信号，并且所述UID控制器耦合到所述IMU并且被配置为向所述处理器发送所述第一空间状态信号、所述第二空间状态信号和所述标记的所述数字图像，并且其中所述处理器将通过组合来自所述视觉模态估计、所述第一空间状态信号和所述第二空间状态信号的信息而产生所述追踪信号。

11.根据权利要求10所述的UID，所述UID与所述处理器组合地计算质量量度，所述质量量度指示在i）所述第一空间状态信号中的EM追踪传感器测量值与ii）所述第二空间状态信号中的IMU测量值之间的差异。

12.一种用于对外科机器人***中的外科机器人臂进行遥控操作控制的方法，所述方法包括：

通过从外科机器人***的用户输入装置（UID）向外看的摄像机生成捕获标记的多个数字图像；

以数字方式处理所述数字图像以检测所述数字图像中的与所述标记相对应的对象；

解译所检测到的对象以计算所述UID的姿态的视觉模态估计，其中所述视觉模态估计追踪所述UID的移动；以及

基于所述视觉模态估计而生成致动器控制命令来控制所述外科机器人臂，以引起所述外科机器人臂上的端部执行器的模仿所述UID的所述移动的移动。

13.根据权利要求12所述的方法，所述方法还包括：

通过电磁（EM）追踪传感器根据所述UID的所述姿态而生成第一空间状态信号；以及

组合来自所述视觉模态估计和来自所述第一空间状态信号的信息以产生指示所述UID的所述姿态的追踪信号，其中生成所述致动器控制命令是基于所述追踪信号。

14.根据权利要求12所述的方法，所述方法还包括：

通过所述UID中的惯性测量单元IMU根据所述UID的所述姿态而生成第一空间状态信号；以及

通过所述处理器融合来自所述视觉模态估计和来自所述第一空间状态信号的信息以产生指示所述UID的所述姿态的追踪信号，其中生成所述致动器控制命令是基于所述追踪信号。

15.根据权利要求14所述的方法，其中所述第一空间状态信号包括加速度计测量值和陀螺仪测量值。

16.根据权利要求14所述的方法，所述方法还包括：

通过所述UID中的电磁（EM）追踪传感器根据所述UID的所述姿态并且以六个自由度生成第二空间状态信号；

通过所述处理器融合来自i）所述视觉模态估计、ii）所述第一空间状态信号和iii）所述第二空间状态信号的信息以产生所述追踪信号。

17.根据权利要求16所述的方法，所述方法还包括：

计算质量量度，所述质量量度指示在i）所述EM追踪传感器的EM追踪传感器测量值与ii）所述IMU的IMU测量值之间的差异，其中生成所述致动器控制命令是基于所述质量量度。

18.根据权利要求17所述的方法，其中所述处理器被配置为响应于所述质量量度低于预定阈值而暂停所述外科机器人臂上的所述端部执行器的运动，即使所述UID继续移动也如此。

19.根据权利要求12所述的方法，其中所述标记包括位于所述外科机器人***的用户控制台上的多个红外光源，所述数字图像是红外图像，并且其中以数字方式处理所述数字图像以检测与所述标记相对应的所述对象包括

访问存储的数据结构，所述存储的数据结构描述构成所述标记的多个对象中的每个对象的相对位置。

20.根据权利要求19所述的方法，其中所述多个红外光源在所述用户控制台的操作者显示器的工作台上呈倒Y形布置，其中所述操作者显示器将在遥控操作期间显示来自内窥镜的视频。

Images