CN102905642A - 将腹腔镜检查机器人的器械臂运动到相对于套针的预定的相对位置的方法 - Google Patents

Abstract

本发明涉及一种用于将腹腔镜检查机器人（4）的器械臂（6）运动到相对于在患者（2）中放置的套针（14）的预定的相对位置（R）的方法，其中：在所述套针（14）上安装可从患者（2）外部测定位置的位置标志（26a），根据所述位置标志（26a）来采集所述套针（14）的位置（P），根据所述位置（P）和所述相对位置（R）确定所述器械臂（6）的额定位置（S），采集所述器械臂（6）的实际位置（I），根据所述实际位置（I）、所述额定位置（S）和误差最小化方法（36）将所述器械臂（6）运动到所述额定位置（S）。

Description

将腹腔镜检查机器人的器械臂运动到相对于套针的预定的相对位置的方法

技术领域

本发明涉及一种用于将腹腔镜检查机器人的器械臂运动到相对于在患者中放置的套针的预定的相对位置的方法。

背景技术

最小介入手术在临床外科学中的意义越来越大。几年以前对于小的外科手术还打开部位的相对大的区域，以便通过自然标志实现外科导航，可以看出，目前借助腹腔镜检查和光学支持以内窥镜检查的形式进行大量这些手术。作为传统腹腔镜检查的扩展，机器人辅助的外科学在此期间涉足一些医学领域，例如泌尿学、妇科医学或心脏病学。在此，其在日常医学中得以实现。

例如公知一种以“Intuituve Surgical”公司的模型“da Vinci”的形式的腹腔镜检查机器人。该机器人具有在其前端带有内窥镜的第一器械臂。腹腔镜检查器械具有直至三个其它器械臂。

对于内窥镜以及器械中的每一个，分别在患者中放置一个套针，穿过该套针将各个工具***患者，以便在患者处进行机器人辅助的最小介入手术。

在这种手术的临床流程中可以看出，手术准备时间的主要部分在于，将通过机器人在器械臂上引导的工具***在操作准备阶段已经设置的套针中或者准备该***。为此，在各个机器人臂上无动力地连接其单关节、线性执行机构等，并且这样手动调节器械臂，使得通过相应的关节调节或机器人的基本的运动学将（在患者外部的）器械移动到相对于套针的预定的相对位置，该相对位置也可以被理解为目标位置。在此，套针在单独的位置已经（或多或少位置固定地）***患者。在此，套针预先给定套针轴，通常其中心纵轴作为如下方向：在该方向上长的工具轴向地穿过套针***患者。

在da Vinci***中，器械臂与器械一起（通常以三维）这样对齐，使得停住的器械的纵轴与套针轴同轴地延伸，但是器械与套针还具有距离并且位于患者之外。换句话说，预定的相对位置是这样的：在器械臂上的器械可以以直线运动到达或者穿透套针。器械然后在该轴向方向上一维地移动直至与套针接触。然后又力学耦合器械臂；由此机器人技术地将器械直线***各个套针。换句话说，对于器械臂存在待控制的可预定的相对位置，该相对位置可以相对于在患者中放置的套针预先给定。

手动调节的过程的前提条件是准备人员的一些经验并且是非常花费时间的。在机械地完善的***中手动调节是非常费力的，因为在无动力运行中由于安全性原因必须在关节中选择极高的摩擦力。在上面提到的da Vinci***的情况下在使用所有机器人臂时必须多次重复该过程。

发明内容

因此，本发明要解决的技术问题是，提供一种用于将腹腔镜检查机器人的器械臂运动到相对于在患者中放置的套针的预定的相对位置的改善的方法。

上述技术问题通过按照权利要求1所述的方法来解决。按照本发明，在套针上安装可以从患者外部测定位置的位置标志。根据位置标志来采集套针的位置。例如在操作室中的固定位置的坐标系中根据位置标志由导航***采集套针的空间位置，也就是位置和方向。由此，根据位置和器械臂相对于套针的预定的相对位置在空间上确定器械臂的额定位置。

在下一个步骤中在空间上采集器械臂的实际位置，为此，例如可以在器械臂上安装可测定位置的位置标志，以便采集空间位置作为器械臂的实际位置。但是也可以根据在机器人基架的已知位置处的机器人臂中的位置接收器或者根据其它方法来采集空间位置。

然后，根据器械臂的实际位置和额定位置借助误差最小化方法（Fehlerminimierungsverfahren）将器械臂运动到额定位置。换句话说，始终不断地***械臂的实际位置，即在运动期间重复地采集并且根据误差最小化方法实现实际位置越来越接近额定位置并且最后移动到额定位置。由此在额定位置中，器械臂处于相对于套针的预定的相对位置。

作为定位的基础，例如形成至少三个静态地在患者身体外侧的套针上布置的或与其相连的标志。例如由CCD照相机在其照相机图像中采集并跟踪该标志。选择在照相机图像中可良好分割的标志是具有优势的。例如可以使用红外线（IR）反射标志和来自于照相机方向的IR光源。例如从NDI公司的“Polaris”***的跟踪设备中公知这种装置。

按照本发明的方法既适合多臂机器人的单个器械臂也适合上面提到的单臂的单端口机器人（Single-Port-Roboter）。获得有价值的操作时间、更短的麻醉时间和设备的更简单的操作是按照本发明的方法的直接结果。

按照本方法，在此还可以手动移动机器人臂。例如作为按照本方法的误差最小化的结果，向操作人员建议对单个关节或机器人的自由度进行调节移动。由此也可以有明确目标地或面向明确结果地手动移动器械臂并且由此明显更好地执行或加速。主管OP人员现在必须不仅“根据感觉或目测”来调节机器人臂，而且根据按照本发明的方法通过具体指示的调节建议获得具体的辅助位置。

但是在本方法优选的实施方式中，器械臂自动地运动到额定位置。由此全自动地、也就是由机器人自身电动地执行器械臂与套针对齐。然后可以立即开始患者的实际治疗或其第一步骤、即机器人辅助地将器械***患者。

相对位置还可以包括自由度：例如如果这样预定相对位置，使得器械位于与套针的贯穿轴同轴的位置，则人员的剩余的手动操作准备从三维问题降低到一维问题：器械仅须沿着直线、即套针的中心纵轴例如轴向地移动至套针，以便最终在患者处调节机器人。该手动步骤例如是，放置器械来与套针接触并且定义***中的零位置。

在本方法的优选的实施方式中，选择这样的相对位置，该相对位置确保了可轴向地***套针中的并安装在器械臂上的器械能够同轴地对齐。确切地说，将例如作为器械中心纵轴的器械轴与例如作为套针的中心纵轴的套针轴同轴地对齐。也就是将器械的位置定义为相对位置或目标位置。这一点特别适合于如下机器人：在该机器人中器械自身可以在轴向方向上调节，例如手动地到达套针处的接触零位置。相对位置可以选择处于患者之外的位置并且与套针相距安全距离。

在另一种优选的实施方式中，通过借助照相机进行光学采集来确定套针的位置和/或器械臂的实际位置和额定位置。换句话说，为了定位使用光学工作的导航***。例如用照相机实现光学采集，由此位置标志是光学可见的。例如可以考虑将安装在套针上的至少三个标志点作为标志，该标志点可以通过照相机来采集。已知的照相机***通过可见光或红外线工作。

在本方法的优选的实施方式中，这样解决上面提到的对相应位置或标志的光学采集，即为此使用在机器人器械臂上布置的内窥镜作为照相机。换句话说，按照该构造，具有照相机功能的内窥镜在患者外部作为导航照相机一起使用。如果内窥镜还布置在应当运动到相对位置的器械臂上，则取消确定器械臂位置的附加步骤：照相机自身包含对器械臂位置的跟踪。换句话说，各自的实际位置或额定位置转化为照相机位置。照相机也可以直接通过光学采集在套针处的位置标志来确定套针和照相机和由此器械臂之间的相对位置。

同样对于多臂机器人，在使用内窥镜的情况下在器械臂上不必附加地采集其它臂的位置：在此始终分别获知器械臂的位置，因为整个***关于其几何特征从其自然出发来校准或位置配准。

如上面提到的那样，在本方法的优选的实施方式中，使用单端口技术的组合臂作为器械臂。特别是如果使用单端口机器人的内窥镜作为照相机，则仅须进行唯一的位置采集，该位置已经反映了相对于套针的相对位置。相对于内窥镜的其余器械的几何特征由其在器械臂上的固定位置的几何特征获知。

在本方法的优选的实施方式中，可视化伺服方法（Visual-Servoing-Verfahren）被实施为误差最小化方法。特别地，与作为定位照相机的内窥镜的使用相结合，可视化伺服方案特别适用于器械臂与套针之间的对齐。在当前照相机图像中已知标志或图像标志的位置。由此可以实施两个不同的可视化伺服方案：

第一方案是基于位置的可视化伺服。由标志在照相机图像中的投影，也就是图像标志的位置，在已知标志之间的几何特征的情况下，例如在套针和校准的照相机处，关于照相机坐标系估计或确定套针的位置（即位置和方向）。通过作为误差最小化方法的合适的调节规则，然后可以将内窥镜或器械也即器械臂运动到前面预定的相对位置。

第二方法采用基于图像的可视化伺服：在此可以通过作为误差最小化方法的合适的调节规则将如上获得的在照相机图像中的位置标志的投影引导至期望的固定给出的图像位置。在此也就是通过预定相对位置来规定照相机图像中的位置标志的映射的固定位置。

照相机安装在待调节的器械臂上特别适用于基于图像的可视化伺服：只要位置标志处于照相机图像的期望的图像位置，器械臂就自动地处于期望的位置，因为照相机固定地布置在器械臂的固定并公知的位置上并且随其一起移动。

原则上在该情况下可以使用两种可视化伺服方案或方法，其中两种方法具有优点和缺点。但在基于图像的可视化伺服中优点占多数，因此该方法是优选的。

因此，在本方法的优选的实施方式中实施基于图像的可视化伺服方法。

为了在这种方法和在器械臂上固定安装照相机的情况下这样移动照相机，使得期望的图像点移动到前面规定的参考位置，需要在期望的图像点改变之间、即标志图像的改变和对应的照相机位置的改变之间建立映射规范：

在优选的实施方式中，通过图像雅可比矩阵（Bild-Jacobi-Matrix）作为规范来确定找到的位置改变。例如从A.C.Sanderson,L.E.Weiss和C.P.Neuman,‘Dynamic sensor-based control of robots with visual feedback’,IEEEJournal of Robotics and Automation 3(5)(1987),404-417中公知图像雅可比矩阵，并且按照本发明在误差最小化方法中使用。因此，可以通过比例积分调节规则来极好地影响其调节特性。

上面提到的相对位置可以分别概念化，例如以3D坐标系的形式，并且预先给定在OP室中固定位置的3D坐标系中的角度位置。

但是在本方法的优选的实施方式中，通过学习方法或所谓的分步讨论（teach-in-Schritt）得到相对位置。在此，例如具有固定安装的内窥镜照相机的器械臂手动地一次移动到相对于套针的期望的相对位置，并且由内窥镜拍摄套针标志的目标图像。在此，相对位置强制预定了绝对目标位置。由此在目标图像中得出照相机图像中的标志点的额定位置，在之后的时间点再次取该位置。由此，通过上面解释的分步讨论预定图像中标志点的目标位置。

例如从J.Wang和W.J.Wilson,‘3D relative position and orientationestimation using Kalman filter for robot control’,1992IEEE Int.Conf.OnRobotics and Automation,pp.2638-2645(1992)中公知可视化伺服方法。

附图说明

对于本发明的另一种描述参见附图的实施例。在示意性的原理图中分别示出了：

图1示出了具有内窥镜检查机器人的患者，

图2示出了利用图像雅可比矩阵的可视化伺服方法。

具体实施方式

图1示出了在其上应当实施腹腔镜检查手术的患者2。由此，腹腔镜检查机器人4位于患者2上，该腹腔镜检查机器人4具有通过多个关节7运动的器械臂6。器械臂6在其端部8处携带用来实施手术的外科手术钳作为器械10。

为了实现患者通路，在患者2中或在其腹壁12的开口中***套针14。为了到达患者2，必须将器械10通过其中心纵轴（即器械轴16）轴向地与套针14的中心纵轴（即套针轴18）、即其未示出的中央开口对齐。在图1中以虚线示出器械臂6与机器人4的基架11之间按特定形式的连接。

该对齐应当在患者2之外、即在外部区域20中进行，其中器械10的针尖22还应当与套针14相距预定的距离24。图1示出了器械臂6的相应位置作为额定位置S并且同时示出了其恰好位于其中的实际上的实际位置I。根据按照本发明的方法，器械臂6应当从实际位置I向额定位置S运动。

为此，在套针14上安装位置标志26a。通过照相机28采集位置标志26a。照相机28在照相机图像30中映射位置标志26a。通过分析照相机图像30或位置标志26a的图像和照相机28获知的图像几何特征以及（例如在空间固定的坐标系32中的）照相机28的位置来确定套针14的在空间中、也就是坐标系32中的位置P。

在下一个步骤中确定器械臂6的实际位置I，为此在器械臂6上同样安装位置标志26b，该位置标志26b以相同方式由照相机28来采集并分析。在照相机图像30中示出了位置标志26a、b的各自的图像34a、b。

现在通过套针14的实际上的位置P以及预定的相对位置R来确定器械臂6的额定位置S，该相对位置R应当取相对于套针14的器械臂6的位置。

由于现在所有的几何特征信息呈现在坐标系32中，示意性示出的误差最小化方法36根据照相机图像30或实际位置I和额定位置S确定了器械臂6或其关节7的合适的运动，即如其能够调节的那样，以便将器械臂6带入额定位置S并且由此带入相对于套针14的期望的相对位置R。

在第一实施方式中，例如在显示器33上或以其它合适的方式向未示出的操作人员显示，其怎样调节器械臂的每个自由度，例如关节7，从而到达额定位置S。

在替换的实施方式中，通过机器人4根据误差最小化方法36自动地或电动地调节关节7。

在替换的实施方式中，套针14是单端口套针（Single-Port-Trokar）。器械10由一组平行布置的未示出的单器械组成，这一组单器械中一个通常是内窥镜，从而可以使用下面描述的方法来到达额定位置S，因为所有子器械可以以固定并已知的彼此相对布置被考察为组合器械10。

在替换的实施方式中，器械10是内窥镜，通过在器械臂6中虚线示出的照相机28表示。照相机28的各个图像区域或角度从器械10的针尖22出发（虚线表示）。在这种情况下不存在位置标志26b，照相机28仅定位套针14处的位置标志26。由此在该实施方式中，照相机必须每次运动器械臂6，照相机图像30和由此获得的几何特征信息总是与器械臂6的实际上的实际位置I相关联。由此额定位置S相应于相对位置R。

在此，这样实施误差最小化方法36，使得在照相机图像30中仅位置标志26a的图像34a能够移动到固定预定的额定位置。然后该图像34a的额定位置必须预定额定位置S以及期望的相对位置R或者与其一致。误差最小化方法36在这种情况下是基于图像的可视化伺服方法。

为了示出用于上面提到的内窥镜检查方法方案的基于图像的可视化伺服方法，在图2中替代照相机28示出了在实际位置I上的其照相机坐标系38以及替代照相机图像30示出了照相机28的映射平面40。附加地，象征性地示出了实际上的空间位置，即位置标志26a的位置P。因此，在映射平面40中出现其图像34a。映射平面40产生图像坐标系42。

通过前面的分步讨论获知位置标志26a的图像34a的额定位置S，在该分步讨论中按照校准方法器械臂6已经位于额定位置S，即相对于位置标志26a已经位于给出的相对位置R。为此拍摄一次照相机图像30作为参考图像。现在找到照相机坐标系38（和由此照相机28）必须从实际位置I移动到额定位置S的运动路径，由此在映射平面40中图像34a从实际位置I移动到额定位置S。根据图像雅可比矩阵44进行计算，该图像雅可比矩阵将获知的图像34a的偏移Δs转换为照相机坐标系38和由此照相机28和由此器械臂6的实际上所需的偏移Δx。

Claims (10)

1.一种用于将腹腔镜检查机器人（4）的器械臂（6）运动到相对于在患者（2）中放置的套针（14）的预定的相对位置（R）的方法，其中：

-在所述套针（14）上安装可从患者（2）外部测定位置的位置标志（26a），

-根据所述位置标志（26a）来采集所述套针（14）的位置（P），

-根据所述位置（P）和所述相对位置（R）确定所述器械臂（6）的额定位置（S），

-采集所述器械臂（6）的实际位置（I），

-根据所述实际位置（I）、所述额定位置（S）和误差最小化方法（36）将所述器械臂（6）运动到所述额定位置（S）。

2.根据权利要求1所述的方法，其中，所述器械臂（6）自动地运动到所述额定位置（S）。

3.根据上述权利要求中任一项所述的方法，其中，选择这样的相对位置（R），该相对位置确保了安装在所述器械臂（6）上的器械（10）能够同轴地对齐，该器械通过其器械轴（16）沿着套针轴（18）可轴向地***所述套针（14）中。

4.根据上述权利要求中任一项所述的方法，其中，通过借助照相机（28）进行光学采集来确定位置（P）和/或实际位置（I）和额定位置（S）。

5.根据权利要求4所述的方法，其中，在器械臂（6）上布置的内窥镜作为照相机（28）。

6.根据上述权利要求中任一项所述的方法，其中，使用单端口技术的组合臂作为器械臂（6）。

7.根据上述权利要求中任一项所述的方法，其中，实施可视化伺服方法被，作为误差最小化方法（36）。

8.根据权利要求7所述的方法，其中，实施基于图像的可视化伺服方法被，作为误差最小化方法（36）。

9.根据权利要求8所述的方法，其中，根据图像雅可比矩阵（44）实施误差最小化方法。

10.根据上述权利要求中任一项所述的方法，其中，通过学习方法得到所述相对位置（R）。

Images