CN110049742B - 用于机器人控制的图像引导的运动缩放 - Google Patents

用于机器人控制的图像引导的运动缩放 Download PDF

Info

Publication number
CN110049742B
CN110049742B CN201780075882.XA CN201780075882A CN110049742B CN 110049742 B CN110049742 B CN 110049742B CN 201780075882 A CN201780075882 A CN 201780075882A CN 110049742 B CN110049742 B CN 110049742B
Authority
CN
China
Prior art keywords
motion
surgical robotic
robotic arm
image
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780075882.XA
Other languages
English (en)
Other versions
CN110049742A (zh
Inventor
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110049742A publication Critical patent/CN110049742A/zh
Application granted granted Critical
Publication of CN110049742B publication Critical patent/CN110049742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Endoscopes (AREA)

Abstract

一种图像引导的运动缩放的手术机器人***(160)采用手术机器人臂(168)和图像引导的运动缩放的手术控制器(162)。在操作中，响应于指示解剖区域内的手术机器人臂(168)的用户定义的运动的输入信号，图像引导的运动缩放手术控制器(162)基于在解剖区域的成像内描绘的运动缩放的映射(164)来控制解剖区域内的手术机器人臂(168)的致动运动。

Description

用于机器人控制的图像引导的运动缩放
技术领域
本公开的发明总体涉及在对一个或多个手术机器人臂的控制中并入运动缩放的手术机器人***(例如，
Figure GDA0002087071030000011
手术***，Raven机器人手术***，SportTM手术***，FlexTM机器人***等)。本公开的发明更具体地涉及通过在(一个或多个)手术机器人臂的控制内并入图像引导的运动缩放来改进这种手术机器人***。
背景技术
当今的手术机器人***从外科医师控制台控制。更具体地，操作者在控制台上移动手柄，由此来自手柄的信号被解读并转换成手术机器人臂的运动。可以缩放该运动，使得机器人末端执行器的运动小于或大于手柄或操作者的手的运动。目前，缩放因子由手术机器人***或***的操作者定义。例如，操作者可以将比例因子定义为5:1，这意味着由外科医师控制台的手柄限定的运动被减少5倍用于机器人末端执行器的相应运动。
缩放因子通过允许控制台操作者以更加直观的大的手柄运动执行非常精细的手术(例如，缝合小血管)并且通过按比例缩小施加到手柄的任何操作者颤抖来促进手术机器人流程的精度的提高。
历史上，缩放因子可以经由语音识别***、控制按钮等来实现，并且可以针对不同的手术机器人臂并且沿着不同的方向设置不同。尽管如此，缩放因子的设置是主观的，并且它是固定的，直到控制台操作者决定修改缩放因子。另外，缩放因子的当前主观设置不能有效地考虑手术环境，因此独立于机器人末端执行器与关键结构或组织或其他机器人臂的接近度。
此外，一个问题是恒定的比例因子可能导致手术复杂化。例如，如果缩放因子被设置为放大机器人臂的运动并且控制台操作者接近解剖区域的禁区，那么控制台操作者的反应时间可能不足以停止或减慢手术机器人臂接近禁区，这可能导致伤害。而且，在一些情况下，另一个问题是外科手术任务可能需要在解剖区域的一个区域中的精细运动和在解剖区域的另一区域中的快速运动。例如，如果要移除组织(例如，切除肿瘤或铣削骨骼)，那么在解剖区域的自由空间中可能需要快速、大的运动，而在靠近组织边界可能需要精细或慢速运动。显然，控制台操作者频繁改变缩放因子以解决这些问题可能会分散对手术机器人任务的注意力。
为了解决上述缺点，Carlson等人的国际专利申请公开No.US2016/028858A1涉及一种对指示手术机器人臂的用户定义的运动的输入信号进行映射以基于外科手术机器人臂的环境/控制因素来控制定位于患者解剖结构的手术机器人臂在解剖区域内的致动运动。与解剖区域的成像相关，手术机器人臂在解剖区域内的致动运动基于如定位为对患者解剖结构进行成像的手术机器人臂的环境因素。更具体地，如其图4中所示，在肺152的模型151的图像150内识别局部手术机器人臂154的一部分(例如，远侧尖端)的位置，从而确定手术机械臂的相关环境因素，以用于将对应于环境因素的运动缩放应用于输入信号。
虽然Carlson提供了有效的解决方案，但仍需要对上述缺点进行进一步改进。
发明内容
为了改进并入在环绕解剖区域的外科手术坐标空间内的手术机器人臂的控制器内的运动缩放，本公开提供了一种用于根据解剖区域术前成像和/或术中成像(例如，内窥镜/腹腔镜图像、X射线图像、计算机断层摄影图像、超声图像、磁共振图像等)来定义手术机器人臂的运动缩放的发明。运动缩放可以基于与手术机器人臂在手术坐标空间内的运动相关的任何参数，包括但不限于手术机器人臂在手术坐标空间内的定位和速度。本公开的发明的改进是运动缩放将取决于手术机器人臂操作的环境并且通过促进患者伤害的风险的降低和手术流程时间的减少而允许改进的操作。
出于描述和要求保护本公开的发明的目的：
(1)如本文中示例性示出的，术语“运动缩放”广泛地涵盖在解剖区域的成像内映射的平面区域或体积区域，其中，将缩放因子应用于解剖区域的手术机器人臂内的用户定义的运动，以由此控制手术机器人臂在解剖区域内的致动运动，其中手术机器人臂的致动运动是在解剖区域内的手术机器人臂的用户定义的运动的衰减或放大；
(2)术语“用户定义的运动”和“致动的运动”应被解释为在本公开的领域中已知并且在本文中示例性地示出；
(3)术语“图像引导的运动缩放的手术机器人***”广泛地涵盖所有手术机器人***，如本公开的本领域中已知的并且在下文中构思的，并入本公开的发明原理以根据解剖区域的术前成像和/或术中成像(例如，内窥镜/腹腔镜图像、X射线图像、计算机断层摄影图像、超声图像、磁共振图像，等等)来限定外科手术机器人臂的运动缩放。已知的手术机器人***的示例包括但不限于da
Figure GDA0002087071030000031
手术***，Raven机器人手术***，SportTM手术***和FlexTM机器人***；
(4)术语“图像引导的运动缩放的机器人控制方法”广泛地涵盖所有控制手术机器人***的方法，如本公开的本领域中已知的并且在下文中构思的，并入本公开的发明原理以根据解剖区域的术前成像和/或术中成像(例如，内窥镜/腹腔镜图像、X射线图像、计算机断层摄影图像、超声图像、磁共振图像，等等)来限定外科手术机器人臂的运动缩放；
(5)术语“图像引导的运动缩放的机器人控制器”广泛地涵盖在本公开的用于控制如本文中随后描述的本公开的各种发明原理的图像引导的运动缩放手术机器人***内采用的应用专用的主板或专用集成电路的所有结构配置。控制器的结构配置可以包括但不限于，(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作***、(一个或多个)应用模块，(一个或多个)***设备控制器、(一个或多个)接口、(一个或多个)总线、(一个或多个)槽和(一个或多个)端口；
(6)术语“应用模块”广泛地涵盖图像引导的运动缩放的机器人控制器的部件，其包括用于执行特定应用的电子电路和/或可执行程序(例如，存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)；并且
(7)术语“信号”、“数据”和“命令”广泛地涵盖如本公开的领域中所理解的以及本文中示例性描述的用于传递信息和/或指令以支持应用如本文中随后描述的本公开的各种发明原理的所有形式的可检测物理量或脉冲(例如，电压、电流或磁场强度)。本公开的部件之间的信号/数据/命令通信可以涉及任何通信方法，如本公开的领域中已知的并且在下文中构思的，包括但不限于，任何类型的有线或无线介质/数据链路上的数据/命令发送/接收，以及上传到计算机可用/计算机可读存储介质的信号/数据/命令的读取。
本公开的发明的一个实施例是采用手术机器人臂和图像引导的运动缩放的机器人控制器的图像引导的运动缩放手术机器人***。在操作中，响应于指示解剖区域内的手术机器人臂的用户定义的运动的输入信号，图像引导的运动缩放的机器人控制器基于在解剖区域的成像内描绘的运动缩放的映射来控制解剖区域内的手术机器人臂的致动运动。
本公开的本发明的第二实施例是采用包括运动矢量生成器和手术机器人臂致动器的应用模块的图像引导的运动缩放的机器人控制器。
在操作中，运动矢量生成器响应于指示解剖区域内的手术机器人臂的用户定义的运动的输入信号而生成运动矢量信号，该运动矢量信号指示手术机器人臂在该解剖区域内的致动运动。由运动矢量生成器生成运动矢量信号可以基于在解剖区域的成像内描绘的运动缩放的映射。
进一步在操作中，响应于由运动矢量生成器生成运动矢量信号，手术机器人臂致动器在结构上生成指示解剖区域内的手术机器人臂的致动运动的致动命令。由外科手术机器人臂致动器生成的致动命令可以基于在解剖区域的成像内描绘的运动缩放的映射。
本公开的本发明的第三形式实施例是一种由图像引导的运动缩放的手术机器人***实现的图像引导的运动缩放的机器人控制方法。所述图像引导的运动缩放的机器人控制方法包括图像引导的运动缩放的机器人控制器接收指示解剖区域内的手术机器人臂的用户定义运动的输入信号。所述图像引导的运动缩放的机器人控制方法还包括图像引导的运动缩放的机器人控制器响应于输入信号而基于在解剖区域的成像内描绘的运动缩放的映射来控制解剖区域内的手术机器人臂的致动运动。
结合随附附图阅读，根据对本公开的发明的各种实施例的详细描述，本公开的发明的前述实施例和其他实施例以及本公开的发明的各种特征和优点将变得更加明显。详细描述和附图仅是本公开的发明的例示而非限制，本公开的发明的范围由所附权利要求及其等价方案限定。
附图说明
图1A-1C图示了根据本公开的发明原理的成像坐标空间内的运动缩放的映射的示例性实施例。
图2A-2F图示了根据本公开的发明原理的示例性缩放因子。
图3A图示了表示根据本公开的发明原理的二维(“2D”)成像坐标空间内的运动缩放的图形描绘映射的流程图。
图3B图示了根据本公开的发明原理的2D成像坐标空间内的运动缩放的示例性图形描绘映射。
图4A图示了表示根据本公开的发明原理的三维(“3D”)成像坐标空间内的运动缩放的图形描绘映射的流程图。
图4B图示了根据本公开的发明原理的3D成像坐标空间内的运动缩放的示例性图形描绘映射。
图5A和5B图示了根据本公开的发明原理的第一示例性动态运动缩放。
图6A和6B图示了根据本公开的发明原理的第二示例性动态运动缩放。
图7图示了表示根据本公开的发明原理的二维(“2D”)成像坐标空间内的运动缩放的动态映射的流程图。
图8图示了根据本公开的发明原理的手术***的示例性实施例。
图9A和9B图示了根据本公开的发明原理的成像引导的运动缩放的手术机器人***的示例性实施例。
图10A和10B图示了根据本公开的发明原理的成像引导的运动缩放的机器人控制器的示例性实施例。
具体实施方式
如本文将进一步描述的，本公开的运动缩放涵盖在解剖区域的成像内映射的平面区域或体积区域，其中，缩放因子被应用于解剖区域内的手术机器人臂的用户定义的运动，以由此控制手术机器人臂在解剖区域内的致动运动，其中，手术机器人臂的致动运动的是用户定义的运动的衰减或放大。
更具体地，本公开的运动缩放包括一个或多个缩放因子。本公开的缩放因子可以是SFATT:1的比率，其量化在控制解剖区域内的手术机器人臂的运动时用户定义的运动的衰减，或者可以是1:SFAMP的比率，其量化在控制解剖区域内的手术机器人臂的运动时用户定义的运动的放大。
例如，5:1缩放因子量化了在控制解剖区域内的手术机器人臂的运动时将用户定义的运动的衰减5倍，并且1:5缩放因子量化了在控制解剖区域内的手术机器人臂的运动时将用户定义的运动的放大5倍，
在实践中，本公开的运动缩放可以对于整个平面区域或成像坐标空间内的体积区域具有单个缩放因子。
同样在实践中，所述单个缩放因子可以是遍及整个平面区域或体积区域中的固定衰减比或固定放大率。替代地，所述单个缩放因子可以是遍及整个平面区域或成像坐标空间内的体积区域中的可变衰减比率或可变放大率。
例如，缩放因子可以量化在平面区域或体积区域上的用户定义的运动的正倾斜或负倾斜衰减或放大，以控制外科手术机器人臂在外科手术坐标空间内的运动。
通过进一步的示例，缩放因子可以基于手术环境的特征来量化用于控制解剖区域内的手术机器人臂的运动的在平面区域或体积区域上的用户定义的运动的条件衰减或条件放大，包括但不限于，(1)根据解剖区域内的一个或多个手术机器人臂的定位相对于所术解剖区域的成像内所示的解剖结构的定位的、缩放因子的增加或减少(2)根据所述解剖区域内两个手术机器人臂的相对定位的、缩放因子的增加或减少。
另外在实践中，本公开的运动缩放可以涵盖成像坐标空间内的平面区域或体积区域的分区，其中，每个区域具有可以是固定的或可变的不同比例因子，如本文中先前所述。
同样在实践中，用于将运动缩放映射到图像坐标空间中的本公开的指定技术可以根据要在解剖区域上执行的特定类型的手术机器人流程和/或对解剖区域特定类型的成像(例如，内窥镜/腹腔镜图像、X射线图像、计算机断层摄影图像、超声图像、磁共振图像等)来实现。
为了便于理解本发明的发明，以下对图1-4的描述教导了根据本公开的发明原理的成像坐标空间内的运动缩放的图形描绘映射的基本发明原理。根据对图1-4的该描述，本领域普通技术人员将理解如何应用本公开的发明原理来实践成像坐标空间内的对运动缩放的图形描绘映射的众多和各种实施例。
通常，根据本公开的发明原理的运动缩放可以从解剖区域的成像的成像坐标空间内的运动缩放的映射的图形描绘中导出。
在实践中，可以根据已知的图像处理技术来执行图形描绘，用于描绘成像坐标空间内的图形对象，包括但不限于，用于描绘解剖区域的成像内的规划的外科手术路径的路径规划技术。
例如，在一个实施例中，可以通过图形用户界面来促进解剖区域的成像内的运动缩放的映射的描绘，所述图形用户界面提供对解剖结构成像内的平面区域或体积区域的用户描绘，特别是相对于解剖区域的成像内或从解剖区域的成像分割的任何解剖结构。
同样在实践中，解剖区域的成像可以是在手术机器人流程的术前阶段和/或术中阶段期间执行的二维(“2D”)解剖成像或三维(“3D”)解剖成像，并且可以通过适用于所述手术机器人流程的任何类型的成像模态来执行(例如，内窥镜/腹腔镜图像、X射线图像、计算机断层摄影图像、超声图像、磁性共振图像等)。
另外在实践中，本公开的运动缩放可以表示与解剖区域内的手术机器人臂的运动相关的一个或多个参数，包括但不限于：
1、用户输入设备的位置相对于手术机器人臂的位置的缩放；
2、用户输入设备的速度相对于手术机器人臂的速度的缩放；
3、用户输入设备的加速度相对于手术机器人臂的加速度的缩放；以及
4、关于手术机器人臂的定位、速度或加速度的对移动用户输入设备的力/努力的缩放。
图1A图示了在解剖图像空间10内描绘的本公开的多个运动缩放20、30、40、50的运动缩放映射11，其勾画了解剖区域的成像，清楚起见，未示出其解剖区域的解剖结构。虽然运动缩放20、30、40、50可以涵盖如图1A所示针对解剖区域的二维(“2D”)成像(例如，内窥镜/腹腔镜成像或超声成像)的平面区域，但是运动缩放20、30、40、50可以包括分别如图1B和图1C所示的针对三维(“3D”)成像(例如，CT成像、MRI成像和X射线成像)的体积区域。另外，本公开的映射的运动缩放的平面圆形或体积区域可以具有任何几何形状，规则的或不规则的，包括但不限于，如图1A和图1B所示的位置运动缩放20的圆形形状，如图1A和1C所示的速度运动缩放30的方形形状，如图1A和1B所示的加速运动缩放40的六边形形状，以及如图1A和1C所示力运动缩放50的八边形形状。
在实践中，通过本发明的技术中已知的手术机器人臂的用户输入设备(例如，(一个或多个)手柄，(一个或多个)操纵杆，(一个或多个)滚动球，等)生成解剖区域内的手术机器人臂的用户定义的运动。更具体地，用户输入设备传送指示运动参数的输入信号，该运动参数用于控制解剖区域内的手术机器人臂的运动。
对于指示手术机器人臂在解剖区域内的用户定义的定位的输入信号(“定位输入信号”)，位置运动缩放20提供定位输入信号到解剖区域内的外科手术机器人臂的定位运动的缩放。例如，定位输入信号可指示手术机器人臂在解剖区域内的平移、旋转和/或枢转，由此位置运动缩放20提供手术机器人臂在解剖区域内的所指示的平移、旋转和/或枢转的衰减或放大，从而控制手术机器人臂在环绕解剖区域的外科坐标空间内的平移、旋转和/或枢转。
在实践中，位置运动缩放20可以包括在整个位置运动缩放20中固定或可变的单个缩放因子。替代地，位置运动缩放可以被划分为W个位置缩放区域21，W≥2，其中，每个位置缩放区域21具有在整个特定位置缩放区域21中固定或可变的不同缩放因子。每个位置缩放区域21的尺寸和形状可以与另一个位置缩放区域21相同或不同。
对于指示手术机器人臂在解剖区域内的用户定义的速度的输入信号(“速度输入信号”)，速度运动缩放30提供速度输入信号到解剖区域内的外科手术机器人臂的速度运动的缩放。例如，速度输入信号可以指示解剖区域内的手术机器人臂的预定平移、旋转和/或枢转的期望速度，由此速度运动缩放30提供手术机器人臂在解剖区域内的预定平移、旋转和/或枢转所指示的速度的衰减或放大，从而控制手术机器人臂在环绕解剖区域的外科手术坐标空间内的预定平移、旋转和/或枢转的速度。
在实践中，速度运动缩放30可以包括在整个速度运动缩放30中固定或可变的单个缩放因子。替代地，速度运动缩放可以被划分为W个速度缩放区域31，X≥2，其中，每个速度缩放区域31具有在整个特定速度缩放区域31中固定或可变的不同缩放因子。每个速度缩放区域31的尺寸和形状可以与另一个速度缩放区域31相同或不同。
对于指示手术机器人臂在解剖区域内的用户定义的速度的输入信号(“速度输入信号”)，速度运动缩放40提供速度输入信号到解剖区域内的外科手术机器人臂的速度运动的缩放。例如，加速度输入信号可以指示解剖区域内的手术机器人臂的预定平移、旋转和/或枢转的期望加速度，由此加速度运动缩放40提供手术机器人臂在解剖区域内的预定平移、旋转和/或枢转所指示的加速度的衰减或放大，从而控制手术机器人臂在环绕解剖区域的外科手术坐标空间内的预定平移、旋转和/或枢转的加速度。
在实践中，加速度运动缩放40可以包括在整个加速度运动缩放40中固定或可变的单个缩放因子。替代地，加速度运动缩放可以被划分为W个加速度缩放区域41，Y≥2，其中，每个加速度缩放区域41具有在整个特定加速度缩放区域41中固定或可变的不同缩放因子。每个加速度缩放区域41的尺寸和形状可以与另一个加速度缩放区域41相同或不同。
对于位置输入信号、速度输入信号或加速度输入信号，力运动缩放50提供根据位置输入信号、速度输入信号或加速度输入信号在外科手术坐标空间内移动手术机器人臂所需的对施加到用户输入设备的力的缩放。例如，力运动缩放50根据位置输入信号、速度输入信号或加速度输入信号来提供在外科手术坐标空间内移动外科手术机器人臂所需的对施加到用户输入设备的力的衰减或放大。
在实践中，力运动缩放50可以包括在整个力运动缩放50中固定或可变的单个缩放因子。替代地，力运动缩放可以被划分为Z个力缩放区域51，Z≥2，其中，每个输入信号缩放区域51具有在整个力缩放区域51中固定或可变的不同缩放因子。每个力缩放区域51的尺寸和形状可以与另一个加速度缩放区域51相同或不同。
图2A-2F图示了本公开的映射运动缩放实施例的各种示例性缩放因子。尽管在位置运动缩放20(图1)的上下文中描述了图2A-2F，但是本领域普通技术人员将理解如何应用本公开的发明原理来实践本公开的映射运动的缩放因子实施例的众多和各种实施例。
图2A图示了径向缩放因子22a，其具有用户定义的运动的固定的衰减或固定放大，如位置运动缩放20a或位置缩放区域21a内的双向箭头所示。对于该示例，位置运动缩放20a或位置缩放区域21a的中心可以表示解剖区域内的手术机器人臂的目标位置或进入位置。
图2B图示了径向缩放因子22b，其具有由位置运动缩放20b或位置缩放区域21b内的单向箭头表示的用户定义运动的可变衰减。对于该示例，位置运动缩放20b或位置缩放区域21b的中心可以表示解剖区域内的手术机器人臂的目标位置。
图2C图示了径向缩放因子22c，其具有由位置运动缩放20c或位置缩放区域21c内的单向箭头表示的用户定义运动的可变放大。对于该示例，位置运动缩放20c或位置缩放区域21c的中心可以表示解剖区域内的手术机器人臂的进入位置。
图2D图示了弦缩放因子23，其具有由位置运动缩放20d或位置缩放区域21d内的单向箭头表示的用户定义运动的可变放大。对于该示例，弦缩放20d或位置缩放区域21d的端点可以表示手术机器人臂在解剖区域内的目标位置。
图2E图示了表示位置运动缩放21e的三(3)个缩放区域的三个同心缩放因子24-26。每个缩放因子24-26具有不同的固定或可变衰减或用户定义的运动的放大。对于该示例，位置缩放区域的中心可以表示解剖区域内的手术机器人臂的目标位置或进入位置。
图2F示出了位置运动缩放21f的三(3)个缩放区域，其包括由半球缩放因子28和29环绕的缩放因子27。每个缩放因子27-29具有不同的固定或可变衰减或用户定义的运动的放大。对于该示例，位置缩放区域的中心可以表示解剖区域内的手术机器人臂的目标位置或进入位置。
在实践中，手术机器人流程可涉及手术前内窥镜视图和解剖结构的术中内窥镜视图。以下是本公开的图像引导的运动缩放的机器人控制方法的描述，其涉及解剖结构的术前内窥镜视图和术中内窥镜视图。
参考图3A，流程图60表示本公开的图像引导的运动缩放的机器人控制方法，其涉及心脏的术前内窥镜视图12a和术中内窥镜视图12b。
通常，在手术机器人流程的术前阶段，通过用户输入设备将包围内窥镜的手术机器人臂定位在环绕心脏区域的手术坐标空间内，以采集心脏的术前内窥镜视图12a。此后，对于手术机器人流程的术中阶段，将内窥镜保持在或重新定位到相同的术前位置以采集心脏的术中内窥镜视图12b。
具体地，流程图60的阶段S62包括心脏的术前内窥镜视图12a的图像坐标空间内的运动缩放70p和运动缩放80p的运动缩放映射。为此，如本公开的领域中已知的，阶段S62可以涉及保持手术机器人臂的内窥镜的校准和内窥镜的视野，以及在手术坐标空间内对手术机器人臂的跟踪(例如，电磁跟踪、光学跟踪、光纤真实形状(“FORS”)传感器跟踪和编码的关节跟踪)。根据校准和跟踪，通过用户输入设备将保持手术机器人臂的内窥镜致动到内窥镜的期望视野，以采集心脏的术前内窥镜视图12a。
一旦定位，就提供图形用户接口(未示出)，用于允许图像坐标空间10a内的运动缩放70p和运动缩放80p的图形描绘，其勾画心脏的术前内窥镜视图12a，如在图3B中最佳地示出。参考图3B，运动缩放70p包括覆盖如相对于心脏示出的平面区域缩放因子的三个(3)区域71-73，并且运动缩放80p包括如相对于心脏示出覆盖平面区域的缩放因子的三(3)个区域81-83。虽然描绘了覆盖平面区域的运动缩放70p和运动缩放80p，但是实际上，运动缩放70p和运动缩放80p可以定位在内窥镜的任何深度的视野内，例如，如在心脏12的术前内窥镜视图12a中所识别的那样邻近心脏。或者，运动缩放70p和运动缩放80p可以覆盖延伸通过内窥镜的视野的体积区域。
再次参考图3A，流程图60的阶段S64包括经由用户输入设备致动围绕心脏区域的3D外科手术坐标空间13内的一对手术机器人臂90a和90b。具体地，在进入内窥镜的视野之前，跟踪(例如，电磁跟踪、光学跟踪、FORS传感器跟踪和编码的关节跟踪)根据默认运动设置在手术坐标空间13内的手术机器人臂90a和90b的末端执行器的运动。
当手术机器人臂90a和90b出现在术中内窥镜视图12b中时，根据手术机器人臂90a和90b的末端执行器在手术坐标空间13或图像坐标空间12b内的跟踪位置，将运动缩放70p和80p应用到默认运动设置。
同样在实践中，手术机器人流程可涉及解剖结构的术前扫描和术中内窥镜视图。以下是本公开的图像引导的运动缩放的机器人控制方法的描述，其涉及解剖结构的术前扫描和术中内窥镜视图。
参考图4A，流程图100表示本公开的图像引导的运动缩放的机器人控制方法，其涉及心脏的术前扫描12c和术中内窥镜视图12d。
通常，在手术机器人流程的术前阶段，使用成像***来扫描心脏区域以采集心脏的术前扫描12c(例如，CT、MRI或X射线扫描)。此后，在手术机器人流程的术中阶段，可以定位内窥镜以采集心脏的术中内窥镜视图12d，由此术中内窥镜视图12d与心脏的术前扫描12c融合，用于显示目的，如本公开领域中已知的。
具体地，流程图100的阶段S102包括心脏的术前扫描12a的图像坐标空间内的运动缩放70p和运动缩放80p的运动缩放映射。为此，如本公开的技术中已知的，阶段S102可以涉及在术前扫描12c的图像坐标空间10b内的对心脏的分割，如图4B中最佳示出的。参考图4B中，提供了图形用户接口(未示出)，用于允许覆盖相对于分割的心脏的体积区域运动缩放70v和运动缩放80v的图形描绘。再次，运动缩放70v包括覆盖相对于心脏所示的体积区域的缩放因子的三(3)个区域，并且运动缩放80v包括覆盖相对于心脏所示的体积区域的缩放因子的三(3)个区域。
再次参考图4A，流程图100的阶段S104包括经由用户输入设备致动围绕心脏区域的外科手术坐标空间13内的一对手术机器人臂90a和90b。具体地，在进入内窥镜的视野之前，跟踪(例如，电磁跟踪、光学跟踪、FORS传感器跟踪、编码的关节跟踪或图像贵校)根据默认运动设置在手术坐标空间13内的手术机器人臂90a和90b的末端执行器的运动。当手术机器人臂90a和90b出现在术中内窥镜视图12d中时，根据手术机器人臂90a和90b的末端执行器在手术坐标空间13或图像坐标空间10c内的跟踪位置，将运动缩放70v和80v应用到默认运动设置。
为了便于进一步理解本发明的发明，以下对图5-7的描述教导了根据本公开的发明原理的成像坐标空间内的运动缩放的动态映射的基本发明原理。根据对图5-7的该描述，本领域普通技术人员将理解如何应用本公开的发明原理来实践成像坐标空间内的对运动缩放的动态映射的众多和各种实施例。
通常，根据本公开的发明原理的动态运动缩放与(一个或多个)手术机器人臂的运动相关联，并且可以进一步链接到图像坐标空间内的解剖结构。
例如，参见图5A和5B，动态运动缩放110a具有三(3)个缩放因子区域111a、111b和112。当手术机器人臂90a和90b之间的跟踪距离大于距离阈值D1时，缩放因子111a和111b适用于手术机器人臂90a和90b的默认运动设置，如图5A中最佳示出的。相反，当手术机器人臂90a和90b之间的跟踪距离小于距离阈值D1时，缩放因子112适用，如图5B中最佳示出的。
任选地，当手术机器人臂90a和90b之间的跟踪距离小于距离阈值D1并且进一步当手术机器人90a和/或手术机器人臂90b相对于解剖结构120的跟踪距离小于距离阈值D2时，缩放因子112可以仅应用于手术机器人臂90a和90b的默认运动设置。
在实践中，距离阈值D1和D2可以是根据特定手术机器人流程导出的默认阈值，或者可以是用户通过图形用户接口定义的。
同样在实践中，缩放因子111a、111b和112可以表示与手术机器人臂90a的运动相关联的任何因子，包括但不限于如本文先前所述的定位、速度、加速度和力。
通过进一步的示例，参考图6A和6B，动态运动缩放110b具有缩放因子两(2)个区域111c和112。当手术机器人臂90a与解剖结构120之间的跟踪距离大于距离阈值D3时，缩放因子111c适用于手术机器人臂90a和90b的默认运动设置，如图6A中最佳示出的。相反，当手术机器人臂90a与解剖结构120之间的跟踪距离小于距离阈值D3时，缩放因子112适用，如图6B中最佳示出的。
在实践中，距离阈值D3可以是根据特定手术机器人流程导出的默认阈值，或者可以是用户通过图形用户接口定义的。
参考图7，流程图130表示本公开的图像引导的运动缩放的机器人控制方法，其涉及心脏的术前内窥镜视图12a和术中内窥镜视图12b。
通常，在手术机器人流程的术前阶段，通过用户输入设备将包围内窥镜的手术机器人臂定位在环绕心脏区域的手术坐标空间内，以采集心脏的术前内窥镜视图12a。此后，对于手术机器人流程的术中阶段，将内窥镜保持在或重新定位到相同的术前位置以采集心脏的术中内窥镜视图12b。
具体地，流程图130的阶段S132包括心脏的术前内窥镜视图12a的图像坐标空间内的运动缩放80p的运动缩放映射。为此，如本公开的领域中已知的，阶段S62可以涉及保持手术机器人臂的内窥镜的校准和内窥镜的视野，以及在手术坐标空间内对手术机器人臂的跟踪(例如，电磁跟踪、光学跟踪、FORS传感器跟踪和编码的关节跟踪)。根据校准和跟踪，通过用户输入设备将保持手术机器人臂的内窥镜致动到内窥镜的期望视野，以采集心脏的术前内窥镜视图12a。
一旦定位，就提供图形用户接口(未示出)，用于允许在图像坐标空间内动态描绘运动缩放110a，其勾画心脏的术前内窥镜视图12a。更具体地，运动缩放110a以及运动缩放110a的应用规则是用户定义的并且链接到心脏的术前内窥镜视图12a。
仍然参考图7，流程图130的阶段S134包括经由用户输入设备致动围绕心脏区域的3D外科手术坐标空间13内的一对手术机器人臂90a和90b。具体地，在进入内窥镜的视野之前，跟踪(例如，电磁跟踪、光学跟踪、FORS传感器跟踪和编码的关节跟踪)根据默认运动设置在手术坐标空间13内的手术机器人臂90a和90b的末端执行器的运动。
当手术机器人臂90a和90b出现在术中内窥镜视图12e中时，根据手术机器人臂90a和90b的末端执行器在手术坐标空间内13或图像坐标空间12b的位置之间的跟踪距离TD(例如，电磁跟踪、光学跟踪、FORS传感器跟踪、编码的关节跟踪或图像跟踪)，将运动缩放110a应用于默认运动设置。
为了便于进一步理解本发明的发明，以下对图8-10的描述教导了根据本公开的发明原理的图像引导的运动缩放的手术机器人***和图像引导的运动缩放的手术机器人控制器的基本发明原理。根据对图8-10的该描述，本领域普通技术人员将理解如何应用本公开的发明原理来实践图像引导的运动缩放的手术机器人***和图像引导的运动缩放的手术机器人控制器的多个和各种实施例。
参考图8，本公开的外科手术***采用成像***140、跟踪***150和图像引导的运动缩放的手术机器人流程机器人***160。
成像***140实现本公开的技术中已知并且在下文中构思的任何成像模态，用于对图像坐标系141内的解剖区域(未示出)进行成像，并且用于将给出这样的成像的信息的成像信息IMDIS提供给图像引导的运动缩放的手术机器人手机机器人***160。成像模态的示例包括但不限于CT、MRI、X射线和超声。
在实践中，成像***140是外科手术***的任选部件并且可以省略，特别是当图像引导的运动缩放的外科手术机器人流程机器人***160采用由手术机器人臂(未示出)持有的成像仪器来对图像坐标系161a内的解剖结构进行成像并且生成指示这样的成像的成像数据IMDII。这样的成像仪器的示例包括但不限于内窥镜和腹腔镜。
跟踪***150实现本公开的技术中已知并且在下文中构思的任何跟踪技术，用于跟踪跟踪坐标***151内的手术机器人臂并且用于将指示这种跟踪的跟踪数据TRDTS传送到图像引导的运动缩放的手术机器人的手术机器人***160。跟踪技术的示例包括但不限于电磁、光学和FORS感测。
在实践中，跟踪***150是外科手术***的任选部件并且可以省略，特别是当外科手术机器人***160采用编码的手术机器人臂(未示出)以生成跟踪数据TRDSRA以在手术坐标空间161b跟踪一个或多个外科手术机器人臂时。
同样在实践中，本领域普通技术人员将知道如何根据本公开领域中已知的配准技术根据需要配准两个或更多个上述坐标空间。
仍然参考图18，图像引导的运动缩放的手术机器人手术机器人***160还采用图像引导的运动缩放的手术机器人控制器162，其具有本公开的运动缩放图163，用于控制本公开的成像引导的运动缩放的机器人控制方法的执行，例如，如图3、图4和图7中所示的方法。
在实践中，手术机器人***160可以体现在多种和各种结构体系结构中。
在如图9A所示的一个实施例中，图像引导的运动缩放的手术机器人***160a具有操作者控制台164a和机器人手推车167a。
参考图9A，操作者控制台164a采用本公开的机器人控制器162(图8)，如本公开的领域中已知的一个或多个输入设备165(例如，(一个或多个)手柄，(一个或多个)操纵杆，(一个或多个)滚动球等)，和如本公开领域中已知的显示器/图像控制器166。
机器人手推车167a采用如本公开领域中已知的一个或多个手术机器人臂168和如本公开领域中已知的患者台169，特别是用于建立手术坐标空间161b(图8)。
在操作中，操纵(一个或多个)用户输入设备165以通过由图像引导的运动缩放的机器人控制器162传送到(一个或多个)手术机器人臂168的致动命令ACSRA来执行手术机器人臂168在手术坐标空间161b内的用户定义的运动。如本文中之前所描述，图像引导的运动缩放的机器人控制器162将运动缩放图163应用于配准到手术机器人空间161b的成像坐标空间(例如，图8的161a)，从而根据运动缩放图163衰减或放大用户定义的(一个或多个)手术机器人臂168在手术坐标空间161b内的运动。
在另一个实施例中，如图9B所示，图像引导的运动缩放的手术机器人***160b具有操作者控制台164b和机器人手推车167b。
参考图9B，操作者控制台164b采用(一个或多个)输入设备165(例如，手柄)和显示器/图像控制器166。
机器人手推车167b采用手术机器人臂168、机器人控制器162(图8)和患者台169。
在操作中，操纵(一个或多个)用户输入设备165以将输入信号ISSRA传送到图像引导的运动缩放的机器人控制器162，所述输入信号ISSRA指示手术机器人臂168在手术坐标内的用户定义的运动。响应于其，图像引导的运动缩放的机器人控制器162将致动命令ACSRA(未示出)传送到手术机器人臂168。再次，图像引导的运动缩放的机器人控制器162将运动缩放图163应用于配准到手术机器人空间161b的成像坐标空间(例如，图8的161a)，从而根据运动缩放图163衰减或放大用户定义的(一个或多个)手术机器人臂168在手术坐标空间161b内的运动。
在实践中，图像引导的运动缩放的机器人控制器162可以实现在多种和各种结构体系结构中。例如，图像引导的运动缩放的机器人控制器包括处理器、存储器、用户接口、网络接口和经由一个或多个***总线互连的存储器。在实践中，图像引导的运动缩放的机器人控制器162的部件的实际组织可能比图示的更复杂。
处理器可以是能够执行存储在存储器或存储设备中或者处理数据的指令的任何硬件设备。这样，处理器可以包括微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类似设备。
存储器可以包括各种存储器，例如L1、L2或L3高速缓存或***存储器。这样，存储器可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪存、只读存储器(ROM)或其他类似的存储器设备。
用户接口可以包括用于实现与诸如管理员的用户的通信的一个或多个设备。例如，用户接口可以包括用于接收用户命令的显示器、鼠标和键盘。在一些实施例中，用户接口可以包括命令行接口或图形用户接口，其可以经由网络接口呈现给远程终端。
网络接口可以包括用于实现与其他硬件设备的通信的一个或多个设备。例如，网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外，网络接口可以根据TCP/IP协议实现用于通信的TCP/IP栈。用于网络接口的各种替代或附加硬件或配置将是显而易见的。
存储器可以包括一个或多个机器可读存储介质，诸如只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质，光存储介质，闪存设备或类似的存储介质。在各种实施例中，存储设备可以存储用于由处理器执行的指令或者处理器可以操作的数据。例如，存储器可以存储用于控制硬件的各种基本操作的基本操作***。存储器还可以以可执行软件/固件和/或(一个或多个)应用程序模块的形式存储(一个或多个)应用程序模块。
在图10A中所示的一个实施例中，图像引导的运动缩放的机器人控制器162a可以采用包括运动缩放映射器170、运动矢量生成器171a和手术机器人臂致动器172a的应用模块。
参考图10A，运动缩放映射器170处理来自成像***140(图8)(如果使用的话)的成像数据IMDIS和/或来自成像仪器(如果采用了的话)的成像数据IMDII(例如，内窥镜)，并进一步处理来自图形用户接口(未示出)的运动缩放描绘信号MSD，从而映射图像坐标空间内的运动缩放，如前所述。
运动缩放映射器170将运动缩放图MSM传送到运动矢量生成器171a，运动矢量生成器171a进一步处理来自输入设备(例如，(一个或多个)手柄，(一个或多个)操纵杆，(一个或多个)滚球等)的输入信号ISSRA以及来自跟踪***150(如果使用的话)的跟踪数据TDTRS(图8)，从而如输入信号ISSRA所请求地生成以外科手术坐标系161b指示外科手术机器人臂168的平移、旋转和/或枢转的运动矢量MV，并根据基于跟踪数据TDTRS的运动缩放图MSM而衰减或放大。
作为编码的跟踪数据TDTRS的替代，运动矢量生成器171a可以处理来自手术机器人臂致动器172a的编码的跟踪数据TDSRA，从而如输入信号ISSRA所请求地以手术坐标系161b生成运动矢量MV，运动矢量MV指示手术机器人臂168的平移、旋转和/或枢转，并基于编码的跟踪数据TDSRA根据运动缩放图MSM进行衰减或放大。
运动矢量生成器171a将运动矢量MV传送到手术机器人臂致动器172a，其生成指示手术机器人臂168在手术坐标系161b内的平移、旋转和/或枢转的致动命令AC。
在如图10B所示另一个实施例中，图像引导的运动缩放的机器人控制器162b可以采用包括运动缩放映射器170、运动矢量生成器171b和手术机器人臂致动器172b的应用模块。
参考图10B，如前所述，运动缩放映射器170处理来自成像***140(图8)(如果使用的话)的成像数据IMDIS和/或来自成像仪器(如果采用了的话)的成像数据IMDII(例如，内窥镜)，并进一步处理来自图形用户接口(未示出)的运动缩放描绘信号MSD，从而映射图像坐标空间内的运动缩放，如本文中先前所描述。
运动矢量生成器171b处理来自输入设备(例如，手柄，操纵杆，滚球等)的输入信号ISSRA以由此生成以外科手术坐标系161b指示外科手术机器人臂168的平移、旋转和枢转运动的运动矢量MV。
运动缩放映射器170将运动缩放图MSM传送到手术机器人臂致动器172b，并且运动矢量生成器171b将运动矢量MV传送到手术机器人臂致动器172b，手术机器人臂致动器172b进一步处理来自跟踪***150(如果采用了的话)的跟踪数据TDTRS(图8)以由此如输入信号ISSRA所请求地以外科手术坐标系161b生成致动命令AC，致动命令AC指示外科手术机器人臂168的平移、旋转和/或枢转，并基于跟踪数据TDTRS根据运动缩放图MSM进行衰减或放大。
作为跟踪数据TDTRS的替代，手术机器人臂致动器172b可以处理编码的跟踪数据TDSRA，从而如输入信号ISSRA所请求地以手术坐标系161b生成致动命令AC，致动命令AC指示手术机器人臂168的平移、旋转和/或枢转，并基于编码的跟踪数据TDSRA根据运动缩放图MSM进行衰减或放大。
参考图1-10，本领域普通技术人员将理解本公开的许多益处，包括但不限于，通过本公开的发明对手术机器人***的改进，其提供取决于的环境的运动缩放，并且通过促进降低患者受伤风险和减少外科手术时间而允许改善操作。
此外，鉴于本文提供的教导，本领域普通技术人员将理解，本公开/说明书中描述和/或图中描绘的特征、元件、部件等可以以电子部件/电路、硬件、可执行软件和可执行固件的各种组合实现，并提供可以组合在单个元件或多个元件中的功能。例如，可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供附图中示出/示出/描绘的各种特征、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器，或由多个个体处理器(它们中的一些能够是共享的和/或多路复用的)来提供。此外，对术语"处理器"的明确使用不应当被解释为排他性地指代能够运行软件的硬件，而是能够暗含地不加限制地包括数字信号处理器("DSP")硬件、存储器(例如用于存储软件的只读存储器("ROM")、随机存取存储器("RAM")、非易失性存储装置等)以及能够(和/或可配置为)执行和/或控制过程的任何虚拟装置和/或机器(包括硬件、软件、固件、电路、它们的组合等)。
此外，本文中提到原理、方面和本发明实施例的所有陈述以及其具体范例都旨在涵盖其结构上和功能上的等价方案。另外，旨在使这样的等同要件既包括当前已知的等同要件，又包括未来开发的等同要件(例如，所开发出的能够执行相同或基本上相似的功能的元件，而不管其结构如何)。因此，例如，本领域普通技术人员鉴于本文中提供的教导将认识到，本文中呈现的任何方框图能够表示实现本发明的原理的说明性***部件和/或电路的概念图。类似地，本领域普通技术人员鉴于本文中提供的教导应当认识到，任意流程图示、流程图等能够表示能够基本上被表示在计算机可读存储介质中并且由计算机、处理器或具有处理能力的其他设备如此运行的各种过程，而无论是否明确示出了这样的计算机或处理器。
此外，本发明的示范性实施例可以采取能够从计算机可用和/或计算机可读存储介质访问的计算机程序产品或应用模块的形式，所述存储介质提供程序代码和/或指令，以供例如计算机或任何指令执行***使用或结合其使用。根据本公开，计算机可用或计算机可读存储介质可以是可以例如包括、存储、传送、传播或传输程序的任何设备，所述程序供指令执行***、装置或设备使用或结合其使用。这样的示范性介质可以例如是电子的、磁的、光学的、电磁的、红外的或半导体***(或装置或设备)或传播介质。计算机可读介质的示例包括例如半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存(驱动器)、硬磁盘以及光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写存储器(CD-R/W)以及DVD。此外，应当理解，此后可以开发的任何新的计算机可读介质也应被视为根据本公开和公开内容的示例性实施例可以使用或参考的计算机可读介质。
已经描述了新颖和创造性的图像引导的运动缩放的优选和示例性实施例(这些实施例旨在是说明性的而非限制性的)，应注意，本领域普通技术人员可以鉴于本文提供的教导(包括附图)来进行修改和变化。因此，应当理解，在本公开的实施例的范围内，可以对本公开的优选和示例性实施例进行改变。
此外，预期的是，实施所述设备等的对应的和/或相关的***也可以在根据本公开的设备中使用/实施，也被预期和认为在本公开的范围内。此外，还预期和认为对应的和/或相关的用于制造和/或使用根据本公开的设备和/或***的方法在本公开的范围内。

Claims (15)

1.一种图像引导的运动缩放的手术机器人***(160)，包括：
手术机器人臂(168)；以及
图像引导的运动缩放的机器人控制器(162)，其与所述手术机器人臂(168)通信，
其中，所述图像引导的运动缩放的机器人控制器(162)在结构上被配置为响应于指示在解剖区域内的所述手术机器人臂(168)的用户定义的运动的输入信号而基于在所述解剖区域的成像的成像坐标空间内描绘的运动缩放的映射(164)来控制所述手术机器人臂(168)在所述解剖区域内的致动运动。
2.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，
其中，所述图像引导的运动缩放的机器人控制器(162)还在结构上被配置为控制对所述解剖区域的所述成像内的所述运动缩放的描绘。
3.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，
其中，所述图像引导的运动缩放的机器人控制器(162)还在结构上被配置为根据所述手术机器人臂(168)与所述解剖区域的所述成像内的解剖结构之间的距离来控制所述运动缩放的描绘。
4.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，还包括：
另外的手术机器人臂；并且
其中，所述图像引导的运动缩放的机器人控制器(162)还在结构上被配置为根据所述手术机器人臂(168)与所述另外的手术机器人臂相对于所述解剖区域的所述成像内的解剖结构之间的距离来控制所述运动缩放的描绘。
5.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，
其中，所述图像引导的运动缩放的机器人控制器(162)还在结构上被配置为响应于指示对所述解剖区域内的所述手术机器人臂(168)的跟踪的跟踪数据而控制所述手术机器人臂(168)在所述解剖区域内的所述致动运动。
6.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，
其中，所述图像引导的运动缩放的机器人控制器(162)还在结构上被配置为响应于指示对所述解剖区域的所述成像内的所述手术机器人臂(168)的跟踪的跟踪数据而控制所述手术机器人臂(168)在所述解剖区域内的所述致动运动。
7.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，其中，所述运动缩放是以下中的一种：位置运动缩放、速度运动缩放、加速度运动缩放和力运动缩放。
8.根据权利要求1所述的图像引导的运动缩放的手术机器人***(160)，其中，所述运动缩放包括至少一个缩放因子。
9.一种图像引导的运动缩放的手术机器人控制器(162)，包括：
运动矢量生成器(171)，其在结构上被配置为响应于指示解剖区域内的手术机器人臂(168)的用户定义的运动的输入信号而生成运动矢量信号，
其中，所述运动矢量信号指示手术机器人臂(168)在所述解剖区域内的致动运动；
手术机器人臂致动器(172)，其在结构上被配置为响应于所述运动矢量生成器(171)生成所述运动矢量信号而生成致动命令，
其中，所述致动命令指示所述手术机器人臂(168)在所述解剖区域内的所述致动运动；并且
其中，以下之一：
所述运动矢量生成器(171)还在结构上被配置为基于在所述解剖区域的成像的成像坐标空间内描绘的运动缩放的映射(164)来生成所述运动矢量信号；和
所述手术机器人臂致动器(172)还在结构上被配置为基于在所述解剖区域的成像的所述成像坐标空间内描绘的所述运动缩放来生成所述致动命令。
10.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，还包括：
运动缩放映射器(170)，其在结构上被配置为描绘在所述成像坐标空间内的所述运动缩放。
11.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，还包括：
运动缩放映射器(170)，其在结构上被配置为根据所述手术机器人臂(168)与所述成像坐标空间内的解剖结构之间的距离来计算所述运动缩放。
12.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，还包括：
运动缩放映射器(170)，其在结构上被配置为根据所述手术机器人臂(168)与另外的手术机器人臂相对于所述成像坐标空间内的解剖结构之间的距离来计算所述运动缩放。
13.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，其中，以下之一：
所述运动矢量生成器(171)还在结构上被配置为响应于指示外科手术坐标空间内的对所述手术机器人臂(168)的跟踪的跟踪数据而生成所述运动矢量信号；以及
所述手术机器人臂致动器(172)还在结构上被配置为响应于指示外科手术坐标空间内的所述手术机器人臂(168)的跟踪的跟踪数据而生成所述致动命令。
14.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，其中，以下之一：
所述运动矢量生成器(171)还在结构上被配置为响应于跟踪数据而生成所述运动矢量信号，所述跟踪数据指示对所述成像坐标空间内的所述手术机器人臂(168)的跟踪；以及
所述手术机器人臂致动器(172)还在结构上被配置为响应于指示在所述成像坐标空间内的所述跟踪的跟踪数据而生成所述致动命令。
15.根据权利要求9所述的图像引导的运动缩放的手术机器人控制器(162)，其中，所述运动缩放是以下中的一种：位置运动缩放、速度运动缩放、加速度运动缩放和力运动缩放。
CN201780075882.XA 2016-12-07 2017-12-05 用于机器人控制的图像引导的运动缩放 Active CN110049742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430994P 2016-12-07 2016-12-07
US62/430,994 2016-12-07
PCT/EP2017/081423 WO2018104252A1 (en) 2016-12-07 2017-12-05 Image guided motion scaling for robot control

Publications (2)

Publication Number Publication Date
CN110049742A CN110049742A (zh) 2019-07-23
CN110049742B true CN110049742B (zh) 2023-01-03

Family

ID=60954988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075882.XA Active CN110049742B (zh) 2016-12-07 2017-12-05 用于机器人控制的图像引导的运动缩放

Country Status (5)

Country Link
US (2) US11213364B2 (zh)
EP (1) EP3551117B1 (zh)
JP (1) JP7132922B2 (zh)
CN (1) CN110049742B (zh)
WO (1) WO2018104252A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023034692A (ja) * 2021-08-31 2023-03-13 川崎重工業株式会社 手術支援システムおよび手術支援システムの制御方法
CN111132629B (zh) * 2017-09-06 2024-04-16 柯惠Lp公司 手术机器人的边界缩放
US20200015899A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization with proximity tracking features
US11992282B2 (en) 2019-03-15 2024-05-28 Cilag Gmbh International Motion capture controls for robotic surgery
US11701190B2 (en) * 2019-03-15 2023-07-18 Cilag Gmbh International Selectable variable response of shaft motion of surgical robotic systems
US11666401B2 (en) 2019-03-15 2023-06-06 Cilag Gmbh International Input controls for robotic surgery
US11583350B2 (en) 2019-03-15 2023-02-21 Cilag Gmbh International Jaw coordination of robotic surgical controls
US11690690B2 (en) 2019-03-15 2023-07-04 Cilag Gmbh International Segmented control inputs for surgical robotic systems
US11471229B2 (en) 2019-03-15 2022-10-18 Cilag Gmbh International Robotic surgical systems with selectively lockable end effectors
US11490981B2 (en) 2019-03-15 2022-11-08 Cilag Gmbh International Robotic surgical controls having feedback capabilities
US20200289205A1 (en) * 2019-03-15 2020-09-17 Ethicon Llc Robotic surgical systems with mechanisms for scaling camera magnification according to proximity of surgical tool to tissue
US11284957B2 (en) 2019-03-15 2022-03-29 Cilag Gmbh International Robotic surgical controls with force feedback
JP2020163522A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
CN112155613B (zh) * 2020-09-14 2021-10-22 武汉联影智融医疗科技有限公司 一种微创医疗手术设备
US11813746B2 (en) 2020-12-30 2023-11-14 Cilag Gmbh International Dual driving pinion crosscheck
JP2023034696A (ja) * 2021-08-31 2023-03-13 川崎重工業株式会社 手術支援システムおよび手術支援システムの制御方法
IT202200006332A1 (it) * 2022-03-31 2023-10-01 Medical Microinstruments Inc Metodo per controllare, tramite diminuzione di velocità o potenza impartita, un dispositivo slave comandato da un dispositivo master in un sistema robotico per teleoperazione medica o chirurgica, e relativo sistema robotico
IT202200006338A1 (it) * 2022-03-31 2023-10-01 Medical Microinstruments Inc Metodo per controllare un dispositivo slave, comandato da un dispositivo master movimentabile da un operatore in un sistema robotico per teleoperazione medica o chirurgica, in prossimità di limiti di movimento del dispositivo slave, e relativo sistema robotico
GB2625105A (en) * 2022-12-06 2024-06-12 Cmr Surgical Ltd Control system for a surgical robotic system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101947130A (zh) * 2009-05-08 2011-01-19 恩杜森斯公司 用于在基于导管的消融治疗中控制损伤尺寸的方法和装置
CN102614019A (zh) * 2010-12-17 2012-08-01 伊顿株式会社 手术机器人***及其自适应控制方法
CN104622585A (zh) * 2015-03-13 2015-05-20 中国科学院重庆绿色智能技术研究院 一种腹腔镜微创手术机器人主从同构式遥操作主手
CN105188594A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 根据解剖特征对内窥镜的机器人控制
WO2016028858A1 (en) * 2014-08-22 2016-02-25 Intuitive Surgical Operations, Inc. Systems and methods for adaptive input mapping

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2103626A1 (en) 1993-08-09 1995-02-10 Septimiu Edmund Salcudean Motion scaling tele-operating system with force feedback suitable for microsurgery
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US20190090967A1 (en) * 1999-12-14 2019-03-28 Intuitive Surgical Operations, Inc. Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device
US7198630B2 (en) * 2002-12-17 2007-04-03 Kenneth I. Lipow Method and apparatus for controlling a surgical robot to mimic, harmonize and enhance the natural neurophysiological behavior of a surgeon
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
EP2139422B1 (en) * 2007-03-26 2016-10-26 Hansen Medical, Inc. Robotic catheter systems and methods
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
EP2244784A2 (en) * 2008-01-30 2010-11-03 The Trustees of Columbia University in the City of New York Systems, devices, and methods for robot-assisted micro-surgical stenting
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
WO2011123669A1 (en) * 2010-03-31 2011-10-06 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems
WO2012035492A1 (en) 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images
US8918215B2 (en) * 2011-01-19 2014-12-23 Harris Corporation Telematic interface with control signal scaling based on force sensor feedback
KR101802464B1 (ko) 2011-08-03 2017-11-28 주식회사 미래컴퍼니 수술용 로봇의 마스터 암 구조 및 수술용 마스터 로봇의 제어방법
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP2015506188A (ja) 2011-12-21 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償
US8880223B2 (en) * 2012-07-16 2014-11-04 Florida Institute for Human & Maching Cognition Anthro-centric multisensory interface for sensory augmentation of telesurgery
ES2804681T3 (es) 2013-02-04 2021-02-09 Childrens Nat Medical Ct Sistema robótico quirúrgico de control híbrido
AU2015259635B2 (en) * 2014-05-15 2019-04-18 Covidien Lp Systems and methods for controlling a camera position in a surgical robotic system
JP2017529907A (ja) 2014-09-29 2017-10-12 コヴィディエン リミテッド パートナーシップ ロボット外科手術システムの制御のための動的入力スケーリング
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
CN107249498B (zh) 2015-02-19 2024-04-23 柯惠Lp公司 机器人手术***的输入装置的重定位方法
US20160314717A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
US20210106393A1 (en) * 2015-10-16 2021-04-15 Medical Microinstruments S.p.A. Surgical tool for robotic surgery and robotic surgical assembly
ITUB20155057A1 (it) * 2015-10-16 2017-04-16 Medical Microinstruments S R L Assieme robotico di chirurgia

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101947130A (zh) * 2009-05-08 2011-01-19 恩杜森斯公司 用于在基于导管的消融治疗中控制损伤尺寸的方法和装置
CN102614019A (zh) * 2010-12-17 2012-08-01 伊顿株式会社 手术机器人***及其自适应控制方法
CN105188594A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 根据解剖特征对内窥镜的机器人控制
WO2016028858A1 (en) * 2014-08-22 2016-02-25 Intuitive Surgical Operations, Inc. Systems and methods for adaptive input mapping
CN104622585A (zh) * 2015-03-13 2015-05-20 中国科学院重庆绿色智能技术研究院 一种腹腔镜微创手术机器人主从同构式遥操作主手

Also Published As

Publication number Publication date
JP7132922B2 (ja) 2022-09-07
US20220096189A1 (en) 2022-03-31
US11213364B2 (en) 2022-01-04
CN110049742A (zh) 2019-07-23
EP3551117A1 (en) 2019-10-16
WO2018104252A1 (en) 2018-06-14
EP3551117B1 (en) 2024-06-05
JP2020500620A (ja) 2020-01-16
US20190307524A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110049742B (zh) 用于机器人控制的图像引导的运动缩放
JP7233841B2 (ja) ロボット外科手術システムのロボットナビゲーション
CN109069217B (zh) 图像引导外科手术中的姿势估计以及透视成像***的校准的***和方法
Ren et al. Dynamic 3-D virtual fixtures for minimally invasive beating heart procedures
CN112618028B (zh) 手术机器人及其引导手术臂移动的方法、控制装置
WO2019132781A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
CN116128937A (zh) 用于在图像引导的程序中将细长装置配准到三维图像的***和方法
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
Wu et al. Safety-enhanced model-free visual servoing for continuum tubular robots through singularity avoidance in confined environments
JP2020512116A (ja) マーカーレスロボット追跡システム、制御装置、及び方法
US11972531B2 (en) Multi-modal visualization in computer-assisted tele-operated surgery
CN114945937A (zh) 用于内窥镜流程的引导式解剖操纵
CN114974548A (zh) 用于移动医学对象的装置和用于提供控制预设的方法
Megali et al. EndoCAS navigator platform: a common platform for computer and robotic assistance in minimally invasive surgery
CN109223179A (zh) 一种双臂手术机器人导航定位方法
CN110637325A (zh) 解剖模型的虚拟增强
Shin et al. Markerless surgical robotic system for intracerebral hemorrhage surgery
EP3822981A1 (en) Image acquisition visuals for augmented reality
Penza et al. Virtual assistive system for robotic single incision laparoscopic surgery
Sudra et al. MEDIASSIST: medical assistance for intraoperative skill transfer in minimally invasive surgery using augmented reality
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
Hastenteufel et al. Image‐based guidance for minimally invasive surgical atrial fibrillation ablation
WO2023018684A1 (en) Systems and methods for depth-based measurement in a three-dimensional view
Zheng et al. Automatic Tracking Motion Based on Flexible Forbidden Virtual Fixtures Design in Robot Assisted Nasal Surgery
CN117813631A (zh) 用于三维视图中基于深度的测量的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant