CN113677283A - 用于基于颜色指示缝线张力的方法和*** - Google Patents

用于基于颜色指示缝线张力的方法和*** Download PDF

Info

Publication number
CN113677283A
CN113677283A CN202080027593.4A CN202080027593A CN113677283A CN 113677283 A CN113677283 A CN 113677283A CN 202080027593 A CN202080027593 A CN 202080027593A CN 113677283 A CN113677283 A CN 113677283A
Authority
CN
China
Prior art keywords
suture
image
enhanced version
force
force applied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080027593.4A
Other languages
English (en)
Inventor
德怀特·梅格兰
曼尼什·帕蒂
卡梅伦·塞西尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN113677283A publication Critical patent/CN113677283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/0469—Suturing instruments for use in minimally invasive surgery, e.g. endoscopic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/06—Needles ; Sutures; Needle-suture combinations; Holders or packages for needles or suture materials
    • A61B17/06166—Sutures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B2017/0496—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials for tensioning sutures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

用于提供缝线张力的视觉指示的方法和***包括：检测施加到所述缝线上的力；获得包括所述缝线的图像；基于将多个力转换为多个颜色的算法或在将多个颜色分别与多个力相关联的表中的至少一个，识别与施加到所述缝线上的所述力相关联的颜色；生成所述图像的增强版本；以及显示所述图像的所述增强版本，其中识别的颜色用于表示所述缝线的至少一部分。

Description

用于基于颜色指示缝线张力的方法和***
背景技术
机器人手术***已经开发用于微创医疗程序。在这种医疗手术期间，机器人手术***由与机器人手术***的用户界面介接的外科医生或临床医生控制。用户界面或控制台允许临床医生操纵与作用在患者上的手术***相关联的末端执行器。用户控制台包括一个或多个控制臂，该控制臂支撑可由临床医生移动以控制机器人手术***的输入手柄或万向架。使用控制台，外科医生控制末端执行器的位置和移动，从而执行完成外科手术所需的各种任务，在一些情况下，包括将缝线应用于组织附近。
在手术过程中，当缝线受力接近组织时，知道缝线所受到的力可能是有用的。因此，需要用于指示缝线张力的改进的***和方法。
发明内容
本公开大体上涉及在微创手术过程中提供基于颜色指示缝线张力的方法和***。根据一个实例方面，本公开描述了一种用于缝线张力的视觉指示的方法。该方法包括检测施加到缝线上的力；获得图像，所述图像包括所述缝线；基于将多个力转换为多个颜色的算法或在将多个颜色分别与多个力相关联的表中的至少一个，识别与施加到所述缝线上的所述力相关联的颜色；生成所述图像的增强版本，其中所述识别的颜色用于表示所述缝线的至少一部分；以及显示所述图像的所述增强版本。
根据本公开的各方面，所述图像的所述增强版本的所述显示包括显示覆盖在所述缝线顶部上的视觉指示符，所述视觉指示符指示施加到所述缝线的所述力是否应增加、减小还是保持在当前水平。
在本公开的另一方面，所述图像的所述增强版本的所述显示包括用所述图像的所述增强版本替换所述缝线的所述图像。
在本公开的另一方面中，所述图像的所述增强版本的所述显示包括基于所述检测到的力对所述图像的所述增强版本着色。
在另一方面，所述颜色指示所述检测到的力是否在目标范围内。
在又一方面，所述图像的所述增强版本的所述显示包括显示指示颜色如何对应于力的图例。
在另一个方面，通过位于手术器械中并被配置成检测力的传感器来执行对施加到所述缝线上的所述力的所述检测。
在又一方面，通过位于器械驱动单元中并被配置成检测力的扭矩传感器进行施加到所述缝线上的所述力的所述检测。
在另一方面，对施加到所述缝线上的所述力的所述检测包括在所述缝线张紧期间基于工具和所述缝线的几何形状检测所述力。
本公开的另一方面涉及一种机器人手术***。所述***包括：多个机器人臂，所述机器人臂被配置成放置缝线；机器人臂，所述机器人臂包括被配置成观察所述缝线的放置并将所述缝线的图像传送到显示器的内窥镜；处理器；和耦合到处理器的存储器。所述存储器存储指令，所述指令在由所述处理器执行时使所述机器人手术***：检测施加到缝线上的力；在将多个颜色分别与多个力相关联的表中识别与施加到所述缝线上的所述力相关联的颜色；生成所述图像的增强版本，其中所述识别的颜色用于表示所述缝线的至少一部分；以及显示所述图像的所述增强版本。
在本公开的一个方面中，所述图像的所述增强版本的所述显示包括显示视觉指示符，所述视觉指示符具有重叠在所述缝线顶部上的箭头，所述箭头指示施加到所述缝线上的所述检测到的力应增加、减小还是保持在当前水平。
在另一方面，所述图像的所述增强版本的所述显示包括用所述图像的所述增强版本替换所述缝线的所述图像。在又一方面，所述图像的所述增强版本的所述显示包括基于所述检测到的力对所述图像的所述增强版本着色。
在另一方面，所述颜色指示所述检测到的力是否在目标范围内。
在又一方面，所述图像的所述增强版本的所述显示包括显示指示颜色如何对应于力的图例。
在另一方面，对施加到缝线上的力的检测由传感器执行，所述传感器位于与多个机器人臂中的一个相关联的外科器械上，并且被配置成检测施加到缝线上的力并将检测到的力传送到处理器和存储器。
在本公开的另一方面，对施加到缝线的力的检测由扭矩传感器执行，所述扭矩传感器被配置成检测施加到缝线上的力并将检测到的力传送到处理器和存储器。
在另一方面，本公开描述了一种腹腔镜手术***。所述***包括被配置为放置缝线的多个腹腔镜器械、内窥镜、处理器和耦合到一个或多个处理器的存储器。内窥镜被配置成观察缝线的放置并将缝线的图像传送到显示器。所述存储器存储指令，所述指令在由所述处理器执行时使所述腹腔镜手术***：检测施加到缝线上的力；在将多个颜色分别与多个力相关联的表中识别与施加到所述缝线上的所述力相关联的颜色；生成所述图像的增强版本，其中所述识别的颜色用于表示所述缝线的至少一部分；以及显示所述图像的所述增强版本。
在另一方面，通过所述多个腹腔镜器械中的一个上的传感器来执行对施加到所述缝线上的所述力的所述检测，所述传感器被配置成检测施加到所述缝线上的所述力并将所述力传送到所述处理器和存储器。
在又一方面，颜色指示所述力是否在目标范围内。
附图说明
并入在本说明书中且构成本说明书的一部分的附图说明本公开的实施例，并且与下文给出的实施例的详细描述一起用以解释本公开的原理。
图1是根据本公开的示范性实施例提供的具有用户控制台和手术机器人的机器人手术***的示意图；
图2是图1的手术机器人的示范性塔架的透视图；
图3是用于控制图1的机器人手术***的实例***架构的功能框图；
图4是示出用于基于颜色指示缝线张力的实例方法的流程图；以及
图5是根据本公开的实例实施例的可以根据图4的方法生成的实例屏幕截图。
具体实施方式
参考附图详细描述用于在微创手术期间基于颜色指示缝线张力的本***和方法的实施例，在附图中，相同的附图标记在若干视图的每一个中表示相同或相应的元件。如本文所用，术语“临床医生”是指医生、护士、健康护理提供者、辅助人员或本文所述的机器人手术***的其它操作者。如本文所用，术语“手术区”是指手术机器人在其中操作的空间。这样的空间可以包括但不限于手术室、手术机器人存储和/或维护设施或其它这样的空间。如本文所用，术语“姿势”是指部件在空间或工作空间内的位置和方向。
本公开大体上涉及在微创手术过程中提供基于颜色指示缝线张力的方法和***。首先参考图1，根据本公开的机器人手术***总体上被示为机器人手术***1，并且包括手术机器人100、控制器200以及用户界面或控制台300。
手术机器人100通常包括联接到连杆机构112的机器人推车或塔架116。连杆机构112形成机器人臂102并且可以可移动地支撑被配置成作用在患者“P”的组织上的末端执行器或工具108。每个机器人臂102可以具有末端104，所述末端以使得工具108可移除或可互换的方式支撑工具108。此外，机器人臂102的末端104可包括成像装置106以对手术部位“S”成像。此外，机器人臂102的末端104包括一个或多个马达122，其围绕机器人臂102的关节“J”(图2)施加力以移动和/或启动工具108。
控制台300经由控制器200与塔架116通信。控制台300包括显示器306，所述显示器被配置成显示图像，图像可以是二维图像或三维图像，并且可以包括由定位在手术区周围的成像装置106、114捕获的数据，所述成像装置例如定位在手术部位“S”内的成像装置、定位在患者“P”附近的成像装置和/或由机器人臂102的末端104支撑的成像装置114。成像装置(例如成像装置106、114)可捕获手术部位“S”的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其它已知的实时图像。成像装置106、114将捕获的成像数据传输到控制器200，所述控制器从成像数据实时生成手术部位“S”的图像并将图像传输到显示器306用于显示。经考虑，内窥镜可以用作成像装置106。
控制台300包括在工作空间“W”中可移动地支撑输入手柄302的控制臂304。控制臂304允许临床医生操纵手术机器人100，例如移动机器人臂102、机器人臂102的末端104和/或工具108。输入手柄302中的每一个与控制器200通信以向其发送输入信号并从其接收输出或反馈信号。附加地或可替代地，输入手柄302中的每一个允许外科医生操纵(例如夹持、抓握、击发、打开、关闭、旋转、推动、切片等)支撑在机器人臂102的末端104处的工具108。
继续参考图1，输入手柄302中的每一个通过工作空间“W”的运动使机器人臂102和/或工具108的末端104在手术部位“S”内移动。显示器306上的图像被定向为使得当在显示器306上观察时，输入手柄302的移动使机器人臂102的末端104移动。当输入手柄302的移动与机器人臂102的末端104在图像内的移动成比例时，图像可以保持静止。为了保持图像的取向，输入手柄302的运动映射是基于相对于机器人臂102的末端104的取向的相机取向。显示器306上的图像的取向可以相对于患者“P”上方的视图成镜像或旋转。此外，显示器306上的图像的尺寸可以被缩放为大于或小于手术部位“S”的实际结构，从而允许临床医生更好地观察其中的结构。当输入手柄302移动时，工具108在外科部位“S”内移动，如下所述。工具108的移动还可以包括支撑工具108的机器人臂102的末端104的移动。
输入手柄108的移动可相对于工具302的移动进行缩放。当输入手柄302在工作空间“W”内移动时，控制臂304将编码器信号发送到控制器200，所述控制器分析编码器信号并生成控制信号以响应编码器信号移动工具108。响应于输入手柄302的移动，控制器200将控制信号发送到塔架116以移动工具108。在传输控制信号之前，控制器200通过将输入距离(例如，由工作空间“W”内的输入手柄302之一移动的距离)除以缩放因子SF来缩放编码器信号，以得到缩放的输出距离(例如，末端104之一移动的距离)。缩放因子SF可以在大约1到大约10之间的范围内，在实施例中大约为3。此缩放由下式表示：
输出距离＝输入距离/SF
在缩放编码器信号之后，控制器200将与缩放的编码器信号相对应的控制信号发送到塔架116，以相应地移动工具108。可以理解，缩放因子SF越大，工具108相对于输入手柄302的移动的移动越小。
参考图2，手术机器人100包括机器人推车或塔架116，其支撑连杆机构112，连杆机构支撑工具108。连杆机构112包括一个或多个马达122，每个马达与连杆机构112的相应关节“J”相关联，以操纵连杆机构112和/或由连杆机构112支撑的工具108。
在使用中，控制器200(图1)将控制信号发送到手术机器人100。手术机器人100响应于控制信号而启动马达122以将力施加在相应的关节“J”周围或其上。具体地，响应于控制信号，手术机器人100向马达122传递电流，该马达在手术过程中向关节“J”施加力以使连杆机构112和/或工具108移动。另外，传感器120连接到关节“J”并响应于施加到关节“J”的力测量关节“J”周围的扭矩。传感器120将测量的力传输到控制器200(图1)。
参考图3，根据本公开描述了手术机器人100、控制台300和控制器200之间的通信。控制器200与手术机器人100的塔架116通信，以响应于从控制台300接收到的编码器信号提供用于手术机器人100的操作的指令。
控制器200通常包括处理单元206、存储器208、塔架接口204和控制台接口202。处理单元206执行指令或计算机程序，该指令或计算机程序存储在存储器208中，用于使塔架116的组件(例如连杆机构112)根据由控制台300的输入手柄302限定的运动来执行期望的运动。在这方面，处理单元206包括任何合适的逻辑控制电路，所述逻辑控制电路适于根据一组指令执行计算和/或操作。处理单元206可以包括一个或多个处理装置(未显示)，例如微处理器或能够执行存储在存储器208中的指令和/或处理数据的其它物理装置。存储器208可以包括暂时类型存储器(例如，RAM)和/或非暂时类型存储器(例如，闪存介质或磁盘介质)。可经由一个或多个无线配置，例如射频、光学方式、Wi-Fi、
Figure BDA0003294994700000061
(用于短距离交换数据、使用短长度无线电波、来自固定和移动装置、创建个人局域网(PAN)的开放式无线协议)、
Figure BDA0003294994700000062
(基于用于无线个人局域网(WPAN)的IEEE 802.15.4-2003标准的使用小型、低功率数字无线电的一套高级通信协议的规范)等，和/或有线配置，塔架接口204和控制台接口202分别与塔架116和控制台300通信。尽管被描绘为单独的模块，但是控制台接口202和塔架接口204可以是单个组件。
继续参考图2至3，塔架116包括从塔架接口204接收通信和/或数据的通信接口118。通信接口118传输信号，该信号操纵马达122以移动与塔架116相关联的连杆机构112。马达122可以位于机器人臂102和/或连杆机构112中。在实施例中，马达122响应于供应给马达122的电力而机械地操纵机器人臂102、连杆机构112和/或工具108(图1)。机器人臂102、连杆机构112和/或工具108的机械操作可包括响应于来自处理单元206的指令而从马达122施加力以移动机器人臂102和/或联接至机器人臂102的工具108。例如，马达122可以经由线缆(未示出)可操作地联结到关节“J”以操纵机器人臂102。
控制台300包括计算机308，用于从位置传感器或编码器接收编码器信号，将编码器信号发送到控制器200，以及从控制器200接收控制信号，以围绕关节移动构件，例如控制臂304的构件。每个输入手柄302联接到控制臂304。控制臂304包括与计算机308有线或无线通信的第一、第二和第三驱动马达324、326、328。编码器(未示出)分别设置在驱动马达324、326、328中，并被配置成生成编码器信号，所述编码器信号代表与关节(未示出)相关联的控制臂304的构件的姿态。编码器E1、E2、E3将表示控制臂304的构件绕关节(未示出)的姿态的编码器信号传输到计算机308，所述计算机将编码器信号传输到控制器200。响应于编码器信号，控制器200将控制信号传输至塔架116，以如上所述影响机器人臂102和/或工具108的运动。
输入手柄302可以是手柄、踏板或计算机附件(例如键盘、操纵杆、鼠标、按钮、触摸屏、开关、轨迹球等)。显示器306显示从控制器200接收的图像或其它数据，以将数据传达给临床医生。计算机308包括处理单元和存储器(未显示)，所述存储器包括与塔架116的各种部件、算法和/或操作有关的数据、指令和/或信息，并且可以使用任何合适的电子服务、数据库、平台、云等来操作。计算机308可以包括处理单元(未示出)，该处理单元包括适合于根据位于存储器(未示出)中的一组指令来执行计算和/或操作的任何合适的逻辑控制电路，如参照控制器200类似地描述的。
经考虑，可以使用其它手术***和器械，例如腹腔镜手术***。尽管所公开的实施例考虑了控制器200在手术机器人100外部的位置，但是可以考虑，控制器200可以位于控制臂304内，或者可替代地，机器人手术***1的元件可以包括独立于控制器200的执行所描述的编码器测量和计算的电路。
参考图4，根据本公开描述了一种用于缝线张力的视觉指示的方法400。在微创手术期间，当缝线503(图5)在手术期间受力作为将其用于接近组织的过程的一部分时，知道缝线503所受到的力可能是有用的。在框402处，传感器120测量施加到缝线的力，并将测量的力传输到控制器200(图1)。例如，可从器械驱动单元(IDU)中的扭矩传感器120推断的手术器械上的负载或通过在手术器械中直接放置传感器来感测或估计缝线上的力。在实施例中，缝线本身也可以直接使用器械。在另一实施例中，在作为打结的一部分的缝线张紧期间使用工具和缝线的相互几何形状可用于提取关于缝线上的力的信息。缝线在打结过程中张紧。负载的动态结构使得工具在缝线连接到打结点时保持缝线的任一端。这提供了分析模型，通过该分析模型可以详细地计算相互共享的力。
在框403处，成像装置106、114捕获成像数据并将所捕获的成像数据传输到控制器200。在框404处，控制器200确定成像数据是否包括缝线的至少一部分。如果确定成像数据不包含缝线的至少一部分(框404处的“否”)，则控制返回到框403，在框403处，成像装置106、114重新捕获图像并将其重新传输到控制器200。例如，成像装置106、114可位于机器人臂的末端，或位于腹腔镜器械的末端部分。
如果确定成像数据确实包含缝线的至少一部分(框404处的“是”)，则控制传递到框405。在框405处，标识将颜色与相应的力相关联的表。经考虑，该表可以使用梯度、阴影、离散颜色，或可用于示出差异的任何布置。例如，大量的力可与浅色如橙色/黄色相关联，而少量的力可与深色如紫色/蓝色相关联。在各种实施例中，可以使用不需要查找表的公式来将力转换为颜色。由传感器120检测到的施加到缝线的力与颜色相关联。在框405处，控制器200生成图像的增强版本。在框406处，控制器使用所识别的颜色来表示缝线的至少一部分。在框407处，然后图像的增强版本由控制器200传送到显示器306并进行显示。在任选步骤中，在框408处，控制器200确定检测到的力是否在目标范围内。如果确定检测到的力在目标范围内(框408处的“是”)，则控制传递到框405。如果确定检测到的力没有落在目标范围内(框408处的“否”)，则在框409处，控制器200确定该力是否高于目标范围。如果确定力高于目标范围(框409处的“是”)，则在框410处，将覆盖图添加到显示器以指示可能需要减小力。如果确定力低于目标范围(框409处的“否”)，则在框411处，将覆盖图添加到显示器以指示可能需要增加力。例如，该指示对于低于目标范围的力可以是指向上的箭头，或者对于高于目标范围的力是指向下的箭头。这可作为指导，帮助外科医生了解应向缝线施加多少力。在各种实施例中，指示符可以包括变得更大或更小的球体，以指示高于或低于目标范围的力。在各种实施例中，指示符可以包括振荡和改变振荡频率以指示高于或低于目标范围的力的图形。
参考图5，示出了可在框407处(图4)显示的用于基于颜色指示缝线张力的实例屏幕截图。(图1的)控制台300的(图1的)显示器306显示经历手术的患者501的部分的图像，该图像包含缝线503的至少一部分。在实施例中，阴影504至508中的每一个表示与相应力相关联的相应颜色，例如，随着力增加，阴影504至508从绿色到黄色再到红色加深。经考虑，灰度、阴影或其它图案可以与相应的力相关联。
在实施例中，可以使用计算机视觉技术在图像中隔离由缝线503占据的像素，例如识别结构的独特颜色以及考虑连续性关系，例如缝线503是具有已知一致直径的连续结构。可通过将力的适当颜色代入表示缝线的像素的显示中来调整缝线503的显示颜色以反映力。在其它实施例中，可以使用灰度、阴影或图案来代替颜色或作为颜色的补充。
在另一实施例中，增强图像中的缝线503的着色可用作外科医生应在缝线503上施加多少力来实现所需结果的目标指导。例如，当检测到的施加到缝线503的力在目标范围内时，颜色可以显示为蓝色，而当检测到的力过高或过低时，颜色可以显示为其它颜色。如果需要确定力的水平，例如在结收紧期间，可以显示不同类型的可视指示符，例如覆盖在缝线503上的缝线颜色以及箭头509，其指示施加到缝线503的力应当增加、减小还是保持在当前水平。经考虑，这些显示技术可以具有目标带，使得只要缝合力在该带内，箭头和/或颜色就不容易改变。这种目标带可以防止显示器以分散注意力的速率改变。
如上所述，控制台300与手术机器人100可操作地通信以对患者执行外科手术；然而，设想控制台300可以与手术模拟器(未展示)可操作地通信以在模拟环境中虚拟地致动手术机器人和/或工具。例如，机器人手术***1可以具有第一模式和第二模式，在所述第一模式中，控制台300被联接以致动手术机器人100，在所述第二模式中，显示器306被联接到手术模拟器以虚拟地致动机器人手术***。手术模拟器可以是独立单元或被集成到控制器200中。通过控制台300向临床医生提供视觉、听觉、力和/或触觉反馈，手术模拟器虚拟地响应临床医生与控制台300的接口连接。例如，当临床医生与输入手柄302进行接口连接时，手术模拟器移动虚拟地作用于组织的代表性工具。可以设想，手术模拟器可以允许临床医生在对患者执行外科手术之前实践外科手术。另外，手术模拟器可以用于训练临床医生进行外科手术。进一步地，手术模拟器可以在提出的外科手术过程中模拟“并发症”以准许临床医生对外科手术进行规划。
另外，尽管本申请通常将控制臂的构件指为接收和传播输入手柄通过传动部件接收的力，但是所指的控制臂的构件仅是出于说明的目的，并不意在限制本公开。因此，控制臂的构件通常应被理解为控制臂304的部件，其可以接收临床医生在其上施加的力。同样地，所指出的传动组件仅出于示例性目的而标识，并且不旨在限制本公开。因此，传动部件通常应理解为将由输入部件的构件所接收的力传播到第一、第二和/或第三驱动马达324、326、328的部件。
尽管在附图中展示了本公开的若干实施例，但并不旨在将本公开限制于此，而是旨在使本公开的范围与所属领域所允许的一样宽，并且本说明书同样被阅读。以上实施例的任何组合也被设想并且在所附权利要求书的范围内。因此，以上描述不应被解释为限制性的，而仅仅是特定实施例的示范。本领域技术人员将在所附权利要求的范围内设想其它修改。

Claims (20)

1.一种用于缝线张力的视觉指示的方法，其包含：
检测施加到缝线上的力；
获得图像，所述图像包括所述缝线；
基于将多个力转换为多个颜色的算法或在将多个颜色分别与多个力相关联的表中的至少一个，识别与施加到所述缝线上的所述力相关联的颜色；
生成所述图像的增强版本，其中识别的颜色用于表示所述缝线的至少一部分；以及
显示所述图像的所述增强版本。
2.根据权利要求1所述的方法，其中所述显示所述图像的所述增强版本包括显示覆盖在所述缝线顶部上的视觉指示符，所述视觉指示符指示检测到的力应增加、减小还是保持在当前水平。
3.根据权利要求1所述的方法，其中所述显示所述图像的所述增强版本包括用所述图像的所述增强版本替换所述缝线的所述图像。
4.根据权利要求1所述的方法，其中所述显示所述图像的所述增强版本包括基于检测到的力对所述图像的所述增强版本着色。
5.根据权利要求1所述的方法，其中所述颜色指示检测到的力是否在目标范围内。
6.根据权利要求1所述的方法，其中所述显示所述图像的所述增强版本包括显示指示颜色如何对应于力的图例。
7.根据权利要求1所述的方法，其中通过位于手术器械中并被配置成检测力的传感器来执行对施加到所述缝线上的所述力的所述检测。
8.根据权利要求1所述的方法，其中通过位于器械驱动单元中并被配置成检测力的扭矩传感器来执行对施加到所述缝线上的所述力的所述检测。
9.根据权利要求1所述的方法，其中对施加到所述缝线上的所述力的所述检测包括在所述缝线张紧期间基于工具和所述缝线的几何形状检测所述力。
10.一种机器人手术***，其包含：
多个机器人臂，所述机器人臂被配置成放置缝线；
机器人臂，所述机器人臂包括内窥镜，所述内窥镜被配置成观察所述缝线的放置并且将所述缝线的图像传送到显示器；
处理器；以及
存储器，所述存储器耦合到所述处理器，所述存储器存储指令，所述指令在由所述处理器执行时使所述机器人手术***：
检测施加到所述缝线上的力；
在将多个颜色分别与多个力相关联的表中识别与施加到所述缝线上的所述力相关联的颜色；
生成所述图像的增强版本，其中识别的颜色用于表示所述缝线的至少一部分；以及
显示所述图像的所述增强版本。
11.根据权利要求10所述的机器人手术***，其中所述图像的所述增强版本的所述显示包括显示视觉指示符，所述视觉指示符具有重叠在所述缝线顶部上的箭头，所述箭头指示施加到所述缝线上的检测到的力应增加、减小还是保持在当前水平。
12.根据权利要求10所述的机器人手术***，其中所述图像的所述增强版本的所述显示包括用所述图像的所述增强版本替换所述缝线的所述图像。
13.根据权利要求10所述的机器人手术***，其中所述图像的所述增强版本的所述显示包括基于检测到的力对所述图像的所述增强版本着色。
14.根据权利要求10所述的机器人手术***，其中所述颜色指示检测到的力是否在目标范围内。
15.根据权利要求10所述的机器人手术***，其中所述图像的所述增强版本的所述显示包括显示指示颜色如何对应于力的图例。
16.根据权利要求10所述的机器人手术***，其中通过传感器来执行对施加到所述缝线上的所述力的所述检测，所述传感器位于与所述多个机器人臂中的一个相关联的手术器械中并且被配置成检测施加到所述缝线上的力并将检测到的力传送到所述处理器和存储器。
17.根据权利要求10所述的机器人手术***，其中通过扭矩传感器来执行对施加到所述缝线上的所述力的所述检测，所述扭矩传感器位于用于移动所述多个机器人臂中的一个的器械驱动单元中并且被配置成检测施加到所述缝线上的所述力并将检测到的力传送到所述处理器和存储器。
18.一种腹腔镜手术***，其包含：
多个腹腔镜器械，所述腹腔镜器械被配置成放置缝线；
内窥镜，所述内窥镜被配置成观察所述缝线的放置并且将所述缝线的图像传送到显示器；
处理器；以及
存储器，所述存储器耦合到所述处理器，所述存储器存储指令，所述指令在由所述处理器执行时使所述腹腔镜手术***：
检测施加到所述缝线上的力；
在将多个颜色分别与多个力相关联的表中识别与施加到所述缝线上的所述力相关联的颜色；
生成所述图像的增强版本，其中识别的颜色用于表示所述缝线的至少一部分；以及
显示所述图像的所述增强版本。
19.根据权利要求18所述的腹腔镜手术***，其中通过所述多个腹腔镜器械中的一个上的传感器来执行对施加到所述缝线上的所述力的所述检测，所述传感器被配置成检测施加到所述缝线上的所述力并将所述力传送到所述处理器和存储器。
20.根据权利要求18所述的腹腔镜手术***，其中所述颜色指示检测到的力是否在目标范围内。
CN202080027593.4A 2019-04-12 2020-04-07 用于基于颜色指示缝线张力的方法和*** Pending CN113677283A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962833183P 2019-04-12 2019-04-12
US62/833,183 2019-04-12
PCT/US2020/026996 WO2020210190A1 (en) 2019-04-12 2020-04-07 Method and system for color based indication of suture strain

Publications (1)

Publication Number Publication Date
CN113677283A true CN113677283A (zh) 2021-11-19

Family

ID=72750677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027593.4A Pending CN113677283A (zh) 2019-04-12 2020-04-07 用于基于颜色指示缝线张力的方法和***

Country Status (4)

Country Link
US (1) US20220167964A1 (zh)
EP (1) EP3952773A4 (zh)
CN (1) CN113677283A (zh)
WO (1) WO2020210190A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021738A1 (en) * 2005-06-06 2007-01-25 Intuitive Surgical Inc. Laparoscopic ultrasound robotic surgical system
US20100094163A1 (en) * 2007-03-07 2010-04-15 Koninklijke Philips Electronics N.V. Medical apparatus with a sensor for detecting a force
US20110319932A1 (en) * 2008-05-16 2011-12-29 Angiotech Pharmaceuticals, Inc. Bidirectional self-retaining sutures with laser-marked and/or non-laser marked indicia and methods
US20140039527A1 (en) * 2010-06-11 2014-02-06 Rui Avelar Suture delivery tools for endoscopic and robot-assisted surgery and methods
US20180338806A1 (en) * 2017-05-24 2018-11-29 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US20180338803A1 (en) * 2015-11-19 2018-11-29 Covidien Lp Optical force sensor for robotic surgical system
CN109475387A (zh) * 2016-06-03 2019-03-15 柯惠Lp公司 用于控制机器人外科手术装置和观看者自适应立体显示器的方面的***、方法和计算机可读存储媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629978A4 (en) * 2017-05-25 2021-03-03 Covidien LP SYSTEMS AND METHODS FOR DETECTION OF OBJECTS IN THE FIELD OF VISION OF AN IMAGE CAPTURING DEVICE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021738A1 (en) * 2005-06-06 2007-01-25 Intuitive Surgical Inc. Laparoscopic ultrasound robotic surgical system
US20100094163A1 (en) * 2007-03-07 2010-04-15 Koninklijke Philips Electronics N.V. Medical apparatus with a sensor for detecting a force
US20110319932A1 (en) * 2008-05-16 2011-12-29 Angiotech Pharmaceuticals, Inc. Bidirectional self-retaining sutures with laser-marked and/or non-laser marked indicia and methods
US20140039527A1 (en) * 2010-06-11 2014-02-06 Rui Avelar Suture delivery tools for endoscopic and robot-assisted surgery and methods
US20180338803A1 (en) * 2015-11-19 2018-11-29 Covidien Lp Optical force sensor for robotic surgical system
CN109475387A (zh) * 2016-06-03 2019-03-15 柯惠Lp公司 用于控制机器人外科手术装置和观看者自适应立体显示器的方面的***、方法和计算机可读存储媒体
US20180338806A1 (en) * 2017-05-24 2018-11-29 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system

Also Published As

Publication number Publication date
EP3952773A4 (en) 2023-01-11
WO2020210190A1 (en) 2020-10-15
EP3952773A1 (en) 2022-02-16
US20220167964A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
AU2019352792B2 (en) Indicator system
US11490981B2 (en) Robotic surgical controls having feedback capabilities
JP2023544360A (ja) 複数の外科用ディスプレイ上へのインタラクティブ情報オーバーレイ
US20130041368A1 (en) Apparatus and Method for Using a Remote Control System in Surgical Procedures
US20200038125A1 (en) Robotic surgical systems, instruments, and controls
KR20140126473A (ko) 마커 및 이를 이용한 수술 도구 포즈 추정 방법
US20220375620A1 (en) Surgical Simulation System With Coordinated Imagining
JP7144800B2 (ja) 手技圧検知デバイス、手技訓練用人体モデル、手技訓練システム、腹腔鏡下手術支援システム
KR20120098342A (ko) 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
US20240221239A1 (en) Systems and methods for clinical workspace simulation
WO2022249097A2 (en) Adaptive control of operating room systems
US20220273368A1 (en) Auto-configurable simulation system and method
KR101114226B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
CN113677283A (zh) 用于基于颜色指示缝线张力的方法和***
US20220384018A1 (en) Ergonomic monitoring and analysis for an operating room
WO2022249100A1 (en) Efficiency of motion monitoring and analysis for a surgical procedure
KR100956762B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
US20230377726A1 (en) Adapted autonomy functions and system interconnections
WO2022249093A2 (en) Ergonomic monitoring and analysis for an operating room
WO2022243958A1 (en) Surgical simulation system with coordinated imagining
JP2023551531A (ja) 医療処置の生成及び評価のためのシステム及び方法
WO2024150077A1 (en) Surgical robotic system and method for communication between surgeon console and bedside assistant
EP4398809A2 (en) Autonomous intra-instrument surgical system actuation
EP4341956A1 (en) Detecting failure mitigation associated with autonomous surgical task
JP2023172576A (ja) 手術システム、表示方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination