CN110099649B - 具有用于工具致动的虚拟控制面板的机器人外科*** - Google Patents

具有用于工具致动的虚拟控制面板的机器人外科*** Download PDF

Info

Publication number
CN110099649B
CN110099649B CN201780078891.4A CN201780078891A CN110099649B CN 110099649 B CN110099649 B CN 110099649B CN 201780078891 A CN201780078891 A CN 201780078891A CN 110099649 B CN110099649 B CN 110099649B
Authority
CN
China
Prior art keywords
surgical instrument
surgical
control panel
surgical system
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780078891.4A
Other languages
English (en)
Other versions
CN110099649A (zh
Inventor
J·S·斯韦兹
J·杨
A·贝克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ethicon LLC
Original Assignee
Ethicon LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ethicon LLC filed Critical Ethicon LLC
Publication of CN110099649A publication Critical patent/CN110099649A/zh
Application granted granted Critical
Publication of CN110099649B publication Critical patent/CN110099649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgical Instruments (AREA)

Abstract

本发明提供了一种外科***，该外科***包括检测器，该检测器包括像素阵列，像素阵列被配置为能够检测由外科器械反射的光并生成第一信号，该第一信号包括表示外科器械的可见图像的第一数据集。外科***还包括处理器，该处理器被配置为能够接收第一信号，生成外科器械的包括控制面板的经修改图像。该控制面板包括表示外科器械的一个或多个操作参数的一个或多个控制元件。该处理器被进一步配置为从用户接收对控制面板的输入，该输入有效地改变操作参数之一。该处理器还被配置为能够基于输入生成命令信号以改变操作参数之一。

Description

具有用于工具致动的虚拟控制面板的机器人外科***
技术领域
本发明提供了用于微创外科手术的方法和装置，特别是用于提供外科器械的虚拟控制面板。
背景技术
由于术后恢复时间减少且瘢痕形成最小化，因此微创外科手术(MIS)器械通常优于传统的开放式外科器械。腹腔镜式外科手术是一种类型的MIS手术，其中在腹部形成一个或多个小切口，并且通过切口***套管针以形成进入腹腔的通路。套管针用于将各种器械和工具引入腹腔中，而且提供注气使腹壁升高到器官上方。器械和工具可用于以多种方式接合和/或处理组织以达到诊断或治疗效果。内窥镜式外科手术是另一种类型的MIS手术，其中将细长的柔性轴通过自然孔口引入体内。
尽管传统的微创外科器械和技术已证明是高度有效的，但较新的***可提供甚至更多的优点。例如，传统的微创外科器械通常不能为外科医生提供存在于开放式外科手术中的工具布置的灵活性。用器械通过小切口接近外科手术环境时遇到困难。另外，典型的内窥镜式器械的长度的增加通常会降低外科医生感觉由组织和器官施加在端部执行器上的力的能力。此外，如电视监视器上的图像中所观察到的器械的端部执行器的运动与端部执行器的实际运动的协调是特别困难的，因为如图像中所感知的运动通常不与端部执行器的实际运动直觉地对应。因此，通常缺乏对外科器械运动输入的直觉响应。已经发现，内窥镜式工具的直觉性、灵巧性和灵敏度的此类缺乏使得增加微创外科手术的使用受阻。
多年以来，已经开发出多种微创机器人***以增加外科手术的灵巧性，并允许外科医生以直觉方式对患者进行手术。远程手术是使用***进行的外科手术的一般术语，其中外科医生使用一些形式的远程控制(例如，伺服机构等)来操纵外科器械运动，而不是用手直接握持和移动工具。在此类远程外科***中，通常在远离患者的位置处在视觉显示器上为外科医生提供外科手术环境的图像。外科医生通常可在远离患者的位置处执行外科手术，同时在外科手术期间观察视觉显示器上的端部执行器运动。通常在视觉显示器上观察手术环境的三维图像时，外科医生通过操纵远程位置处的主控制装置来对患者执行外科手术，该主控制装置控制远程控制式器械的动作。
虽然在微创外科手术领域已经取得了重大进展，但仍然需要用于提供外科器械的虚拟控制面板的改善的方法、***和装置。
发明内容
本发明提供了用于显示外科手术环境的经修改图像的方法、装置和***，其中经修改图像包括外科器械的至少一部分和与外科器械相关联的控制面板。在经修改图像中显示的控制面板是活动的，因为与外科器械相关联的功能可以通过与在经修改图像中显示的控制面板的各种特定元件相互作用来致动。
外科***包括检测器，该检测器包括像素阵列，该像素阵列被配置为能够检测由外科器械反射的光并生成第一信号，该第一信号包括表示外科器械的可见图像的第一数据集。该外科***还包括处理器，该处理器被配置为能够接收第一信号，生成外科器械的经修改图像，经修改图像包括控制面板，控制面板包括表示外科***和外科器械中至少一者的一个或多个操作参数的一个或多个控制元件。该处理器被进一步配置为从用户接收对控制面板的输入，该输入有效地改变操作参数之一。该处理器还被配置为能够基于对控制面板的输入生成命令信号，以改变操作参数之一。
外科***可以多种方式变化。在一个实施方案中，经修改图像显示在显示装置上。在另一个实施方案中，处理器基于检测器相对于外科器械的位置从第一数据集中识别表示外科器械的数据。
在一个实施方案中，基于外科器械的取向来调整经修改图像中的控制面板的位置和形状中的至少一者。在另一个实施方案中，控制面板相对于外科器械的位置和形状中的至少一者保持固定。
外科***包括用于接收来自用户的输入的输入装置，并且在一个实施方案中，输入装置是用户界面。在一个实施方案中，处理器基于用户的输入生成相对于经修改图像移动的指针。在一个实施方案中，当用户使用用户界面装置致动一个或多个控制元件中的一个时，生成命令信号。
处理器还被配置为能够接收表示与外科器械有关的信息的第二信号。基于第二信号和存储在数据库中的与外科器械相关的数据生成控制面板。
外科器械可以是在外科手术中使用的任何类型的器械。在一个实施方案中，外科器械是包括功能的外科器械，所述功能包括组织切割、组织缝合和向组织输送能量中的至少一种。
在另一方面，机器人外科***包括机器人臂和工具组件，该工具组件可拆卸地联接到机器人臂并且包括从壳体向远侧延伸的轴和联接到轴的远侧端部的端部执行器，该端部执行器被配置为能够治疗组织。机器人外科***还包括相机***，该相机***被配置为能够捕获由端部执行器和轴中的至少一者反射的光，并且生成表示端部执行器和轴中的至少一者的可见图像的信号。机器人外科***还包括处理器，该处理器被配置为能够接收信号并生成端部执行器和轴中的至少一者的经修改图像，该图像包括控制面板。经修改图像中的控制面板包括表示机器人外科***的一个或多个操作参数的一个或多个控制元件。处理器被配置为能够从用户接收对控制面板的输入，该输入有效地改变操作参数之一，并且基于输入生成命令信号以改变操作参数之一。
在一个实施方案中，机器人外科***包括显示装置，其可以是壁装或台式安装的或者在附件(例如，头戴式耳机、眼镜等)上，被配置为能够显示端部执行器和轴的经修改图像。机器人外科***还包括用于接收来自用户的输入的输入装置。在一个实施方案中，输入装置是用户输入装置。在另一个实施方案中，处理器基于用户的输入生成相对于经修改图像移动的指针。
在另一方面，外科方法包括接收表示外科器械的图像的第一信号并生成外科器械的包括控制面板的经修改图像。控制面板包括一个或多个控制元件，其表示外科***和外科器械中的至少一者的一个或多个操作参数。外科方法还包括从用户接收对控制面板的输入，该输入有效地改变操作参数之一。外科方法还包括基于输入生成命令信号以改变操作参数之一。
附图说明
结合附图阅读下述详细说明将更全面地理解本发明，其中：
图1示出了外科机器人***的实施方案的透视图，该外科机器人***包括患者侧部分和用户侧部分；
图2示出了虚拟控制面板生成***的示意图；
图3示出了虚拟控制面板生成***的相机模块中的检测器的示意图；
图4示出了本文描述的***的虚拟控制面板的示例；
图5示出了包括虚拟控制面板的外科器械的经修改图像的示例；
图6示出了定位在具有多个标记的区域中的外科器械；以及
图7是计算机***的示意图，该计算机***被配置为能够生成与本文描述的控制***一起使用的多个命令信号。
具体实施方式
现在将描述某些示例性实施方案，以提供对本文所公开的装置和方法的结构、功能、制造和用途的原理全面理解。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，本文具体描述并在附图中示出的装置和方法是非限制性的示例性实施方案，本公开的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其它实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。
此外，在本公开中，各实施方案中名称相同的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相同的部件的每个特征部。另外，在所公开的***、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类***、装置和方法使用的形状的类型。本领域的技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。***和装置及其部件的大小和形状可至少取决于***和装置将用于其中的受治疗者的解剖结构、***和装置将与其一起使用的部件的大小和形状、以及***和装置将用于其中的方法和手术。
本文公开的***、装置和方法可使用机器人外科***来实现。2014年3月13日提交的名称为“Hyperdexterous Surgical System”的WIPO专利公布WO2014/151621以引用的方式并入本文。
通常，描述了一种外科***，其允许用户(例如，外科医生)控制外科器械的操作。具体地讲，由所描述***控制的外科器械是高级外科手术工具，例如，直线切割器和/或具有包括切割组织、缝合组织和向组织输送能量中的至少一种功能的工具。高级工具的控制可能不容易映射到标准机器人工具(例如，抓紧器、针驱动器等)的控制。因此，需要开发允许用户在外科手术期间无缝地控制高级外科工具的控制***。然而，本文描述的***和方法不限于高级外科工具，并且可以应用于外科手术中使用的几乎任何外科器械，包括机器人工具。
在微创外科手术或外科器械在外科医生的自然视野之外的任何外科手术过程中，外科手术环境的图像以及外科器械的相关部分通常被生成并显示在给外科医生的显示器上，例如在视频监视器上。此类图像通常是实时显示的。在本文描述的***的各方面中，外科器械的图像被修改为包括虚拟控制面板。外科医生(或任何其它用户)可以通过用户界面装置(例如，能够在3D空间中移动的装置)与控制面板交互。控制面板可以固定到显示器中的固定位置，或者可以移动到经修改图像中的各个位置。例如，控制面板的位置可以相对于外科器械的一部分(例如，外科器械的轴)固定，并且当控制面板在经修改图像中移动时，控制面板可以跟随外科器械。控制面板可以改变尺寸、形状、纵横比和透视，以匹配外科器械和/或周围环境的2D或3D取向。此外，控制面板可以显示为二维(如果在2D显示器上观看)或三维(如果通过耳机、护目镜或眼镜立体观看)。控制面板可以被配置为能够消除或最小化外科手术环境视野的任何阻碍。例如，控制面板的部分可以是透明或半透明的，并且透明度可以是可调节的。另选地或除此之外，外科医生可以例如通过将控制面板拖放到所需位置来改变控制面板在经修改图像中的位置。
控制面板可针对外科***和/或器械和/或针对外科***或器械的特定手术或用途而定制。例如，直线切割器的操作参数不同于针驱动器或能量输送工具的操作参数，并且因此，直线切割器的控制面板可以与针驱动器或能量输送工具的控制面板不同。另外，外科器械的相关操作参数可以在任何给定时间基于外科手术的需要而改变。例如，一旦将直线切割器定位在期望的位置并夹紧在目标组织上，相关的操作参数可包括关节运动角度、割刀位置、钳口打开的时间和击发等。在将直线切割器夹紧到组织上之后显示的控制面板的图像将包括对上述操作参数的控制。
图1是可用于远程手术的外科机器人***100的一个实施方案的透视图。***100包括位于患者112附近的患者侧部分110，以及位于距患者一定距离的用户侧部分111，其位于同一房间和/或远程位置。患者侧部分110通常包括一个或多个机器人臂120以及被配置为能够可释放地联接到机器人臂120的一个或多个工具组件130。用户侧部分111通常包括用于观察患者112和/或手术环境的视觉***113，以及用于在外科手术期间控制机器人臂120和每个工具组件130的运动的控制***115。
控制***115可具有多种构型，其可邻近患者定位(例如，在手术室中)、远离患者(例如，在单独的控制室)或者分布在两个或更多个位置。作为专用***的示例，专用***控制台可位于手术室中，并且单独的控制台可位于远程位置。控制***115可包括使用户能够观察患者的正在由患者侧部分110进行手术的手术环境112和/或控制患者侧部分110的一个或多个部件(例如，以在手术环境112执行外科手术)。在一些实施方案中，控制***115还可包括一个或多个手动操作的输入装置，诸如操纵杆、外骨骼式手套、动力和重力补偿式操纵器等。这些输入装置可控制遥控马达，这些遥控马达继而控制外科***包括机器人臂120和工具组件130的移动。
患者侧部分还可具有多种构型。如图1所示，患者侧部分110可联接到手术台114。然而，在其它实施方案中，患者侧部分110可安装到墙壁，安装到天花板，安装到地板或安装到其它手术室设备。另外，虽然患者侧部分110被示为包括两个机器人臂120，但是也可包括更多或更少的机器人臂120。此外，患者侧部分110可包括诸如相对于手术台114安装在各种位置的单独的机器人臂120。另选地，患者侧部分110可包括单个组件，该单个组件包括从其延伸的一个或多个机器人臂120。
图2是外科***200的示例的示意图，该外科***被配置为能够实时生成外科手术环境(例如，外科器械204、目标组织、围绕目标组织的组织等)的经修改图像。外科***200包括外科器械204、控制外科器械204的操作的控制器202、相机模块210，该相机模块被配置为能够捕获外科器械204的可见光图像，以及将与所捕获的图像相关的一个或多个信号传递到处理器216。处理器216还可以与控制器202通信。例如，处理器可以从控制器202接收外科器械204的操作参数，并且向控制器202发送可以改变操作参数的控制信号。处理器216可以与数据库218通信，该数据库可以存储与外科器械204有关的信息(例如，控制面板信息)。处理器216可以生成经修改图像，其包括来自相机210的可见光图像，以及允许用户控制外科器械204的操作参数的虚拟控制面板。经修改图像可以显示在显示器222上，该显示器可以是壁装或台式安装的或在外科医生佩戴的附件上。外科***200还包括可以与处理器216通信的输入装置224。用户(例如，外科医生)可以使用输入装置224与经修改图像交互(例如，改变控制面板中的操作参数)。外科***200中的信号(例如，在相机模块210和处理器216之间，控制器202和处理器216之间，输入装置224和处理器216之间等)可以无线地(蓝牙、WiFi等)或通过数据线缆(例如，光纤、同轴线缆等)通信。
光源(未示出)可以产生可见光，该可见光被外科手术环境反射。反射光可以是可见光(例如，具有约400nm至800nm的波长)或者具有可见光谱之外的波长的光(例如，红外和紫外光)。反射的可见光(例如，具有约400nm至800nm的波长)的一部分由相机模块210捕获。相机模块210包括被配置为能够将可见光聚焦到检测器212上的透镜206。可见光图像的质量可以例如通过将检测器212放置在透镜206的焦平面中来改进。
检测器212能够检测由外科器械反射的光。如图3所示，示例性检测器212包括光敏部位阵列(例如，212a-c等)，其可吸收照射在部位上的电磁辐射，并生成表示撞击的辐射的电信号(例如，电压信号、电流信号等)。例如，电信号的强度可以与撞击的电磁辐射的强度成比例。光敏部位通常具有光谱范围，该光谱范围决定了该部位可以有效检测到的频率范围。例如，硅(Si)光敏部位可以检测可见到近红外辐射(光谱范围400nm-1000nm)，锗(Ge)或铟镓砷(InGaAs)光敏部位可以检测近红外辐射(光谱范围800nm-2600nm)。适合于人们想要检测的电磁辐射的光谱范围的合适类型的光敏部位可以由本领域技术人员选择。
光敏部位可以被配置为能够通过使用光学滤波器来检测位于其光谱范围内的电磁辐射的期望波长(或围绕期望波长的窄波长范围)。放置在指向光敏部位的电磁辐射路径中的光学滤波器滤除除了对应于所需波长的辐射之外的所有辐射。例如，具有绿色滤波器的Si光敏部位(例如，212a)将主要检测绿光(约500nm)。
在一个示例中，检测器(例如，检测器212)通过组合由检测器中的各种光敏部位捕获的对象的不同区域的图像来检测外科手术环境的图像。当由外科器械反射的光撞击在检测器212上时，其中的光敏部位(例如，212a、212b、212c等)检测表示外科器械的区域的图像的反射光的一部分。然后，光敏部位生成表示所捕获的图像的电信号。该电信号由模数转换器(ADC)转换为数字信号。数字信号具有离散值，其表示例如检测到的辐射的强度。如下所述，数字信号还可以包括与检测到的辐射的频率(颜色)有关的信息。来自各个光敏部位的数字信号的值(统称为图像数据集)表示外科器械的图像。存储在图像数据集中的数字信号值与产生数字信号值的光敏部位之间可以存在一对一的关系(例如，数字信号值可以包括识别生成了该数字信号的光敏部位的信息)。因此，通过识别图像数据集中的数字信号值，可以识别生成该数字值的光敏部位(或反之亦然)。然后，处理器从可以在显示装置222(例如，监视器)上显示的图像数据集生成外科手术环境的图像。显示装置中的每个像素可以表示图像数据集中的一个数字信号值。换句话讲，显示装置中的每个像素可以表示由检测器212中的唯一光敏部位检测到的辐射。
可以通过将光学滤波器(或光学滤波器阵列)放置在指向检测器的电磁辐射的路径中来生成外科手术环境的彩色图像。例如，可以在光敏部位阵列之前放置滤色器阵列(例如，拜耳滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器等)。结果，每个光敏部位接收特定波长(或颜色)的电磁辐射。例如，对于拜耳滤波器，每个光敏部位检测红色、蓝色或绿色中的一种。处理器可以使用去马赛克算法来处理使用拜耳滤波器获得的图像数据集以生成“全色”图像(即，具有多种颜色的图像)。
如果光学滤波器放置在第一检测器212之前，则它将检测外科手术环境的光图像。结果，生成光图像数据集(如上所述)并将其发送到处理器216。光图像数据集可以包括与每个光敏部位的检测光的强度和波长(颜色)有关的信息。
控制器202被配置为能够控制外科器械204的操作。例如，如果外科器械204是直线切割器，则控制器可以改变其操作参数(例如，关节运动角度、割刀位置、打开和击发的时间等)。控制器202还可以控制由外科器械204递送到目标组织的能量。例如，控制器202可以驱动外科器械中的超声换能器和/或生成射频能量，外科器械可以通过能量输送端部执行器将其输送到组织。控制器202被配置为能够从处理器216接收控制信号，并且此类控制信号可以改变外科器械204的操作参数。控制器202可以向处理器216发送包括与外科器械204的操作参数和身份相关的信息的信号。当控制器202从处理器216接收请求与外科器械204有关的信息的请求信号时，可以发送信号。控制器202可以包括具有日志文件的存储器装置，该日志文件记录外科器械202的操作参数轨迹。可以将日志文件(或其一部分)发送到处理器216。在一些实施方案中，处理器216和控制器202可以不直接通信。例如，它们的通信可以通过一个或多个装置(例如，处理器、路由器等)进行路由。
处理器216可以例如基于来自控制器202的信号识别外科器械204及其操作参数。处理器216可以访问可以存储在数据库218中或者可以从外科器械本身与处理器通信的与外科器械204相关联的信息。例如，处理器可以在数据库218中搜索与外科器械204相关的虚拟控制面板的模板，或者它可以从外科器械接收此类模板。数据库还可以包含用户根据其特定要求定制的控制面板模板。模板的选择还可以基于外科器械204的操作参数。处理器216可以通过将控制面板232叠加到图像上来修改从相机模块210获得的外科手术环境的光图像。经修改图像可以显示在显示器222上。
如图2所示，经修改图像包括外科手术环境230和控制面板232的图像。如上所述，控制面板可以定位于显示器222上的固定位置(例如，左上、右上、左下、右下等)或控制面板的位置可以改变，例如基于用户命令。此外，用户可以通过输入装置224与控制面板232交互。例如，如果输入装置224是用户界面装置，则处理器216可以在经修改图像中生成可以跟踪用户界面装置的运动的指针。用户可以使用用户界面装置以在控制面板中的各种控制元件上滚动、拖动、致动(例如，点击、双击等)。如果用户在3D环境中操作(即，经由立体摄像***)，则输入装置224可以对用户显示为在装置和/或控制面板周围的3D空间内移动的3D指针。基于该输入，处理器216可以生成控制信号以改变一个或多个操作参数，并且此种控制信号被发送到控制器202。
图4示出了当外科器械204是直线切割器时控制面板232的示例。如图所示，控制面板232包括各种控制元件或按钮(402-414)。用户可以通过分别致动虚拟按钮402、404来打开或关闭直线切割器的钳口。用户可以通过分别致动虚拟按钮410a和410b来向左或向右改变关节运动角度，并且可以致动按钮408以使工具返回其原始位置。控制面板232内的窗口412指示与外科器械相关联的关节活动度。在另一个功能中，用户可以通过致动击发按钮406来控制刀具动作以使刀具击发。虚拟控制面板的一部分还包括刀位置标签414。在一个实施方案中，窗口412、414中的控制元件可以分别用于改变关节运动角度和割刀位置，但应当理解，窗口412、414可以仅被配置为能够显示信息而不是能控制器械。
如上所述，用户可以改变控制面板232的透明度。例如，如果控制面板的透明度降低，则控制面板后面的外科手术环境的可见性降低，且反之亦然。用户可能想要调整控制面板的透明度，例如，当控制面板覆盖在需要监视的外科手术环境的区域(例如，目标组织)上时。另选地，用户可以在经修改图像中(例如，通过使用输入装置224的拖放)来移动控制面板。
如上所述，在外科***200的一些实施方案中，控制面板232可以跟随经修改图像中的外科器械204的运动。处理器216可以被配置为能够从(自相机模块210获得的)外科手术环境的图像识别外科器械204的图像，并且将控制面板232叠加在相对于该图像的外科器械的图像的固定位置处。随着外科器械204移动，控制面板232跟随其运动。图5示出了在目标组织506上执行外科手术的直线切割器502的经修改图像500的示例。控制面板504位于直线切割器的远侧端部附近，使得外科医生最容易看到它。控制面板506可以被配置为能够在直线切割器锁定到该位置之后出现，例如，通过用户释放离合器踏板。在另一个实施方案中，控制面板232可以位于直线切割器的轴上或附近。
处理器可以从由相机模块210生成的反射光图像数据集识别与外科器械204(例如，直线切割器)的图像相关的数据。在一个实施方案中，基于第一检测器212和外科器械204之间的预定的相对位置来识别数据。在该实施方案中，相机模块210附接到外科器械204，使得外科器械相对于相机模块210的相对位置保持固定。例如，这可以通过在外科器械上具有安装特征部来完成，相机模块210可以可拆卸地附接到该安装特征部。相机模块210内的装置(检测器212、透镜206等)可以定位在预定的配置中。另选地，这些装置可以附接到压电致动器上，使它们相对于彼此移动。这可以允许检测器检测外科器械的清晰图像。例如，可能期望将检测器212放置在透镜206的焦平面中。相机模块210及其中的装置的机械运动和热膨胀可将检测器移出透镜的焦平面。可以通过可以由处理器216控制的压电致动器或者通过来自用户的输入将检测器调回焦平面。在将相机模块210和外科器械204***外科手术环境之前，可以将外科器械204和相机模块210(以及相机模块内的装置)调整到期望的预定位置。可以基于检测器212和外科器械204的预定取向来识别捕获外科器械204的图像的检测器212中的光敏部位。可以将与上述光敏部位的位置有关的信息存储在数据库218中。处理器216可以识别反射光图像数据集中的外科器械图像数据。这可以通过例如将由光敏部位捕获的图像数据以预定图案布置在光图像中来完成。例如，由光敏部位212a捕获的图像数据可以放置在可见光数据集中的预定位置处。关于该关系的信息可以存储在数据库218中的索引数据文件中。基于索引数据文件，处理器218可以识别与由光敏部位212a检测到的图像相对应的图像数据(来自反射图像数据集)。另选地，图像数据可包括识别生成它的光敏部位的信息。
在另一实施方案中，基于外科器械204上的一个或多个标记在光图像中识别外科器械，并且使用多个相机610、612、614、616来对外科手术环境成像。如图6所示，外科器械204包括位于其表面上的多个标记602、604、606、608。在一个实施方案中，标记是外科器械204上的区域，其反射给定频率的电磁辐射。例如，标记可以被配置为能够反射特定颜色的光。可以选择标记的颜色，使得颜色不是天然存在于外科手术环境中(例如，绿色、蓝色等)。因此，处理器216识别基于标记颜色检测标记图像的光敏部位。如上所述，对于每个光敏部位，反射光图像数据集可以包括与检测到的光的颜色有关的信息。处理器可以在反射光图像数据集中搜索表示标记颜色的数据。处理器216识别反射光图像中的标记602、604、606、608(以及因此标记的相对位置)，并将该信息与来自存储在数据库218中的外科器械数据库的数据进行比较。数据库包括与各种外科器械的标记颜色和标记位置有关的信息。另外，对于给定的外科器械，数据库可以包括与来自多个视点的外科器械的图像中的标记的相对位置有关的信息。例如，在图6的实施方案中的外科器械204的图像中的标记602、604、606、608的相对位置将取决于捕获该图像的相机(例如，610、612、614、616)的相对位置。
处理器可以使用图像识别算法来识别可见光数据集中表示外科器械的图像的数据。在一个示例中，图像识别算法接收与所捕获的图像中的标记的位置有关的输入信息，以及存储在数据库218中的与各种外科器械有关的信息。处理器通过使用各种图案识别技术将所捕获的图像中的标记的相对位置与数据库218中的装置的标记的取向信息进行比较。基于该比较，处理器可以识别表示可见图像数据集中的外科器械的图像的数据。除此之外或另选地，处理器可以使用图案识别算法和/或装置数据库来与机器人外科***不容易知道或控制的装置(即，手动订书机、牵开器等)一起工作。应当理解，标记可以包括特定的几何形状和/或颜色，或者作为应用于装置的东西(例如，绿点)，或者颜色可以是典型装置固有的(例如，银直钳口和黑化轴)。
在处理器216识别外科器械204的图像之后，它可以向外科***200的用户提供选择控制面板232的位置的选项。用户可以将控制面板232拖动到经修改图像中相对于外科器械的图像的期望取向(例如，在外科器械的近侧或远侧端部、外科器械的轴处等)并锁定控制面板232的位置。随着外科器械204的图像实时移动时，相应地调整控制面板232的取向以保持锁定的相对取向。
可在数字电子电路、集成电路、专门设计的专用集成电路(ASIC)、现场可编程门阵列(FPGA)、计算机硬件、固件、软件和/或其组合中实现本文描述的主题的一个或多个方面或特征。这些不同方面或特征可包括一个或多个计算机程序中的具体实施，该一个或多个计算机程序是在包括至少一个可编程处理器的可编程***上可执行的和/或可解释的，该至少一个可编程处理器可以是特殊的或通用的，耦合以从存储***、至少一个输入装置和至少一个输出装置接收数据和指令并向它们传输数据和指令。可编程***或计算机***可包括客户端和服务器。客户端和服务器一般来讲彼此远程，并且通常通过通信网络进行交互。客户端和服务器的关系是借助于在各自计算机上运行的、彼此具有客户端-服务器关系的计算机程序得到的。
这些计算机程序(也可称为程序、软件、软件应用程序、组件或代码)包括用于可编程处理器的机器指令，并且能够以高级程序语言、面向对象的编程语言、函数编程语言、逻辑编程语言来实现和/或以汇编/机器语言来实现。如本文所用，术语“机器可读介质”是指用来向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(诸如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用来向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质可非暂态地存储此类机器指令，例如非瞬时固态存储器或磁性硬盘驱动器或任何等同的存储介质。另选地或除此之外，机器可读介质可以瞬态方式存储此类机器指令，例如处理器高速缓存或与一个或多个物理处理器核相关联的其它随机存取存储器。
为提供与用户的交互，可在具有用于向用户显示信息的显示装置诸如阴极射线管(CRT)或液晶显示器(LCD)或发光二极管(LED)监视器、以及用户能向计算机提供输入的键盘和指示装置诸如鼠标、跟踪球等的计算机上实现本文所述主题的一个或多个方面或特征。也可使用其它类型的装置来提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可通过任何形式接收来自用户的输入，包括但不限于声音、语音或触觉输入。其它可能的输入装置包括但不限于触摸屏或其它触敏装置，诸如单点或多点电阻性或电容式触控板、语音识别硬件和软件、光学扫描仪、光学指针、数字图像捕获装置和相关联的解释软件等。
图7示出了计算机***700的一个示例性实施方案。如图所示，计算机***700包括一个或多个处理器702，该一个或多个处理器可控制计算机***700的操作。“处理器”在本文中也被称为“控制器”。处理器702可包括任何类型的微处理器或中央处理单元(CPU)，包括可编程通用或专用微处理器和/或各种专有或可商购获得的单处理器***或多处理器***中的任一种。计算机***700还可包括一个或多个存储器704，所述存储器可以为待由处理器702执行的代码提供临时存储，或者为一个或多个用户、存储装置和/或数据库获取的数据提供临时存储。存储器704可包括只读存储器(ROM)、闪存、一种或多种随机存取存储器(RAM)(例如，静态RAM(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM))和/或存储器技术的组合。
计算机***700的各种元件可联接到总线***712。图示的总线***712是抽象的，其表示通过适当的桥接器、适配器和/或控制器连接的任何一个或多个单独的物理总线、通信线路/接口和/或多点或点对点连接。计算机***700还可包括一个或多个网络接口706、一个或多个输入/输出(IO)接口708以及一个或多个存储装置710。
网络接口706可以使计算机***700能够通过网络与远程装置(例如，其它计算机***)通信，并且对于非限制性示例，可以是远程桌面连接接口、以太网适配器和/或其它局域网(LAN)适配器。IO接口708可包括一个或多个接口部件，以将计算机***700与其它电子设备连接。对于非限制性示例，IO接口708可包括高速数据端口，诸如通用串行总线(USB)端口、1394端口、Wi-Fi、蓝牙等。另外，计算机***700可以是人类用户可访问的，因此IO接口708可包括显示器、扬声器、键盘、指向装置和/或各种其它视频、音频或字母数字接口。存储装置710可包括用于以非易失性和/或非瞬态方式存储数据的任何常规介质。因此，存储装置710可将数据和/或指令保持在持久状态，即，尽管中断对计算机***700的供电，仍保留一个或多个值。存储装置710可包括一个或多个硬盘驱动器、闪存驱动器、USB驱动器、光盘驱动器、各种介质卡、磁盘、光盘和/或它们的任何组合，并且可以直接连接到计算机***700或远程连接至其，诸如通过网络连接。在示例性实施方案中，一个或多个存储装置可包括被配置为能够存储数据的有形或非暂态计算机可读介质，例如硬盘驱动器、闪存驱动器、USB驱动器、光盘驱动器、媒体卡、磁盘、光盘等。
图7中所示的元件可以是单个物理机器的一些或所有元件。此外，并非所有例示的元件都需要位于同一物理机器上或同一物理机器中。示例性计算机***包括传统台式计算机、工作站、小型计算机、膝上型计算机、平板计算机、个人数字助理(PDA)、移动电话等。
计算机***700可包括web浏览器，用以检索网页或其它标记语言流，呈现这些页面和/或流(在视觉上、听觉上或其它方面)，在这些页面/流上执行脚本、控件和其它代码，接受关于这些页面/流的用户输入(例如，出于完成输入字段的目的)，发布关于这些页面/流或其它的超文本传输协议(HTTP)请求(例如，用于从完成的输入字段提交服务器信息)等等。网页或其它标记语言可以是超文本标记语言(HTML)或其它传统形式，包括嵌入式可扩展标记语言(XML)、脚本、控件等。计算机***700还可包括用于生成和/或将网页传送到客户端计算机***的web服务器。
在一个示例性实施方案中，计算机***700可以作为单个单元提供，例如作为单个服务器、作为单个塔、包含在单个外壳内等。单个单元可以是模块化的，使得其各个方面可以根据需要换入和换出，例如升级、更换、维护等，而不会中断***的任何其它方面的功能。因此，单个单元也可以是可扩展的，具有作为附加模块添加的能力和/或期望和/或改善现有模块的附加功能。
计算机***还可包括各种其它软件和/或硬件组件中的任何一种，包括(作为非限制性示例)操作***和数据库管理***。尽管本文描绘和描述了示例性计算机***，但应当理解，这是出于普遍性和方便性的原因。在其它实施方案中，计算机***的架构和操作可与这里示出和描述的不同。
优选地，本文所述的本发明的部件将在使用之前处理。首先，获取新的或用过的器械，并根据需要进行清洁。然后可对器械进行灭菌。在一种灭菌技术中，将所述器械放置在密闭且密封的容器(诸如，塑料或TYVEK袋)中。然后将容器和器械放置在可穿透该容器的辐射场诸如γ辐射、x射线或高能电子中。辐射杀死器械上和容器中的细菌。然后可将经灭菌的器械储存在无菌容器中。密封容器使器械保持无菌，直到其在医疗设施中被打开。
通常，对该装置进行灭菌。这可以通过本领域的技术人员已知的任何多种方式来完成，包括β辐射或γ辐射、环氧乙烷、蒸汽以及液浴(例如冷浸)。在2008年2月8日提交的名称为“System And Method Of Sterilizing An Implantable Medical Device”的美国专利8,114,345中更详细地描述了对包括内部电路的装置进行灭菌的示例性实施方案。优选的是，如果植入的话，将装置气密密封。这可通过本领域技术人员已知的任何数量的方式而完成。
根据上述实施方案，本领域的技术人员将会认识到本发明的另外的特征和优点。因此，本发明不应受到已具体示出和描述内容的限制，除非所附权利要求有所指示。本文引用的所有出版物和参考文献全文明确地以引用方式并入本文中。

Claims (14)

1.一种外科***，包括：
检测器，所述检测器包括像素阵列，所述像素阵列被配置为能够检测由外科器械反射的光并生成第一信号，所述第一信号包括表示所述外科器械的图像的第一数据集；和
处理器，所述处理器被配置为能够：
接收所述第一信号，
生成所述外科器械的包括控制面板的经修改图像，其中所述控制面板包括表示所述外科器械的第一组一个或多个操作参数的一个或多个控制元件，
从用户接收对所述控制面板的输入，所述输入有效地改变所述操作参数之一；
基于对所述控制面板的所述输入生成命令信号以改变所述操作参数之一；
接收表示与所述外科器械相关的信息的第二信号；
基于所述第二信号和存储在数据库中的与所述外科器械相关的数据更新所述控制面板；
其中更新的所述控制面板包括表示所述外科器械的第二组一个或多个操作参数的一个或多个控制元件，其中所述第二组一个或多个操作参数不同于所述第一组一个或多个操作参数。
2.根据权利要求1所述的外科***，其中，所述经修改图像显示在显示装置上。
3.根据权利要求1所述的外科***，其中，所述处理器基于所述检测器相对于所述外科器械的位置来识别来自所述第一数据集数据的表示所述外科器械的数据。
4.根据权利要求1所述的外科***，其中，基于所述外科器械的取向来调节所述经修改图像中所述控制面板的位置和形状中的至少一者。
5.根据权利要求1所述的外科***，其中，所述控制面板相对于所述外科器械的位置保持固定。
6.根据权利要求1所述的外科***，还包括用于接收来自所述用户的所述输入的输入装置，其中所述输入装置是用户界面装置。
7.根据权利要求1所述的外科***，其中，所述处理器基于所述用户的所述输入生成相对于所述经修改图像移动的指针。
8.根据权利要求7所述的外科***，其中，当用户使用用户界面装置致动一个或多个控制元件中的一个时，生成所述命令信号。
9.根据权利要求1所述的外科***，其中，所述外科器械为具有包括组织切割、组织缝合和向组织输送能量中的至少一种功能的外科器械。
10.根据前述权利要求任一项所述的外科***，其中所述外科***是机器人外科***，还包括：
机械人臂；
工具组件，所述工具组件可拆卸地联接到所述机器人臂并且包括从壳体向远侧延伸的轴和联接到所述轴的远侧端部的端部执行器，所述端部执行器被配置为能够治疗组织；
相机***，其中所述相机***包括所述检测器，并且被配置为能够捕获由所述端部执行器和所述轴中的至少一者反射的光，并且生成表示所述端部执行器和轴中的至少一者的图像的第一信号；和
所述经修改图像是所述端部执行器和轴中的至少一者的经修改图像。
11.根据权利要求10所述的外科***，包括显示装置，所述显示装置被配置为能够显示所述经修改图像。
12.根据权利要求11所述的外科***，其中，所述显示装置为壁装显示器、台式安装显示器和外科医生佩戴的附件上的显示器中的至少一者。
13.根据权利要求10所述的外科***，还包括用于接收来自所述用户的所述输入的输入装置，其中所述输入装置包括用户界面装置。
14.根据权利要求10所述的外科***，其中，所述处理器被构造成能够基于所述用户的所述输入生成相对于所述经修改图像移动的指针。
CN201780078891.4A 2016-12-19 2017-12-05 具有用于工具致动的虚拟控制面板的机器人外科*** Active CN110099649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/383,026 US10568701B2 (en) 2016-12-19 2016-12-19 Robotic surgical system with virtual control panel for tool actuation
US15/383,026 2016-12-19
PCT/US2017/064586 WO2018118410A1 (en) 2016-12-19 2017-12-05 Robotic surgical system with virtual control panel for tool actuation

Publications (2)

Publication Number Publication Date
CN110099649A CN110099649A (zh) 2019-08-06
CN110099649B true CN110099649B (zh) 2022-07-29

Family

ID=61003364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078891.4A Active CN110099649B (zh) 2016-12-19 2017-12-05 具有用于工具致动的虚拟控制面板的机器人外科***

Country Status (4)

Country Link
US (3) US10568701B2 (zh)
EP (1) EP3554411B1 (zh)
CN (1) CN110099649B (zh)
WO (1) WO2018118410A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568701B2 (en) 2016-12-19 2020-02-25 Ethicon Llc Robotic surgical system with virtual control panel for tool actuation
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10357325B2 (en) * 2017-01-16 2019-07-23 The Aga Khan University Detection of surgical instruments on surgical tray
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
CN109645935A (zh) * 2018-12-14 2019-04-19 张建国 一种内镜辅助用机械手
CN113365569A (zh) * 2019-03-08 2021-09-07 柯惠Lp公司 机器人手术方法
CN110464468B (zh) * 2019-09-10 2020-08-11 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN111513854A (zh) * 2020-05-11 2020-08-11 绍兴梅奥心磁医疗科技有限公司 导管的操控装置及***
JP2022088805A (ja) 2020-12-03 2022-06-15 株式会社メディカロイド ロボット手術システムおよび表示方法
CN113100938B (zh) * 2021-03-26 2022-08-16 复旦大学附属中山医院 外科能量器械及外科手术设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065461A1 (en) * 1999-04-22 2000-11-02 Fraunhofer Center For Research In Computer Graphics, Inc. Tools for interacting with virtual environments
CN103019371A (zh) * 2011-09-20 2013-04-03 三星电子株式会社 触觉反馈设备、触觉反馈***和操作触觉反馈设备的方法
CN103607968A (zh) * 2011-05-31 2014-02-26 直观外科手术操作公司 机器人外科器械末端执行器的主动控制
CN103764061A (zh) * 2011-06-27 2014-04-30 内布拉斯加大学评议会 工具承载的追踪***和计算机辅助外科方法
CN105377175A (zh) * 2013-03-15 2016-03-02 内布拉斯加大学评议会 工具承载的追踪***以及计算机辅助手术方法
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US10008017B2 (en) * 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US8114345B2 (en) 2008-02-08 2012-02-14 Ethicon Endo-Surgery, Inc. System and method of sterilizing an implantable medical device
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US20110306986A1 (en) * 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US10383699B2 (en) 2013-03-15 2019-08-20 Sri International Hyperdexterous surgical system
WO2014176403A1 (en) * 2013-04-25 2014-10-30 Intuitive Surgical Operations, Inc. Surgical equipment control input visualization field
US9283054B2 (en) * 2013-08-23 2016-03-15 Ethicon Endo-Surgery, Llc Interactive displays
US9283048B2 (en) * 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2016149345A1 (en) 2015-03-17 2016-09-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
US10398517B2 (en) * 2016-08-16 2019-09-03 Ethicon Llc Surgical tool positioning based on sensed parameters
CA3035258C (en) * 2016-10-03 2022-03-22 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US10568701B2 (en) 2016-12-19 2020-02-25 Ethicon Llc Robotic surgical system with virtual control panel for tool actuation
EP3360502A3 (en) * 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
CN111655115B (zh) * 2017-09-14 2023-10-13 维卡瑞斯外科手术股份有限公司 虚拟现实外科手术摄像机***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065461A1 (en) * 1999-04-22 2000-11-02 Fraunhofer Center For Research In Computer Graphics, Inc. Tools for interacting with virtual environments
CN103607968A (zh) * 2011-05-31 2014-02-26 直观外科手术操作公司 机器人外科器械末端执行器的主动控制
CN103764061A (zh) * 2011-06-27 2014-04-30 内布拉斯加大学评议会 工具承载的追踪***和计算机辅助外科方法
CN103019371A (zh) * 2011-09-20 2013-04-03 三星电子株式会社 触觉反馈设备、触觉反馈***和操作触觉反馈设备的方法
CN105377175A (zh) * 2013-03-15 2016-03-02 内布拉斯加大学评议会 工具承载的追踪***以及计算机辅助手术方法
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness

Also Published As

Publication number Publication date
EP3554411B1 (en) 2024-03-20
US20180168733A1 (en) 2018-06-21
EP3554411C0 (en) 2024-03-20
WO2018118410A1 (en) 2018-06-28
US10568701B2 (en) 2020-02-25
US20230225607A1 (en) 2023-07-20
EP3554411A1 (en) 2019-10-23
US11547494B2 (en) 2023-01-10
CN110099649A (zh) 2019-08-06
US20200170719A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US11446098B2 (en) Surgical system with augmented reality display
CN110099649B (zh) 具有用于工具致动的虚拟控制面板的机器人外科***
US11197731B2 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
US11484220B2 (en) Surgical equipment control input visualization field
US10251716B2 (en) Robotic surgical system with selective motion control decoupling
US20200360098A1 (en) Surgical system with voice control
US10136949B2 (en) Gathering and analyzing data for robotic surgical systems
JP6709796B2 (ja) 手術室及び手術部位認識
US11213355B2 (en) Hot device indication of video display
CN114401691A (zh) 用于外科机器人的手持式用户界面设备
Seitz Implementation of safe human robot collaboration for ultrasound guided radiation therapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant