CN118102998A - 实时3d机器人状态 - Google Patents

实时3d机器人状态 Download PDF

Info

Publication number
CN118102998A
CN118102998A CN202280065338.8A CN202280065338A CN118102998A CN 118102998 A CN118102998 A CN 118102998A CN 202280065338 A CN202280065338 A CN 202280065338A CN 118102998 A CN118102998 A CN 118102998A
Authority
CN
China
Prior art keywords
robotic
medical system
processors
rendering
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280065338.8A
Other languages
English (en)
Inventor
M·斯塔胡尔斯基
F·Y·施密特
E·M·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN118102998A publication Critical patent/CN118102998A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/98Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • A61B2090/0808Indication means for indicating correct assembly of components, e.g. of the surgical apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • A61B2090/0811Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00Operating tables; Auxiliary appliances therefor
    • A61G13/10Parts, details or accessories
    • A61G13/101Clamping means for connecting accessories to the operating table

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

机器人医疗***可使用实时三维(3‑D)图像来传送信息以辅助医师或医师助理。机器人医疗***可包括一个或多个机器人臂。该机器人医疗***可包括一个或多个机器人显示器。该机器人医疗***可被构造成能够显示包括该一个或多个机器人臂的图形表示的3‑D渲染。该机器人医疗***可被构造成能够根据与规程相对应的预先编程的工作流程来更新该3‑D渲染,以引导用户通过该规程。

Description

实时3D机器人状态
技术领域
本文公开的***和方法涉及机器人医疗***,并且更具体地涉及用于医疗规程的机器人医疗***的通信状态。
背景技术
机器人使能的医疗***能够执行多种医疗规程,包括诸如腹腔镜检查的微创规程和诸如内窥镜检查(例如,支气管镜、输尿管镜检查、胃镜等)的非侵入规程两者。
这类机器人医疗***可包括被构造成能够在给定医疗规程期间控制医疗工具的移动的机器人臂。为了实现医疗工具的期望位姿,机器人臂可以在设置过程期间或者在远程操作期间被放置成特定位姿。一些机器人使能的医疗***可以包括臂支撑件(例如,杆),该臂支撑件连接到机器人臂的相应基部并且支撑机器人臂。
发明内容
机器人医疗***是具有许多移动零件的复杂***,这些移动零件可以经由位于***上的各种数字触点和/或经由联接到***的用户界面来控制。在规程开始之前,可能需要操作者(例如,医师助理、医务人员等)将机器人臂和/或可调式臂支撑件设置成期望的总体构型。这通常涉及单独(例如分别)调节每个臂和/或臂支撑件。在手术(例如远程操作)期间,医师通常位于医师控制台处,并从医师控制台驱动机器人臂(例如,使用位于医师控制台处的触觉输入装置(HID),该HID进而控制机器人臂的移动)。手术后,可能需要医师助理将机器人臂调节到收起位置。对于这些步骤中的每个步骤,重要的是,将机器人医疗***的状态(例如,臂/臂支撑件选择、进度、完成状态、***错误、解决错误的方法等)以用户容易理解的方式传达给用户。在一些情况下,具有能够在视觉上直观地引导用户通过各种工作流程步骤的医疗机器人***也是有利的。
因此,需要改进的机器人医疗***。特别地,需要一种机器人医疗***,该机器人医疗***以清晰、简洁且用户容易理解的方式提供关于机器人医疗***当前状态的即时反馈。机器人医疗***的状态、选择、位置变化和/或故障的实时(例如,立即)反馈可以增加用户的信心和对***的理解,提高远程操作的性能,并增强用户体验。
如本文所公开的,机器人医疗***被构造成能够实时显示表示机器人医疗***状态的渲染(例如,二维(2-D)或三维(3-D)渲染)。渲染(例如,2-D或3-D渲染)可以包括机器人医疗***的一个或多个机器人臂、可调式臂支撑件和/或患者支撑平台中的一者或多者的图形表示。在本文公开的一些实施方案中,机器人医疗***可以根据对应于规程的预先编程的工作流程更新渲染(例如,2-D或3-D渲染),以经由渲染(例如,2-D或3-D渲染)引导用户(例如,医师和/或医师助理)通过规程。在一些实施方案中,预先编程的工作流程可以包括术前阶段、术中阶段和/或术后阶段。这些阶段中的每个阶段都可包括一个或多个相应步骤。渲染(例如,2-D或3-D渲染)可用于传达每个阶段(和/或步骤)的实时机器人状态,特别是机器人***的位置变化。
如本文所公开的,渲染(例如,2-D渲染、3-D渲染、3-D模型等)可用于响应于机器人医疗***的机器人控制和手动控制两者来传达机器人状态。所显示的渲染(例如,3-D渲染)可移动和更新以反映位置变化,从而准确地反映机器人臂、臂支撑件和/或患者支撑平台的实际***状态和位置。在本文公开的一些实施方案中,机器人***的视场(例如,由机器人***的虚拟相机看到的视场)可动态变化以包括(例如,聚焦于)机器人医疗***的特定部分。
因此,本文所公开的***和/或方法有利地改善了设置期间的操作者的安全和/或手术期间患者和/或操作者的安全。还确保向操作者告知关于***实时状态的信息。
本公开的***、方法和装置各自具有若干创新方面,这些创新方面中没有一个独自负责本文所公开的期望属性。
根据本公开的一些实施方案,一种机器人医疗***包括一个或多个机器人臂。该机器人医疗***包括一个或多个显示器。该机器人医疗***还包括一个或多个处理器和存储器。该存储器存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器显示包括该一个或多个机器人臂的图形表示的三维(3-D)渲染并且根据与规程相对应的预先编程的工作流程来更新该3-D渲染,以引导用户通过该规程。
在一些实施方案中,该机器人医疗***还包括患者支撑平台。该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该工作流程执行该一个或多个机器人臂相对于该患者支撑平台的空间配置调节。该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该空间配置调节更新该3-D渲染以反映该一个或多个机器人臂的位置变化。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该工作流程引起该患者支撑平台从第一位置到第二位置的移动,并且更新该3-D渲染以反映该患者支撑平台的该移动。
在一些实施方案中,该机器人医疗***还包括一个或多个可调式臂支撑件,该一个或多个可调式臂支撑件可移动地联接到该一个或多个机器人臂。该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该工作流程引起该一个或多个可调式臂支撑件相对于该一个或多个机器人臂的移动,并且更新该3-D渲染以反映该一个或多个可调式臂支撑件的位置变化。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器接收对该3-D渲染的一部分的用户选择。该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该用户选择,以视觉上不同于该3-D渲染的其他部分的方式显示用户选择的部分。
在一些实施方案中,预先编程的工作流程包括一个或多个阶段,该一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
在一些实施方案中,该术前阶段的步骤包括:将该一个或多个机器人臂从收起位置展开成展开位置。
在一些实施方案中,该术前阶段的步骤包括:将该一个或多个机器人臂移动到悬垂位姿。
在一些实施方案中,该术前阶段的步骤包括:将该一个或多个机器人臂放置成对接状态。
在一些实施方案中,该机器人医疗***还包括可调式臂支撑件,该可调式臂支撑件可移动地联接到该一个或多个机器人臂。该机器人医疗***还包括患者支撑平台。术中规程的步骤包括:调平该可调式臂支撑件和该患者支撑平台。
在一些实施方案中,该预先编程的工作流程的该一个或多个阶段中的每个阶段包括一个或多个相应步骤。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器识别与该一机器人医疗***相对应的该一规程的步骤并且引起该一个或多个机器人臂中的第一机器人臂的一部分根据所识别的步骤的移动。该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:在该移动期间,更新该3-D渲染以利用视觉上与该第一机器人臂的其他部分不同的第一视觉表示来显示该第一机器人臂的该部分并且显示该第一机器人臂的该部分根据该移动的位置变化。
在一些实施方案中,利用该第一视觉表示来显示该第一机器人臂的该部分包括:以第一颜色显示该部分,该第一颜色不同于与该第一机器人臂的该其他部分相对应的颜色。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该移动显示用于可视化正在执行的所识别的步骤的进度的进度条。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据该移动产生音频信号。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器确定该步骤是否已经完成并且根据确定该步骤已经完成,更新该3-D渲染,以利用与该第一视觉表示不同的第二视觉表示来显示该第一机器人臂的该部分。
在一些实施方案中,该第一视觉表示对应于第一颜色,而该第二视觉表示对应于不同于该第一颜色的第二颜色。
在一些实施方案中,该机器人医疗***还包括可调式臂支撑件,该可调式臂支撑件可移动地联接到联接的该一个或多个机器人臂。该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器识别与该机器人医疗***相对应的规程的步骤并且引起该可调式臂支撑件根据所识别的步骤的移动。该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:在该移动期间,更新该3-D渲染以利用视觉上与该一个或多个机器人臂不同的第一视觉表示来显示该可调式臂支撑件,并且显示该可调式臂支撑件根据该移动的位置变化。
在一些实施方案中,利用该第一视觉表示来显示该可调式臂支撑件包括:以第一颜色显示该可调式臂支撑件,该第一颜色不同于与该一个或多个机器人臂相对应的颜色。
在一些实施方案中,该机器人医疗***还包括患者支撑平台。该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器识别与该机器人医疗***相对应的规程的步骤并且引起该患者支撑平台的至少一部分的移动。该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:在该移动期间,更新该3-D渲染以利用视觉上与该一个或多个机器人臂和/或该患者支撑平台的其他部分不同的第一视觉表示来显示该患者支撑平台的该至少一部分,并且显示该患者支撑平台的该至少一部分根据该移动的位置变化。
在一些实施方案中,利用该第一视觉表示来显示该患者支撑平台的该至少一部分包括:以第一颜色显示该患者支撑平台的该至少一部分,该第一颜色不同于与该一个或多个机器人臂相对应的颜色。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据确定该机器人医疗***正在执行该工作流程的特定步骤,调节该机器人医疗***的虚拟相机的视场以包括该一个或多个机器人臂的特定部分。
在一些实施方案中,该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:根据确定该机器人医疗***正在执行该工作流程的特定步骤,生成图形并显示该图形作为该3-D渲染上的覆盖物。
根据本公开的一些实施方案,一种机器人医疗***包括一个或多个机器人臂。该机器人医疗***包括一个或多个显示器。该机器人医疗***还包括一个或多个处理器和存储器。该存储器存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器显示包括该一个或多个机器人臂的三维(3-D)渲染并确定用户的手动动作是否已经完成。该存储器还存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器根据确定该手动动作完成,更新该3-D渲染。
在一些实施方案中,该手动动作对应于医疗规程的工作流程的步骤。
在一些实施方案中,该工作流程包括一个或多个阶段,该一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
在一些实施方案中,该手动动作包括:将该机器人臂中的每个机器人臂与对应于该机器人臂的相应插管对接。
在一些实施方案中,该手动动作包括:将该机器人臂中的至少一个机器人臂与第一医疗工具附接。
在一些实施方案中,该手动动作包括:将该机器人臂中的每个机器人臂与相应医疗工具附接。
在一些实施方案中,该3-D渲染包括一个或多个视觉指标。视觉指标中的每个视觉指标对应于机器人臂中的相应一个机器人臂。该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器:根据确定该手动动作完成,更新这些视觉指标中的每个视觉指标以指示该手动动作的完成。
在一些实施方案中,该手动动作包括:将该机器人臂中的每个机器人臂与相应医疗工具附接。该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器检测医疗工具从这些机器人臂中的第一机器人臂中的移除,并且根据该检测,更新对应于该第一机器人臂的第一视觉指标,以指示该医疗工具已经从该第一机器人臂中移除。
在一些实施方案中,该手动动作包括:将该一个或多个机器人臂中的第一机器人臂的一部分从第一位置手动移动到第二位置。
在一些实施方案中,更新该3-D渲染包括:将该3-D渲染中的该第一机器人臂的位置从该第一位置更新到该第二位置。
在一些实施方案中,更新该3-D渲染包括:利用视觉上与该第一机器人臂的其他部分不同的第一视觉表示来显示该第一机器人臂的该部分。
在一些实施方案中,利用该第一视觉表示来显示该第一机器人臂的该部分包括:以第一颜色显示该部分,该第一颜色不同于与该第一机器人臂的该其他部分相对应的颜色。
在一些实施方案中,该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器检测该第一机器人臂的该部分在执行该手动移动时的位置变化,并且连续更新该3-D渲染以反映该位置变化。
在一些实施方案中,该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器检测该第一机器人臂的该部分在执行该手动移动时的位置变化,并且根据所执行的移动,显示用于可视化该手动动作的进度的进度条。
在一些实施方案中,该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器在执行该手动动作时产生并输出音频信号。
在一些实施方案中,该存储器还存储指令,这些指令在由一个或多个处理器执行时,使一个或多个处理器:根据确定该手动动作未完成,显示错误状态和信息以纠正错误。
在一些实施方案中,该机器人医疗***还包括一个或多个可调式臂支撑件,该一个或多个可调式臂支撑件可移动地联接到该一个或多个机器人臂。该3-D渲染包括该一个或多个可调式臂支撑件的渲染。
在一些实施方案中,该手动动作包括:相对于该一个或多个机器人臂移动该一个或多个可调式臂支撑件。更新该3-D渲染包括:更新这些渲染中的该一个或多个可调式臂支撑件相对于该一个或多个机器人臂的位置。
在一些实施方案中,该机器人医疗***还包括患者支撑平台。该3-D渲染包括该患者支撑平台的渲染。
在一些实施方案中,该手动动作包括:将该患者支撑平台的至少一部分从第一位置移动到第二位置。更新该3-D渲染包括:将该渲染中的该患者支撑平台的该至少一个部分的位置从该第一位置更新到该第二位置。
需注意,上述各种实施方案可与本文所述的任何其他实施方案组合。在说明书中描述的特征和优点不是全部包含的,并且特别地,考虑到附图、说明书和权利要求书,许多另外的特征和优点对于本领域的普通技术人员将是显而易见的。此外,应当注意,说明书中使用的语言主要是为了可读性和指导目的而选择的,并且可能不是为了描绘或限制本发明的主题而选择的。
附图说明
下文将结合附图描述所公开的方面,该附图被提供以说明而非限制所公开的方面,其中类似的标号表示类似的元件。
图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人***的实施方案。
图2描绘了图1的机器人***的另外方面。
图3示出了被布置用于输尿管镜检查的图1的机器人***的实施方案。
图4示出了被布置用于血管规程的图1的机器人***的实施方案。
图5示出了被布置用于支气管镜检查规程的基于台的机器人***的一个实施方案。
图6提供了图5的机器人***的替代性视图。
图7示出了被构造成能够收起机器人臂的示例性***。
图8示出了被构造用于输尿管镜检查规程的基于台的机器人***的实施方案。
图9示出了被构造用于腹腔镜检查规程的基于台的机器人***的实施方案。
图10示出了图5至图9的具有俯仰或倾斜调节的基于台的机器人***的实施方案。
图11提供了图5至图10的台与基于台的机器人***的柱之间的接口的详细图示。
图12示出了基于台的机器人***的另选实施方案。
图13示出了图12的基于台的机器人***的端视图。
图14示出了其上附接有机器人臂的基于台的机器人***的端视图。
图15示出了示例性器械驱动器。
图16示出了带有成对器械驱动器的示例性医疗器械。
图17示出了器械驱动器和器械的另选设计,其中驱动单元的轴线平行于器械的细长轴的轴线。
图18示出了具有基于器械的***架构的器械。
图19示出了示例性控制器。
图20描绘了根据示例性实施方案的框图,该框图示出了估计图1至图10的机器人***的一个或多个元件的位置(诸如图16至图18的器械的位置)的定位***。
图21示出了根据一些实施方案的示例性机器人***。
图22示出了根据一些实施方案的示例性机器人***的另一视图。
图23A至图23C示出了根据一些实施方案的示例性机器人臂的不同视图。
图24A至图24C示出了根据一些实施方案的机器人医疗***在规程的设置阶段期间的三维(3-D)渲染。
图25A至图25B示出了根据一些实施方案的机器人医疗***在规程的术后阶段期间的3-D渲染。
图26A至图26D示出了反映根据一些实施方案的机器人医疗***的由手动交互引起的实时状态的3-D渲染。
图27A和图27B示出了3-D渲染用于传达根据一些实施方案的机器人医疗***的错误状态的用途。
图28A和图28B示出了描绘根据一些实施方案的机器人医疗***在术中阶段期间的实时状态的3-D渲染。
图29A至图29C示出了预先渲染的图像用于传送根据一些实施方案的机器人医疗***的状态的用途。
图30A至图30E示出了根据一些实施方案的由机器人***的一个或多个处理器执行的方法的流程图。
图31A至图31C示出了根据一些实施方案的由机器人***的一个或多个处理器执行的方法的流程图。
图32是示出根据一些实施方案的机器人医疗***的电子部件的示意图。
具体实施方式
1.概述
本公开的各个方面可集成到机器人使能的医疗***中,该机器人使能的医疗***能够执行多种医疗规程,包括微创规程诸如腹腔镜检查,以及非侵入规程诸如内窥镜检查两者。在内窥镜检查规程中,***可能能够执行支气管镜检查、输尿管镜检查、胃镜检查等。
除了执行广泛的规程之外,***可以提供附加的益处,诸如增强的成像和指导以帮助医师。另外,该***可以为医师提供从人体工程学位置执行规程的能力,而不需要笨拙的臂运动和位置。另外,该***可以为医师提供以改进的易用性执行规程的能力,使得***的器械中的一个或多个可由单个用户控制。
出于说明的目的,下文将结合附图描述各种实施方案。应当理解,所公开的概念的许多其他实施方案是可能的,并且利用所公开的实施方案可实现各种优点。标题包括在本文中以供参考并且有助于定位各个节段。这些标题并非旨在限制相对于其所述的概念的范围。这种概念可在整个说明书中具有适用性。
A.机器人***-推车
机器人使能的医疗***可按多种方式构造,这取决于特定规程。图1示出了被布置用于诊断和/或治疗支气管镜检查规程的基于推车的机器人使能的***10的实施方案。在支气管镜检查期间,***10可包括推车11,该推车具有一个或多个机器人臂12,以将医疗器械诸如可操纵内窥镜13(其可以是用于支气管镜检查的规程专用支气管镜)递送至自然孔口进入点(即,在本示例中定位在台上的患者的口),以递送诊断和/或治疗工具。如图所示,推车11可被定位在患者的上躯干附近,以便提供到进入点的通路。类似地,可致动机器人臂12以相对于进入点来定位支气管镜。当利用胃镜(用于胃肠道(GI)规程的专用内窥镜)执行GI规程时,也可利用图1中的布置。图2更详细地描绘了推车的示例性实施方案。
继续参考图1,一旦推车11被正确定位,机器人臂12就可以机器人方式、手动地或以它们的组合将可操纵内窥镜13***到患者中。如图所示,可操纵内窥镜13可包括至少两个伸缩部分,诸如内引导件部分和外护套部分,每个部分联接到来自一组器械驱动器28的单独的器械驱动器,每个器械驱动器联接到单独的机器人臂的远侧端部。促进将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29,该“虚拟轨道”可通过将一个或多个机器人臂12操纵到不同角度和/或位置而在空间中被重新定位。本文描述的虚拟轨道在附图中使用虚线描绘,并且因此虚线未描绘***的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩,或者使内窥镜13从患者推进或回缩。虚拟轨道29的角度可基于临床应用或医师偏好来调节、平移和枢转。例如,在支气管镜检查中,如图所示的虚拟轨道29的角度和位置代表了在向医师提供到内窥镜13的通路同时使由内窥镜13弯曲到患者的口腔中引起的摩擦最小化之间的折衷。
在***之后,内窥镜13可以使用来自机器人***的精确命令向下导向患者的气管和肺,直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标,可操纵内窥镜13以从外护套部分伸缩地延伸内引导件部分,以获得增强的关节运动和更大的弯曲半径。使用单独的器械驱动器28也允许引导件部分和护套部分彼此独立地被驱动。
例如,可引导内窥镜13以将活检针递送到目标,诸如例如患者肺内的病变或结节。针可沿工作通道向下展开,该工作通道延伸内窥镜的长度以获得待由病理学家分析的组织样品。根据病理结果,可沿内窥镜的工作通道向下展开附加工具以用于附加活检。在识别出结节是恶性的之后,内窥镜13可通过内窥镜递送工具以切除潜在的癌组织。在一些情况下,诊断和治疗处理可在单独的规程中递送。在这些情况下,内窥镜13也可用于递送基准以“标记”目标结节的位置。在其他情况下,诊断和治疗处理可在相同的规程期间递送。
***10也可包括可动塔30,该可动塔可经由支撑缆线连接到推车11以向推车11提供控制、电子、流体、光学、传感器和/或电力的支持。将这种功能放置在塔30中允许可由操作医师和他/她的工作人员更容易地调节和/或重新定位的更小形状因子的推车11。另外,在推车/台与支撑塔30之间划分功能减少了手术室混乱并且有利于改善临床工作流程。虽然推车11可被定位成靠近患者,但是塔30可以在远程位置中被收起以在规程期间不挡道。
为了支持上述机器人***,塔30可包括基于计算机的控制***的部件,该基于计算机的控制***将计算机程序指令存储在例如非暂态计算机可读存储介质诸如永磁存储驱动器、固态驱动器等内。无论执行是发生在塔30中还是发生在推车11中,这些指令的执行都可控制整个***或其子***。例如,当由计算机***的处理器执行时,指令可致使机器人***的部件致动相关托架和臂安装件,致动机器人臂,并且控制医疗器械。例如,响应于接收到控制信号,机器人臂的接头中的马达可将臂定位成特定姿势。
塔30还可包括泵、流量计、阀控制器和/或流体通路,以便向可通过内窥镜13展开的***提供受控的冲洗和抽吸能力。这些部件也可使用塔30的计算机***来控制。在一些实施方案中,冲洗和抽吸能力可通过单独的缆线直接递送到内窥镜13。
塔30可包括电压和浪涌保护器,该电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力,从而避免在推车11中放置电力变压器和其他辅助电力部件,从而得到更小、更可移动的推车11。
塔30还可包括用于在整个机器人***10中展开的传感器的支撑装备。例如,塔30可包括用于在整个机器人***10中检测、接收和处理从光学传感器或相机接收的数据的光电装备。结合控制***,这种光电装备可用于生成实时图像,以用于在整个***中展开的任何数量的控制台中显示(包括在塔30中显示)。类似地,塔30还可包括用于接收和处理从展开的电磁(EM)传感器接收的信号的电子子***。塔30也可用于容纳和定位EM场发生器,以供医疗器械之中或之上的EM传感器进行检测。
除了***的其余部分中可用的其他控制台(例如,安装在推车顶部上的控制台)之外,塔30还可包括控制台31。控制台31可包括用于医师操作者的用户界面和显示屏,诸如触摸屏。***10中的控制台通常被设计成提供机器人控制以及规程的术前信息和实时信息两者,诸如内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时,其可由第二操作者(诸如护士)使用以监测患者的健康或生命体征和***的操作,以及提供规程专用数据,诸如导航和定位信息。在其他实施方案中,控制台30被容纳在与塔30分开的主体中。
塔30可通过一个或多个缆线或连接件(未示出)联接到推车11和内窥镜13。在一些实施方案中,可通过单根缆线向推车11提供来自塔30的支撑功能,从而简化手术室并消除手术室的混乱。在其他实施方案中,特定功能可联接在单独的布线和连接中。例如,尽管可以通过单根缆线向推车提供电力,但也可以通过单独的缆线提供对控制、光学、流体和/或导航的支持。
图2提供了来自图1所示的基于推车的机器人使能的***的推车的实施方案的详细图示。推车11通常包括细长支撑结构14(通常称为“柱”)、推车基部15以及在柱14的顶部处的控制台16。柱14可包括一个或多个托架,诸如用于支持一个或多个机器人臂12(图2中示出三个)的展开的托架17(另选地为“臂支撑件”)。托架17可包括可单独构造的臂安装件,该臂安装件沿垂直轴线旋转以调节机器人臂12的基部,以相对于患者更好地定位。托架17也包括托架接口19,该托架接口允许托架17沿着柱14竖直地平移。
托架接口19通过狭槽诸如狭槽20连接到柱14,这些狭槽被定位在柱14的相对侧上以引导托架17的竖直平移。狭槽20包含竖直平移接口以将托架相对于推车基部15定位并保持在各种竖直高度处。托架17的竖直平移允许推车11调节机器人臂12的到达范围以满足多种台高度、患者尺寸和医师偏好。类似地,托架17上的可单独构造的臂安装件允许机器人臂12的机器人臂基部21以多种构型成角度。
在一些实施方案中,狭槽20可补充有狭槽盖,该狭槽盖与狭槽表面齐平且平行,以防止灰尘和流体在托架17竖直平移时进入柱14的内部腔以及竖直平移接口。狭槽盖可通过定位在狭槽20的竖直顶部和底部附近的成对弹簧卷轴展开。盖在展开之前盘绕在卷轴内,随着托架17竖直地上下平移,从盖的盘绕状态开始延伸和回缩。当托架17朝向卷轴平移时,卷轴的弹簧负载提供了将盖回缩到卷轴中的力,同时在托架17平移远离卷轴时也保持紧密密封。可使用例如托架接口19中的支架将盖连接到托架17,以确保在托架17平移时盖的适当延伸和回缩。
柱14可在内部包括机构诸如齿轮和马达,这些机构被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如,来自控制台16的输入)生成的控制信号来以机械化方式平移托架17。
机器人臂12通常可包括由一系列连杆23分开的机器人臂基部21和端部执行器22,该一系列连杆由一系列接头24连接,每个接头包括独立的致动器,每个致动器包括可独立控制的马达。每个可独立控制的接头表示机器人臂可用的独立自由度。臂12中的每个臂具有七个接头,并且因此提供七个自由度。多个接头导致多个自由度,从而允许“冗余”的自由度。冗余的自由度允许机器人臂12使用不同的连杆位置和接头角度将其相应的端部执行器22定位在空间中的特定位置、取向和轨迹处。这允许***从空间中的期望点定位和导向医疗器械,同时允许医师使臂关节运动到远离患者的临床有利方位,以产生更大的接近,同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此,推车基部15容纳较重的部件,诸如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如,推车基部15包括允许推车在规程之前容易地围绕房间运动的可滚动的轮形脚轮25。在到达适当位置之后,脚轮25可以使用轮锁固定,以在规程期间将推车11保持在适当位置。
定位在柱14的竖直端部处的控制台16允许用于接收用户输入的用户界面和显示屏(或两用装置,诸如例如触摸屏26)两者向医师用户提供术前和术中数据两者。触摸屏26上的潜在术前数据可包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计,诸如呼吸、心率和/或脉搏。控制台16可被定位和倾斜成允许医师从柱14的与托架17相对的侧面接近控制台。从该位置,医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如图所示,控制台16也包括用于辅助操纵和稳定推车11的柄部27。
图3示出了被布置用于输尿管镜检查的机器人使能的***10的实施方案。在输尿管镜规程中,推车11可被定位成将输尿管镜32(被设计成横穿患者的尿道和输尿管的规程专用内窥镜)递送到患者的下腹部区域。在输尿管镜检查中,可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如图所示,推车11可在台的脚部处对准,以允许机器人臂12定位输尿管镜32,以用于直接线性进入患者的尿道。机器人臂12可从台的脚部沿着虚拟轨道33将输尿管镜32通过尿道直接***患者的下腹部中。
在***尿道中之后,使用与支气管镜检查中类似的控制技术,输尿管镜32可被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如,可以将输尿管镜32引导到输尿管和肾中以使用沿输尿管镜32的工作通道向下展开的激光或超声碎石装置来打碎积聚的肾结石。在碎石完成之后,可以使用沿输尿管镜32向下展开的篮移除所得的结石碎片。
图4示出了类似地布置用于血管规程的机器人使能的***的实施方案。在血管规程中,***10可被构造成使得推车11可将医疗器械34(诸如可操纵导管)递送到患者的腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者的心脏的相对较少的迂回且曲折的路径两者,这简化了导航。如在输尿管镜规程中,推车11可被定位成朝向患者的腿部和下腹部,以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在***到动脉中之后,可通过平移器械驱动器28来导向和***医疗器械34。另选地,推车可以被定位在患者的上腹部周围,以到达另选的血管进入点,诸如肩部和腕部附近的颈动脉和臂动脉。
B.机器人***-台
机器人使能的医疗***的实施方案还可结合患者的台。结合台通过移除推车减少了手术室内的资本装备的量,这允许更多地接近患者。图5示出了被布置用于支气管镜检查规程的这样的机器人使能的***的实施方案。***36包括用于将平台38(示出为“台”或“床”)支撑在地板上的支撑结构或柱37。与基于推车的***非常相似,***36的机器人臂39的端部执行器包括器械驱动器42,其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械,诸如图5中的支气管镜40。在实践中,用于提供荧光镜成像的C形臂可以通过将发射器和检测器放置在台38周围而定位在患者的上腹部区域上方。
图6提供了用于讨论目的的没有患者和医疗器械的***36的替代性视图。如图所示,柱37可包括在***36中示出为环形的一个或多个托架43,一个或多个机器人臂39可基于该托架。托架43可以沿着沿柱37的长度伸展的竖直柱接口44平移,以提供不同的有利点,机器人臂39可以从这些有利点被定位以到达患者。托架43可使用被定位在柱37内的机械马达围绕柱37旋转,以允许机器人臂39进入台38的多个侧面,诸如患者的两侧。在具有多个托架的实施方案中,托架可单独地定位在柱上,并且可独立于其他托架平移和/或旋转。虽然托架43不需要环绕柱37或甚至是圆形的,但如图所示的环形形状有利于托架43围绕柱37旋转,同时维持结构平衡。托架43的旋转和平移允许***将医疗器械诸如内窥镜和腹腔镜对准到患者身上的不同进入点中。在其他实施方案(未示出)中,***36可包括具有可调式臂支撑件的病人检查台或病床,该可调式臂支撑件呈在病人检查台或病床旁边延伸的杆或轨道的形式。一个或多个机器人臂39(例如,经由具有肘关节的肩部)可附接到可调式臂支撑件,该可调式臂支撑件可被竖直调节。通过提供竖直调节,机器人臂39有利地能够紧凑地收到病人检查台或病床下方,并且随后在规程期间升高。
臂39可通过包括一系列接头的一组臂安装件45安装在托架上,该接头可单独地旋转和/或伸缩地延伸以向机器人臂39提供附加的可构造性。另外,臂安装件45可定位在托架43上,使得当托架43适当地旋转时,臂安装件45可定位在台38的同一侧上(如图6所示)、台38的相对侧上(如图9所示)或台38的相邻侧上(未示出)。
柱37在结构上为台38提供支撑,并且为托架的竖直平移提供路径。在内部,柱37可配备有用于引导托架的竖直平移的导螺杆、以及将该托架基于导螺杆的平移机械化的马达。柱37也可将功率和控制信号传送到托架43和安装在其上的机器人臂39。
台基部46具有与图2所示的推车11中的推车基部15类似的功能,容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46也可结合刚性脚轮以在规程期间提供稳定性。在基部46的两侧上,从台基部46的底部开始展开的脚轮可以在相反方向延伸,并且在***36需要移动时回缩。
继续图6,***36还可以包括塔(未示出),该塔使***36的功能在台与塔之间进行划分以减小台的形状因子和体积。如在先前所公开的实施方案中,塔可以向台提供各种支持功能,诸如处理、计算和控制能力、电力、流体和/或光学以及传感器处理。塔还可以是可运动的,以远离患者定位,从而改善医师的接近并且消除手术室的混乱。另外,将部件放置在塔中允许在台基部中有更多的储存空间,以用于机器人臂的潜在收起。塔还可包括主控制器或控制台,该主控制器或控制台提供用于用户输入的用户界面诸如键盘和/或悬架,以及用于术前和术中信息诸如实时成像、导航和跟踪信息的显示屏(或触摸屏)。在一些实施方案中,塔还可包括用于待用于注气的气罐的夹持器。
在一些实施方案中,台基部可以在不使用时收起和储存机器人臂。图7示出了在基于台的***的实施方案中收起机器人臂的***47。在***47中,托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48在基部49内收起。基部盖52可以平移和回缩打开以围绕柱53展开托架48、臂安装件51和臂50,并且关闭以收起该托架、该臂安装件和该臂,以便在不使用时保护它们。基部盖52可利用膜54沿着其开口的边缘密封,以防止在闭合时灰尘和流体进入。
图8示出了被构造用于输尿管镜检查规程的机器人使能的基于台的***的实施方案。在输尿管镜检查中,台38可以包括用于将患者定位成与柱37和台基部46成偏角的旋转部分55。旋转部分55可围绕枢转点(例如,位于患者的头部下方)旋转或枢转,以便将旋转部分55的底部部分定位成远离柱37。例如,旋转部分55的枢转允许C形臂(未示出)定位在患者的下腹部上方,而不与台38下方的柱(未示出)竞争空间。通过围绕柱37旋转托架35(未示出),机器人臂39可以沿着虚拟轨道57将输尿管镜56直接***患者的腹股沟区域中以到达尿道。在输尿管镜检查中,镫58也可以固定至台38的旋转部分55,以在规程期间支撑患者的腿部的位置,并且允许完全通向患者的腹股沟区域。
在腹腔镜检查规程中,通过患者的腹壁中的一个或多个小切口,可将微创器械***患者的解剖结构中。在一些实施方案中,微创器械包括用于进入患者内的解剖结构的细长刚性构件,诸如轴。在患者腹腔充气之后,可以引导器械执行外科手术或医疗任务,诸如抓握、切割、消融、缝合等。在一些实施方案中,器械可以包括镜,诸如腹腔镜。图9示出了被构造用于腹腔镜检查规程的机器人使能的基于台的***的实施方案。如图9所示,***36的托架43可被旋转并且竖直调节,以将成对的机器人臂39定位在台38的相对侧上,使得可使用臂安装件45将器械59定位成穿过患者两侧上的最小切口以到达他/她的腹腔。
为了适应腹腔镜规程,机器人使能的台***还可将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调节的机器人使能的医疗***的实施方案。如图10所示,***36可以适应台38的倾斜,以将台的一部分定位在比另一部分距底板更远的距离处。另外,臂安装件45可旋转以匹配倾斜,使得臂39与台38维持相同的平面关系。为了适应更陡的角度,柱37还可以包括伸缩部分60,该伸缩部分允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。
图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可被构造成能够以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱台接口处来实现,每条轴线由单独的马达3、4响应于电俯仰角命令而致动。沿着一个螺钉5的旋转将使得能够在一条轴线1中进行倾斜调节,而沿着另一个螺钉6的旋转将使得能够沿着另一个轴线2进行倾斜调节。在一些实施方案中,可使用球形接头来在多个自由度上改变台38相对于柱37的俯仰角。
例如,当试图将台定位在特伦德伦伯格卧位(即,将患者的下腹部定位在比患者的下腹部距地板更高的位置)以用于下腹部手术时,俯仰调节特别有用。特伦德伦伯格卧位致使患者的内部器官通过重力滑向他/她的上腹部,从而清理出腹腔以使微创工具进入并且执行下腹部外科手术或医疗规程,诸如腹腔镜***切除术。
图12和图13示出了基于台的外科手术机器人***100的另选实施方案的等轴视图和端视图。外科手术机器人***100包括可被构造成能够相对于台101支撑一个或多个机器人臂(参见例如图14)的一个或多个可调式臂支撑件105。在所示实施方案中,示出了单个可调式臂支撑件105,但附加的臂支撑件可设置在台101的相对侧上。可调式臂支撑件105可被构造成以使其可相对于台101移动,以调节和/或改变可调式臂支撑件105和/或安装到该可调式臂支撑件的任何机器人臂相对于台101的位置。例如,可调式臂支撑件105可相对于台101被调节一个或多个自由度。可调式臂支撑件105为***100提供高灵活性,包括容易地将一个或多个可调式臂支撑件105和附接到该一个或多个可调式臂支撑件的任何机器人臂收到台101下方的能力。可调式臂支撑件105可从收起位置升高到台101的上表面下方的位置。在其他实施方案中,可调式臂支撑件105可从收起位置升高到台101的上表面上方的位置。
可调式臂支撑件105可提供若干自由度,包括提升、侧向平移、倾斜等。在图12和图13的所示的实施方案中,臂支撑件105被构造成具有四个自由度,这些自由度在图12中用箭头示出。第一自由度允许在z方向(“Z提升”)上调节可调式臂支撑件105。例如,可调式臂支撑件105可包括托架109,该托架被构造成能够沿着或相对于支撑台101的柱102上移或下移。第二自由度可允许可调式臂支撑件105倾斜。例如,可调式臂支撑件105可包括旋转接头,该旋转接头可允许可调式臂支撑件105在特伦德伦伯格卧位与床对准。第三自由度可允许可调式臂支撑件105“向上枢转”,这可用于调节台101的一侧与可调式臂支撑件105之间的距离。第四自由度可允许可调式臂支撑件105沿着台的纵向长度平移。
图12和图13中的外科手术机器人***100可包括由安装到基部103的柱102支撑的台。基部103和柱102相对于支撑表面支撑台101。地板轴线131和支撑轴线133在图13中示出。
可调式臂支撑件105可安装到柱102。在其他实施方案中,臂支撑件105可安装到台101或基部103。可调式臂支撑件105可包括托架109、杆或轨道连接件111以及杆或轨道107。在一些实施方案中,安装到轨道107的一个或多个机器人臂可相对于彼此平移和移动。
托架109可通过第一接头113附接到柱102,该第一接头允许托架109相对于柱102移动(例如,诸如沿第一轴线或竖直轴线123上下移动)。第一接头113可向可调式臂支撑件105提供第一自由度(“Z提升”)。可调式臂支撑件105可包括第二接头115,该第二接头为可调式臂支撑件105提供第二自由度(倾斜)。可调式臂支撑件105可包括第三接头117,该第三接头可为可调式臂支撑件105提供第三自由度(“向上枢转”)。可提供附加接头119(在图13中示出),该附加接头机械地约束第三接头117以在轨道连接件111围绕第三轴线127旋转时保持轨道107的取向。可调式臂支撑件105可包括第四接头121,该第四接头可沿着第四轴线129为可调式臂支撑件105提供第四自由度(平移)。
图14示出了具有安装在台101的相对侧上的两个可调式臂支撑件105A、105B的外科手术机器人***140A的端视图。第一机器人臂142A附接到第一可调式臂支撑件105B的杆或轨道107A。第一机器人臂142A包括附接到轨道107A的基部144A。第一机器人臂142A的远侧端部包括可附接到一个或多个机器人医疗器械或工具的器械驱动机构146A。类似地,第二机器人臂142B包括附接到轨道107B的基部144B。第二机器人臂142B的远侧端部包括器械驱动机构146B。器械驱动机构146B可被构造成能够附接到一个或多个机器人医疗器械或工具。
在一些实施方案中,机器人臂142A、142B中的一者或多者包括具有七个或更多个自由度的臂。在一些实施方案中,机器人臂142A、142B中的一者或多者可包括八个自由度,包括***轴线(包括***的1个自由度)、腕部(包括腕部俯仰、偏航和滚动的3个自由度)、肘部(包括肘部俯仰的1个自由度)、肩部(包括肩部俯仰和偏航的2个自由度)以及基部144A、144B(包括平移的1个自由度)。在一些实施方案中,***自由度可由机器人臂142A、142B提供,而在其他实施方案中,器械本身经由基于器械的***架构提供***。
C.器械驱动器和接口
***的机器人臂的端部执行器包括(i)器械驱动器(另选地称为“器械驱动机构”或“器械装置操纵器”),该器械驱动器结合用于致动医疗器械的机电装置;和(ii)可移除或可拆卸的医疗器械,该医疗器械可不含任何机电部件,诸如马达。该二分法可能是由以下所驱动的:对医疗规程中使用的医疗器械进行灭菌的需要;以及由于昂贵的资本装备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分灭菌。因此,医疗器械可以被设计成从器械驱动器(以及因此从***)拆卸、移除和互换,以便由医师或医师的工作人员单独灭菌或处置。相比之下,器械驱动器不需要被改变或灭菌,并且可以被覆盖以便保护。
图15示出了示例器械驱动器。定位在机器人臂的远侧端部处的器械驱动器62包括一个或多个驱动单元63,其以平行轴线布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64,用于将马达轴旋转转换成期望扭矩的齿轮头65,用于生成驱动扭矩的马达66,用以测量马达轴的速度并且向控制电路提供反馈的编码器67,以及用于接收控制信号并且致动驱动单元的控制电路***68。每个驱动单元63被独立地控制和机动化,器械驱动器62可向医疗器械提供多个(如图15所示为四个)独立的驱动输出。在操作中,控制电路***68将接收控制信号,将马达信号传输至马达66,将由编码器67测量的所得马达速度与期望速度进行比较,并且调制马达信号以生成期望扭矩。
对于需要无菌环境的规程,机器人***可以结合驱动接口,诸如连接至无菌覆盖件的无菌适配器,其位于器械驱动器与医疗器械之间。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入部,同时保持驱动轴与驱动输入部之间的物理分离并且因此保持无菌。因此,示例性无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入部配合的一系列旋转输入部和旋转输出部。连接到无菌适配器的由薄的柔性材料(诸如透明或半透明塑料)组成的无菌覆盖件被设计成覆盖资本装备,诸如器械驱动器、机器人臂和推车(在基于推车的***中)或台(在基于台的***中)。覆盖件的使用将允许资本装备被定位在患者附近,同时仍然位于不需要灭菌的区域(即,非无菌区)。在无菌覆盖件的另一侧上,医疗器械可以在需要灭菌的区域(即,无菌区)与患者对接。
D.医疗器械
图16示出了具有成对器械驱动器的示例性医疗器械。与被设计成与机器人***一起使用的其他器械类似,医疗器械70包括细长轴71(或细长主体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械柄部”的器械基部72通常可以包括可旋转驱动输入部73(例如,插座、滑轮或卷轴),该驱动输入部被设计成与延伸通过机器人臂76的远侧端部处的器械驱动器75上的驱动接口的驱动输出部74配合。当物理连接、闩锁和/或联接时,器械基部72的配合的驱动输入部73可以与器械驱动器75中的驱动输出部74共享旋转轴线,以允许扭矩从驱动输出部74传递到驱动输入部73。在一些实施方案中,驱动输出部74可包括花键,这些花键被设计成与驱动输入部73上的插孔配合。
细长轴71被设计成通过解剖开口或内腔(例如,如在内窥镜检查中)或通过微创切口(例如,如在腹腔镜检查中)来递送。细长轴71可以是柔性的(例如,具有类似于内窥镜的特性)或刚性的(例如,具有类似于腹腔镜的特性),或者包含柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时,刚性细长轴的远侧端部可以连接到端部执行器,该端部执行器从由具有至少一个自由度的连接叉形成的关节腕和外科手术工具或医疗器械(诸如例如,抓握器或剪刀)延伸,当驱动输入部响应于从器械驱动器75的驱动输出部74接收到的扭矩而旋转时,该外科工具可以基于来自腱的力来致动。当设计用于内窥镜检查时,柔性细长轴的远侧端部可包括可操纵或可控制的弯曲节段,该弯曲节段以基于从器械驱动器75的驱动输出部74接收到的扭矩而进行关节运动和弯曲。
来自器械驱动器75的扭矩使用腱沿着轴71向下传输到细长轴71。这些单独的腱(诸如牵拉线)可单独地锚定到器械柄部72内的各个驱动输入部73。从柄部72,沿着细长轴71的一个或多个牵拉腔向下引导腱并且将其锚定在细长轴71的远侧部分处,或锚定在细长轴的远侧部分处的腕部中。在外科手术规程诸如腹腔镜、内窥镜或混合规程期间,这些腱可以联接到远侧安装的端部执行器,诸如腕部、抓握器或剪刀。在这样的布置下,施加在驱动输入部73上的扭矩将张力传递到腱,从而引起端部执行器以某种方式致动。在一些实施方案中,在外科手术规程期间,腱可以致使接头围绕轴线旋转,从而致使端部执行器沿一个方向或另一个方向运动。另选地,腱可连接到细长轴71的远侧端部处的抓握器的一个或多个钳口,其中来自腱的张力使抓握器闭合。
在内窥镜检查中,腱可经由粘合剂、控制环或其他机械固定件联接到沿着细长轴71定位(例如,在远侧端部处)的弯曲或关节运动节段。当固定地附接到弯曲节段的远侧端部时,施加在驱动输入部73上的扭矩将沿腱向下传输,从而使较软的弯曲节段(有时称为可关节运动节段或区域)弯曲或进行关节运动。沿着不弯曲节段,可以有利的是,使单独的牵拉腔螺旋或盘旋,该牵拉腔沿着内窥镜轴的壁(或在内部)导向单独的腱,以平衡由牵拉线中的张力引起的径向力。为了特定目的,可以改变或设计螺旋的角度和/或其间的间隔,其中更紧的螺旋在负载力下呈现较小的轴压缩,而较低的螺旋量在负载力下引起更大的轴压缩,但也呈现限制弯曲。在另一种情况下,可平行于细长轴71的纵向轴线来引导牵拉腔以允许在期望的弯曲或可关节运动节段中进行受控式关节运动。
在内窥镜检查中,细长轴71容纳多个部件以辅助机器人规程。轴可包括用于将外科手术工具(或医疗器械)、冲洗件和/或抽吸件部署到轴71的远侧端部处的操作区域的工作通道。轴71也可容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号,该光学组件可包括光学相机。轴71也可以容纳光纤,以将来自位于近侧的光源(诸如发光二极管)的光载送到轴的远侧端部。
在器械70的远侧端部处,远侧末端也可包括用于将供诊断和/或治疗、冲洗和抽吸的工具递送到手术部位的工作通道的开口。远侧末端还可以包括用于相机(诸如纤维镜或数码相机)的端口,以捕获内部解剖空间的图像。相关地,远侧末端还可以包括用于光源的端口,该光源用于在使用相机时照亮解剖空间。
在图16的示例中,驱动轴的轴线以及因此驱动输入部轴线与细长轴的轴线正交。然而,该布置使细长轴71的滚动能力复杂化。沿着细长轴71的轴线滚动该细长轴同时保持驱动输入部73静止会引起当腱从驱动输入部73延伸出去并且进入细长轴71内的牵拉腔时,腱的不期望的缠结。此类腱的所得缠结可破坏旨在预测柔性细长轴在内窥镜式规程期间的移动的任何控制算法。
图17示出了器械驱动器和器械的另选设计,其中驱动单元的轴线平行于器械的细长轴的轴线。如图所示,圆形器械驱动器80包括四个驱动单元,其驱动输出部81在机器人臂82的端部处平行对准。驱动单元和它们相应的驱动输出部81容纳在由组件83内的驱动单元中的一个驱动单元驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩,旋转组件83沿着圆形轴承旋转,该圆形轴承将旋转组件83连接到器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传达至旋转组件83,并且该电力和控制信号可以通过电刷滑环连接(未示出)的旋转来保持。在其他实施方案中,旋转组件83可以响应于集成到非旋转部分84中的单独的驱动单元,并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80允许驱动单元及其相应的驱动输出部81作为单个单元围绕器械驱动器轴线85旋转。
与先前所公开的实施方案类似,器械86可以包括细长轴部分88和器械基部87(出于讨论的目的,示出为具有透明的外部表层),该器械基部包括被构造成能够接收器械驱动器80中的驱动输出部81的多个驱动输入部89(诸如插座、滑轮和卷轴)。与先前公开的实施方案不同,器械轴88从器械基部87的中心延伸,该器械基部的轴线基本上平行于驱动输入部89的轴线,而不是如图16的设计中那样正交。
当联接到器械驱动器80的旋转组件83时,包括器械基部87和器械轴88的医疗器械86与旋转组件83组合地围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处,因此当附接时器械轴88与器械驱动器轴线85同轴。因此,旋转组件83的旋转使器械轴88围绕其自身的纵向轴线旋转。此外,在器械基部87与器械轴88一起旋转时,连接到器械基部87中的驱动输入部89的任何腱在旋转期间都不缠结。因此,驱动输出部81、驱动输入部89和器械轴88的轴线的平行允许轴在不会使任何控制腱缠结的情况下旋转。
图18示出了根据一些实施方案的具有基于器械的***架构的器械。器械150可联接到上文所述的器械驱动器中的任何器械驱动器。器械150包括细长轴152、连接到轴152的端部执行器162和联接到轴152的柄部170。细长轴152包括管状构件,该管状构件具有近侧部分154和远侧部分156。细长轴152沿着其外表面包括一个或多个通道或凹槽158。凹槽158被构造成能够接纳通过该凹槽的一根或多根线材或缆线180。因此,一根或多根缆线180沿着细长轴152的外表面伸展。在其他实施方案中,缆线180也可伸展穿过细长轴152。该一根或多根缆线180的操纵(例如,经由器械驱动器)引起端部执行器162的致动。
器械柄部170(也可称为器械基部)通常可包括附接接口172,该附接接口具有一个或多个机械输入部174,例如插孔、滑轮或卷轴,该一个或多个机械输入部被设计成与器械驱动器的附接表面上的一个或多个扭矩联接器往复地配合。
在一些实施方案中,器械150包括使细长轴152能够相对于柄部170平移的一系列滑轮或缆线。换句话讲,器械150本身包括基于器械的***架构,该架构适应器械的***,从而使对机器人臂的依赖最小化以提供器械150的***。在其他实施方案中,机器人臂可以很大程度上负责器械***。
E.控制器
本文所述的机器人***中的任一个机器人***可包括用于操纵附接到机器人臂的器械的输入装置或控制器。在一些实施方案中,控制器可与器械(例如,通信地、电子地、电气、无线地和/或机械地)联接,使得控制器的操纵例如经由主从控制而致使器械对应操纵。
图19是控制器182的实施方案的透视图。在本实施方案中,控制器182包括可具有阻抗和导纳控制两者的混合控制器。在其他实施方案中,控制器182可仅利用阻抗或被动控制。在其他实施方案中,控制器182可仅利用导纳控制。通过作为混合控制器,控制器182有利地在使用时可具有较低的感知惯性。
在所示实施方案中,控制器182被构造成能够允许操纵两个医疗器械,并且包括两个柄部184。柄部184中的每个柄部连接到万向支架186。每个万向支架186连接到定位平台188。
如图19所示,每个定位平台188包括通过棱柱接头196联接到柱194的SCARA臂(选择顺应性装配机器人臂)198。棱柱接头196被构造成能够沿着柱194(例如,沿着轨道197)平移,以允许柄部184中的每个柄部在z方向上平移,从而提供第一自由度。SCARA臂198被构造成能够允许柄部184在x-y平面中运动,从而提供两个附加自由度。
在一些实施方案中,一个或多个负荷传感器定位在控制器中。例如,在一些实施方案中,负荷传感器(未示出)被定位在万向支架186中的每个万向支架的主体中。通过提供负荷传感器,控制器182的部分能够在导纳控制下操作,从而在使用时有利地减小控制器的感知惯性。在一些实施方案中,定位平台188被构造用于导纳控制,而万向支架186被构造用于阻抗控制。在其他实施方案中,万向支架186被构造用于导纳控制,而定位平台188被构造用于阻抗控制。因此,对于一些实施方案,定位平台188的平移自由度或位置自由度可依赖于导纳控制,而万向支架186的旋转自由度依赖于阻抗控制。
F.导航和控制
传统的内窥镜检查可以涉及使用荧光透视(例如,如可以通过C形臂递送的)和其他形式的基于辐射的成像模态,以向操作者医师提供腔内指导。相比之下,本公开所设想的机器人***可以提供基于非辐射的导航和定位装置,以减少医师暴露于辐射并且减少手术室内的装备的量。如本文所用,术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如术前标测、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下,可以单独地或组合地使用术前标测、计算机视觉、实时EM跟踪和机器人命令数据,以改进仅通过基于辐射的成像模态获得的信息。
图20是示出了根据示例性实施方案的估计机器人***的一个或多个元件的位置(诸如器械的位置)的定位***90的框图。定位***90可以是一组被构造成能够执行一个或多个指令的一个或多个计算机装置。计算机装置可以由上文讨论的一个或多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例而非限制,计算机装置可位于图1所示的塔30、图1至图4所示的推车、图5至图14所示的床等中。
如图20所示,定位***90可包括定位模块95,该定位模块处理输入数据91-94以生成用于医疗器械的远侧末端的位置数据96。位置数据96可以是表示器械的远侧端部相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者解剖结构或已知对象(诸如EM场发生器)的参考系(参见下文对于EM场发生器的讨论)。
现在更详细地描述各种输入数据91-94。术前标测可以通过使用低剂量CT扫描的集合来完成。术前CT扫描被重建为三维图像,该三维图像被可视化,例如作为患者的内部解剖结构的剖面图的“切片”。当总体上分析时,可以生成用于患者的解剖结构(诸如患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术,以形成患者解剖结构的三维体积,其被称为模型数据91(当仅使用术前CT扫描生成时也称为“术前模型数据”)。中心线几何形状的使用在美国专利申请14/523,760号中有所讨论,其内容全文并入本文中。网络拓扑模型也可从CT图像中导出,并且特别适合于支气管镜检查。
在一些实施方案中,器械可以配备有相机以提供视觉数据92。定位模块95可处理视觉数据以实现一个或多个基于视觉的位置跟踪。例如,术前模型数据可以与视觉数据92结合使用,以实现对医疗器械(例如,内窥镜或推进通过内窥镜的工作通道的器械)的基于计算机视觉的跟踪。例如,使用术前模型数据91,机器人***可以基于内窥镜的行进预期路径根据模型生成预期内窥镜图像的库,每个图像连接到模型内的位置。在操作中,机器人***可以参考该库,以便将在摄像相机(例如,在内窥镜的远侧端部处的相机)处捕获的实时图像与图像库中的那些图像进行比较,以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定相机的运动,并且因此确定内窥镜的运动。定位模块95的一些特征可以识别术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖内腔,以及跟踪相机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。
光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断相机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过多次迭代的多帧比较,可以确定相机(以及因此内窥镜)的移动和位置。
定位模块95可使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置,该全局坐标系可被配准到由术前模型表示的患者的解剖结构。在EM跟踪中,包括嵌入在医疗器械(例如,内窥镜工具)中的一个或多个位置和取向中的一个或多个传感器线圈的EM传感器(或***)测量由定位在已知位置处的一个或多个静态EM场发生器产生的EM场的变化。由EM传感器检测的位置信息被存储为EM数据93。EM场发生器(或发射器)可以靠近患者放置,以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流,可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中“配准”到患者解剖结构(例如,手术前模型),以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦配准,医疗器械的一个或多个位置(例如,内窥镜的远侧末端)中的嵌入式EM***可以提供医疗器械通过患者的解剖结构的进展的实时指示。
机器人命令和运动学数据94也可以由定位模块95使用以提供用于机器人***的方位数据96。可以在术前校准期间确定从关节运动命令得到的装置俯仰和偏航。在手术中,这些校准测量可以与已知的***深度信息结合使用,以估计器械的位置。另选地,这些计算可以结合EM、视觉和/或拓扑建模进行分析,以估计医疗器械在网络内的位置。
如图20所示,定位模块95可使用多项其他输入数据。例如,尽管图20中未示出,但利用了形状感测纤维的器械可提供形状数据,定位模块95可使用该形状数据来确定器械的位置和形状。
定位模块95可以组合地使用输入数据91-94。在一些情况下,这样的组合可以使用概率方法,其中定位模块95向根据输入数据91-94中的每个输入数据确定的位置分配置信度权重。因此,在EM数据可能不可靠(如可能存在EM干扰的情况)的情况下,由EM数据93确定的位置的置信度可能降低,并且定位模块95可能更重地依赖于视觉数据92和/或机器人命令和运动学数据94。
如上所讨论的,本文讨论的机器人***可以被设计成结合以上技术中的一种或多种的组合。位于塔、床和/或推车中的机器人***的基于计算机的控制***可将计算机程序指令存储在例如非暂态计算机可读存储介质(诸如永久性磁存储驱动器、固态驱动器等)内,该计算机程序指令在执行时致使***接收并且分析传感器数据和用户命令,生成整个***的控制信号并且显示导航和定位数据,诸如器械在全局坐标系内的位置、解剖图等。
2.用于实时3D机器人状态的***、装置和方法的介绍
本申请公开了机器人医疗***,这些机器人医疗***使用实时渲染(例如,三维(3-D)渲染,诸如3-D图像、模型、信息等)以向医师/医师助理传达机器人医疗***的状态。
如本文所述,机器人医疗***可被构造成能够执行对应于规程的预先编程的工作流程,以引导医师/医师助理通过规程。在一些实施方案中,预先编程的工作流程可包括一个或多个阶段,诸如术前阶段、术中阶段和/或术后(例如,拆线)阶段。这些阶段中的每个阶段都可包括一个或多个相应步骤。3-D渲染可用于传达机器人医疗***在一个或多个阶段期间的实时状态,特别是机器人医疗***的实时位置变化。
如本文所述,3-D渲染可用于响应于机器人医疗***的机器人控制和/或手动控制来传达机器人医疗***的实时状态。
在一些实施方案中,3-D渲染可用于响应于机器人医疗***的手动控制来传达机器人医疗***的状态。
A.机器人***
图21示出了根据一些实施方案的示例性机器人医疗***200。在一些实施方案中,机器人医疗***200是机器人医疗***(例如,机器人手术***)。在图21的示例中,机器人医疗***200包括患者支撑平台202(例如,患者平台、台、床等)。沿着患者支撑平台202的长度的两个端部分别被称为“头部”和“腿部”。患者支撑平台202的两侧分别被称为“左”和“右”。患者支撑平台202包括用于患者支撑平台202的支撑件204(例如,刚性框架)。
机器人医疗***200还包括用于支撑机器人医疗***200的基部206。基部206包括轮208,这些轮允许机器人医疗***200可在物理环境中容易地移动或重新定位。在一些实施方案中,轮208从机器人医疗***200中省略或者是可回缩的,并且基部206可以直接搁置在地面或地板上。在一些实施方案中,轮208被替换为支脚。
机器人医疗***200包括一个或多个机器人臂210。机器人臂210可被构造成能够执行如上文参考图1至图20所述的机器人医疗规程。虽然图21示出了五个机器人臂210,但是应当理解,机器人医疗***200可以包括任何数量的机器人臂,包括小于五个,或六个或更多个。
机器人医疗***200还包括支撑机器人臂210的一个或多个杆220(例如,可调式臂支撑件或可调式杆)。机器人臂210中的每个机器人臂通过机器人臂的相应基部接头被支撑在杆220上并且可移动地联接到该杆。在一些实施方案中,并且如图12中所述,杆220可以提供若干自由度,包括提升、侧向平移、倾斜等。在一些实施方案中,机器人臂210和/或可调式臂支撑件220中的每一者也被称为相应的运动链。
图21示出了由位于图的视场中的杆220支撑的三个机器人臂210。其余两个机器人臂由位于患者支撑平台202的另一长度上的另一杆支撑。
在一些实施方案中,可调式臂支撑件220可以被构造成能够提供机器人臂210中的一个或多个机器人臂的基础位置以进行机器人医疗规程。通过沿着机器人臂210的下面的杆220的长度平移机器人臂210和/或通过经由一个或多个接头和/或连杆调节机器人臂210的位置和/或取向(参见例如图23),可以相对于患者支撑平台202定位机器人臂。在一些实施方案中,可经由手动操纵、远程操作和/或动力辅助运动来改变杆位姿。
在一些实施方案中,可调式臂支撑件220可沿着患者支撑平台202的长度平移。在一些实施方案中,杆220沿着患者支撑平台202的长度的平移使得由杆220支撑的机器人臂210中的一个或多个机器人臂与杆同时平移或相对于杆平移。在一些实施方案中,可以平移杆220,同时保持机器人臂中的一个或多个机器人臂相对于机器人医疗***200的基部206静止。
在图21的示例中,可调式臂支撑件220沿着患者支撑平台202的长度定位。在一些实施方案中,可调式臂支撑件220可在患者支撑平台202的部分或整个长度上延伸,和/或在患者支撑平台202的部分或整个宽度上延伸。
根据一些实施方案,在机器人医疗规程期间,机器人臂210中的一个或多个机器人臂还可以被构造成能够保持器械212(例如,机器人控制的医疗器械或工具,诸如内窥镜和/或可以在手术期间使用的任何其他器械(例如,传感器、照明器械、切割器械等)),并且/或者联接到一个或多个附件,包括一个或多个插管。
图22示出了根据一些实施方案的图21中的示例性机器人医疗***200的另一视图。在该示例中,机器人医疗***200包括六个机器人臂210-1、210-2、210-3、210-4、210-5和210-6。患者平台202由在基部206和患者平台202之间延伸的柱214支撑。在一些实施方案中,患者平台202包括倾斜机构216。倾斜机构216可定位在柱214和患者平台202之间,以允许患者平台202相对于柱214枢转、旋转或倾斜。倾斜机构216可被构造成能够允许患者平台202的侧向倾斜和/或纵向倾斜。在一些实施方案中,倾斜机构216允许患者平台202同时进行侧向倾斜和纵向倾斜。
图22示出了处于未倾斜状态或位置的患者平台202。在一些实施方案中,未倾斜状态或位置是患者平台202的默认位置。在一些实施方案中,患者平台202的默认位置是如图22所示的基本上水平的位置。如图所示,在未倾斜状态下,患者平台202可水平地或平行于支撑机器人医疗***200的表面(例如,地面或地板)定位。在一些实施方案中,术语“未倾斜”是指默认位置与当前位置之间的角度小于阈值角度(例如,小于5度、小于将导致患者在患者平台上移位的角度等)的状态。在一些实施方案中,术语“未倾斜”是指患者平台基本上垂直于重力方向的状态,而不管支撑机器人医疗***的表面相对于重力形成的角度如何。
继续参考图22,在机器人医疗***200的所示示例中,患者平台202包括支撑件204。在一些实施方案中,支撑件204包括刚性支撑结构或框架,并且可支撑一个或多个表面、垫或衬垫222。患者平台202的上表面可包括支撑表面224。在医疗规程期间,患者可被置于支撑表面224上。
图22示出了处于示例性部署构型的机器人臂210和可调式臂支撑件220,其中机器人臂210到达患者平台202上方。在一些实施方案中,由于机器人医疗***200的使得不同部件能够收起在患者平台202下方的构型,机器人臂210和臂支撑件220可占据患者平台202下方的空间。因此,在一些实施方案中,倾斜机构216具有低轮廓和/或小体积,以增加下方储存可用的空间。
图22还示出了可用于描述本文所公开的实施方案的某些特征的示例性x、y和z坐标系。应当理解,该坐标系仅出于示例和解释的目的而提供,并且可使用其他坐标系。在所示的示例中,当患者平台202处于未倾斜状态时,x方向或x轴在侧向方向上延伸跨过患者平台202。在一些构型中,当患者平台202处于未倾斜状态时,x方向跨过患者平台202从一个侧向侧(例如,右侧)延伸到另一个侧向侧(例如,左侧)。当患者平台202处于未倾斜状态时,y方向或y轴沿着患者平台202在纵向方向上延伸。即,当患者平台202处于未倾斜状态时,y方向沿着患者平台202从一个纵向端部(例如,头部端部)延伸到另一个纵向端部(例如,腿部端部)。在未倾斜状态下,患者平台202可以位于x-y平面中或平行于x-y平面,该x-y平面可平行于地板或地面。在所示的示例中,z方向或z轴在竖直方向上沿柱214延伸。在一些实施方案中,倾斜机构216被构造成能够通过使患者平台202围绕平行于y轴的侧向倾斜轴线旋转来使患者平台202侧向倾斜。倾斜机构216可进一步被构造成能够通过使患者平台202围绕平行于x轴的纵向倾斜轴线旋转来使患者平台202纵向倾斜。
B.机器人臂
图23A至图23C示出了根据一些实施方案的示例性机器人臂210的不同视图。
图23A示出了机器人臂210包括多个连杆302(例如,连杆(linkage))。连杆302由一个或多个接头304连接。接头304中的每个接头包括一个或多个自由度(DoF)。
在图23A中,接头304包括位于机器人臂210的基部306处或附近的第一接头304-1(例如,基部接头或A0接头)。在一些实施方案中,基部接头304-1包括允许机器人臂210沿着杆220(例如,沿着y轴)平移的棱柱接头。接头304还包括第二接头304-2。在一些实施方案中,第二接头304-2相对于基部接头304-1旋转。接头304还包括连接到连杆302-2的一个端部的第三接头304-3。在一些实施方案中,接头304-3包括多个DoF,并且促进连杆302-2相对于接头304-3倾斜和旋转。
图23A还示出了连接到连杆302-2的另一个端部的第四接头304-4。在一些实施方案中,接头304-4包括连接连杆302-2与连杆302-3的肘接头。接头304还包括一对接头304-5(例如,腕滚动接头)和304-6(例如,腕俯仰接头),该对接头位于机器人臂210的远端部分上。
机器人臂210的近侧端部可以连接到基部306,并且机器人臂210的远侧端部可以连接到高级装置操纵器(ADM)308(例如,工具驱动器、器械驱动器或机器人端部执行器等)。ADM 308可以被构造成能够控制医疗器械212(例如,工具、窥镜等)的定位和操纵。
机器人臂210还可以包括插管传感器310,用于检测插管的存在或插管与机器人臂210的接近度。在一些实施方案中,当插管传感器310(例如,经由机器人医疗***200的一个或多个处理器)检测到插管的存在时,机器人臂210被置于对接状态(例如,对接位置)。在一些实施方案中,当机器人臂210处于对接位置时,机器人臂210可以执行零空间运动以保持插管的位置和/或取向,如以下进一步详细讨论的。相反地,当插管传感器310没有检测到插管时,机器人臂210被置于未对接状态(例如,未对接位置)。
在一些实施方案中,并且如图23A所示,机器人臂210包括输入或按钮312(例如,圆环形按钮,或其他类型的控件等),该输入或按钮可用于将机器人臂210置于导纳模式中(例如,通过按下按钮312)。导纳模式也被称为导纳方案或导纳控制。在导纳模式下,机器人***210测量(例如,施加在机器人臂210上的)力和/或扭矩并输出对应的速度和/或位置。在一些实施方案中,机器人臂210可以在导纳模式中由用户手动操纵(例如,在设置规程期间,或在规程之间等)。在一些情况下,通过使用导纳控制,操作者不需要克服机器人医疗***200中的全部惯性来移动机器人臂210。例如,在导纳控制下,当操作者在臂上施加力时,机器人医疗***200可测量该力并通过驱动与机器人臂210相关联的一个或多个马达来帮助操作者移动机器人臂210,从而获得机器人臂210的期望速度和/或位置。
在一些实施方案中,连杆302可以可拆卸地联接到医疗工具212(例如,以便于容易地将医疗工具212安装到机器人臂210上以及从机器人臂上拆卸下来)。接头304向机器人臂210提供多个自由度(DoF),该多个DoF促进经由ADM 308控制医疗工具212。在如图23所示的包括多个机器人臂的实施方案中,每个机器人臂可保持其相应的医疗工具并使医疗工具绕运动的远程中心枢转。
图23B示出了机器人臂210的前视图。图23C示出了机器人臂210的透视图。在一些实施方案中,机器人臂210包括与图23A中的按钮312不同的第二输入或按钮314(例如,下压按钮),用于将机器人臂210置于阻抗模式(例如,通过单次按压或连续按压并且保持按钮314)。在该示例中,按钮314位于接头304-5与接头304-6之间。阻抗模式也被称为阻抗方案或阻抗控制。在阻抗模式中,机器人医疗***200测量位移(例如,位置和速度的变化)并且输出力和/或力矩以便于机器人臂的手动移动。在一些实施方案中,机器人臂210可以在阻抗模式下由用户手动操纵(例如,在设置规程期间)。在一些实施方案中,在阻抗模式下,操作者对机器人臂210的一个部分的移动可引起整个机器人臂210的一个或多个接头和/或连杆的运动。
在一些实施方案中,对于导纳控制,力传感器或负荷传感器可以测量操作者正施加到机器人臂210的力并且以感觉轻的方式移动机器人臂210。导纳控制可能感觉比阻抗控制更轻,因为在导纳控制下,可隐藏机器人臂210的感知惯性,因为控制器中的马达可以帮助加速质量。相比之下,根据一些实施方案,在阻抗控制的情况下,用户负责大多数(如果不是全部)质量加速。
在一些情况下,取决于机器人臂210相对于操作者的位置,可能不方便触及按钮312和/或按钮314以激活手动操纵模式(例如,导纳模式和/或阻抗模式)。因此,在这些情况下,操作者可以方便地触发手动操纵模式而不是通过按钮触发手动操纵模式。
在一些实施方案中,机器人臂210包括单个按钮(例如,按钮312或314),该按钮可用于将机器人臂210置于导纳模式和/或阻抗模式(例如,通过使用不同按压,诸如长按压、短按压、按压并保持等)。在一些实施方案中,通过用户推动臂连杆(例如,连杆302)和/或接头(例如,接头304)并且克服力阈值,机器人臂210可以被置于阻抗模式中。在一些实施方案中,导纳模式和阻抗模式是常见的,因为它们都允许用户抓住机器人臂210并通过直接与机器人臂交互来命令运动。
在一些实施方案中,机器人臂210包括用于激活臂跟随模式的输入控制。例如,在一些实施方案中,机器人臂210可包括指定触点,该指定触点位于机器人臂的连杆302或接头304(例如,连杆302的外壳或按钮316)上。与指定触点的用户交互(例如,用户触摸、接触等)激活臂跟随模式。在一些实施方案中,机器人臂210包括多个触点。与触点中的任何(例如,一个或多个)触点的用户交互激活臂跟随模式。
在医疗规程期间,可能期望机器人臂210的ADM 308和/或与其联接的工具212的远程运动中心(RCM)保持在静态位姿(例如,位置和/或取向)。RCM可以指空间中的一个点,在该点上,***医疗工具212的插管或其他进入端口在运动中受到限制。在一些实施方案中,医疗工具212包括端部执行器,该端部执行器通过患者的切口或自然孔口***,同时保持RCM。在一些实施方案中,医疗工具212包括在机器人医疗***的设置过程期间处于回缩状态的端部执行器。
在一些情况下,机器人医疗***200可以被构造成能够在“零空间”内移动机器人臂210的一个或多个连杆302,以避免与附近对象(例如,其他机器人臂)碰撞,而机器人臂210和/或RCM的ADM 308保持在其相应的位姿(例如,位置/取向)。零空间可被视为机器人臂210可移动的一组接头状态,该组接头状态不会导致ADM 308和/或RCM移动,从而保持医疗工具212的位置和/或取向(例如,患者体内)。在一些实施方案中,机器人臂210可以具有可用于ADM 308的每个位姿的多个位置和/或构型。
对于将器械移动到空间中的期望位姿的机器人臂210,在某些实施方案中,机器人臂210可具有至少六个DoF—三个DoF用于平移(例如,X、Y和Z位置)和三个DoF用于旋转(例如,偏航、俯仰和滚动)。在一些实施方案中,每个接头304可以提供具有单个DoF的机器人臂210,并且因此,机器人臂210可以具有至少六个接头以实现将ADM 308定位在空间中的任何位姿的移动自由度。为了进一步将机器人臂210的ADM 308和/或远程中心或运动保持在期望的位姿,机器人臂210还可以具有至少一个附加的“冗余接头”。因此,在某些实施方案中,***可以包括具有至少七个接头304的机器人臂210,其提供具有至少七个DoF的机器人臂210。在一些实施方案中,机器人臂210可以包括接头304的子集,每个接头具有多于一个自由度,从而实现用于零空间运动的附加DoF。然而,取决于实施方案,机器人臂210可以具有更多或更少数量的DoF。
此外,如关于图12所述,杆220(例如,可调式臂支撑件)可提供若干自由度,包括提升、侧向平移、倾斜等。因此,取决于实施方案,机器人医疗***可以具有比仅在机器人臂210中的自由度更多的机器人控制的自由度,以提供零空间移动和碰撞避免。在这些实施方案中的相应实施方案中,一个或多个机器人臂的端部执行器(以及与其联接的任何工具或器械)和/沿着工具的轴线的远程中心可以有利地保持患者体内的位姿和/或位置。
具有至少一个冗余DoF的机器人臂210具有比用于执行给定任务的最小DoF数量多至少一个DoF。例如,根据一些实施方案,机器人臂210可以具有至少七个DoF,其中机器人臂210的接头304中的一个接头可以被认为是冗余接头。一个或多个冗余接头可以允许机器人臂210在零空间中移动以既保持ADM 308的位姿和RCM的位置又避免与其他机器人臂或对象的碰撞。
在一些实施方案中,机器人医疗***200可以被构造成能够通过利用一个或多个冗余接头在零空间中的移动来执行碰撞避免以避免例如相邻机器人臂210之间的碰撞。例如,当机器人臂210与另一机器人臂210碰撞或接近(例如,在限定的距离内)时,机器人医疗***200的一个或多个处理器可以被构造成能够检测碰撞或即将发生碰撞(例如,通过运动学)。因此,机器人医疗***200可以控制机器人臂210中的一个或两个机器人臂在零空间内调节其相应的接头,以避免碰撞或即将发生的碰撞。在包括至少一对机器人臂的一个实施方案中,机器人臂和其端部执行器中的一者的基部可以保持其位姿,而其间的连杆或接头在零空间中移动以避免与相邻机器人臂碰撞。
C.表示机器人医疗***的状态的实时3-D渲染
i.引导和/或控制机器人位置变化
图24A至图24C示出了根据一些实施方案的机器人医疗***(例如,如图21和图22描绘的机器人医疗***200)在规程的设置阶段期间的3-D渲染(例如,3-D模型、视觉表示等)。
如本文所用,“3-D渲染”可包括机器人医疗***200或其一部分(诸如一个或多个机器人臂、机器人臂的连杆和/或接头、臂支撑件、和/或机器人医疗***200的患者支撑平台)的3-D图形、3-D表示或计算机生成的3-D模型。在一些实施方案中,3-D渲染包括机器人医疗***200的等轴视图和/或透视图。在一些实施方案中,3-D渲染对应于机器人医疗***200的现场(例如,实时)3-D动画场景,该机器人医疗***包括机器人臂210、可调式臂支撑件(例如,杆)220和/或患者支撑平台204。在一些实施方案中,3-D场景包括根据预先编程的工作流程的阶段(或步骤)动态更新的视场(例如,来自虚拟相机)。在一些实施方案中,3-D渲染可包括被渲染以向用户提供深度感知的图像(例如,二维(2-D)图像)。例如,3-D渲染可以是彩色渲染的2-D图像(例如,使用不同的色调)以指示机器人臂和患者支撑平台的深度(并且因此提供深度或距离感)。另外或可替代地,3-D渲染可包括遮挡机器人臂和患者支撑平台的一个或多个部分,以指示机器人臂和患者支撑平台的深度。在一些实施方案中,3-D渲染可包括加阴影的图像(例如,2-D图像),以显示机器人***的不同表面(例如,机器人臂的表面、杆的表面、患者支撑平台的表面等)的特征和/或轮廓。
图24A示出了3-D渲染400,该3-D渲染包括对应于患者支撑件202的视觉表示402、对应于机器人臂210的视觉表示410以及对应于可调式臂支撑件220的视觉表示420。3-D渲染400反映了机器人医疗***200的实时状态,其中机器人臂210和可调式臂支撑件220在设置之前处于收起构型。在图24A中,3-D渲染400还包括对应于患者的视觉表示。
在一些实施方案中,机器人医疗***200根据确定机器人医疗***200的状态来实时(例如,即时)生成3-D渲染。例如,机器人医疗***200可使用由包括在机器人医疗***200中的传感器和/或编码器确定的数据来确定机器人臂210的接头和/或连杆的对应位置和/或取向、臂支撑件220的位姿(例如,位置和/或取向)和/或患者支撑平台202的位置和/或取向。在一些实施方案中,机器人医疗***200使用传感器数据生成(例如,构建)机器人医疗***的3-D表示并显示3-D表示。在一些实施方案中,机器人医疗***200还确定机器人臂、臂支撑件和/或患者支撑平台的位置和/或取向的变化(例如,实时地、连续地、持续地,诸如每5秒、10秒、30秒等),并根据机器人臂、臂支撑件和/或患者支撑平台的位置和/或取向的变化来更新3-D渲染,以反映机器人医疗***200的状态变化。
另外或可替代地,在一些实施方案中,机器人医疗***200存储(例如,本地存储、在远程计算机***存储等)与机器人医疗***的不同构型(例如,位置和/或取向)相对应的图像的库(例如,数据库、储备库等)像。机器人医疗***200可使用与其附接的传感器和/或编码器来实时确定机器人臂210的接头和/或连杆的位置和/或取向、臂支撑件220的位姿和/或患者支撑平台202的位置,并从存储的图像中选择与所确定的构型最匹配的图像以显示为3-D渲染。
在一些实施方案中,在机器人医疗***200的一个或多个显示器上显示3-D渲染。一个或多个显示器可位于塔式观察器、外科医生观察器、机器人医疗***200的床/塔式悬架上。在一些实施方案中,一个或多个显示器可以位于任何悬架(例如,远程悬架)上,该悬架通信连接到并用作机器人医疗***200的一部分。
在一些实施方案中,工作流程包括设置阶段和术中阶段和术后阶段。这些阶段中的每个阶段都可包括一个或多个相应步骤。例如,设置阶段可包括诸如下面的步骤:将机器人臂210和臂支撑件220(例如,轨道、杆等)从收起状态展开成展开状态,悬垂机器人臂210和臂支撑件220,将机器人臂210和臂支撑件220定位成预对接位姿,手动调节杆220和/或臂210,建立特定手术专用的和/或基于用于规程的附件的边界条件,对接机器人臂210,将器械附接到机器人臂210,以及优化臂支撑件220的位置。
在一些实施方案中,对于工作流程的每个步骤,机器人医疗***200定义特定视角(例如,视点)。在一些实施方案中,选择在监测或完成步骤方面可能对用户最有帮助/信息量最大的特定视角。在一些实施方案中,机器人医疗***200存储表示为工作流程的相应步骤选择的(或与其相关联的)视角的信息。在一些实施方案中,工作流程的步骤可包括多个(例如,不同的)视点(例如,不同的视场)(或与其相关联)。一个或多个显示器可包括提供切换元素的用户界面,该切换元素在被选择时,使得用户能够在不同视点之间切换,以便更好地可视化机器人医疗***的部件的位置。在一些实施方案中,一个或多个显示器同时呈现多个视点的渲染。
在一些实施方案中,3-D渲染包括视觉指标,以传送机器人医疗***200在规程的设置阶段期间的状态。例如,在图24A中,文本字段412(“将臂和轨道展开成悬垂位姿”)与3-D渲染400同时显示。在一些实施方式中,文本字段412引导用户通过规程的下一个步骤。
图24B示出了响应于对视觉表示410和/或420的用户选择而显示的更新的3-D渲染430。在一些实施方案中,对视觉表示410和/或420的用户选择对应于(例如,使用塔式悬架)控制机器人臂210和/或臂支撑件220的用户指令。在一些实施方案中,响应于用户选择,机器人医疗***200以视觉上与渲染中的机器人***的其他部分不同的方式(例如,突出显示、加阴影、以不同颜色显示,包括诸如脉冲的视觉效果或动画和/或其他视觉强调)来渲染视觉表示410和420。例如,响应于对3-D渲染的一个或多个部分的用户选择,3-D渲染模型的所选部分被突出显示(例如,使用诸如蓝色、黄色、红色、橙色或与渲染的其余部分不同的任何其他颜色)以指示用户选择(例如,选择机器人医疗***200的一个或多个部件或部分用于从例如塔式悬架控制)。
在一些实施方案中,对3-D渲染的一部分的用户选择包括直接用户选择,诸如用户轻击和/或触摸屏显示器上的触摸、用户使用鼠标点击3-D渲染的一部分等。机器人医疗***200(例如,一个或多个处理器)将用户选择解释为要由机器人医疗***200自动控制的部分。
在一些实施方案中,对3-D渲染的一部分的用户选择包括间接选择。例如,3-D渲染可与规程工作流程的步骤列表(例如,文本字段)一起显示。用户可通过选择对应于特定工作流程步骤的文本字段来间接选择3-D渲染的一部分。作为响应,机器人医疗***200识别对应于所选工作流程步骤的机器人医疗***的一个或多个部分,并引起(例如,执行)在所识别的部分上的机器人的移动。
在一些实施方案中,根据在3-D渲染中对机器人医疗***的一个或多个部分的用户选择,机器人医疗***200引起(例如,执行)所选部分根据预先编程的工作流程步骤的机器人的移动。
图24B还示出了在机器人医疗***200上执行机器人移动时与3-D渲染430同时显示的进度条422,以指示受控移动的完成进度。在一些实施方案中,文本字段424(例如,“展开臂和轨道”)与3-D渲染430一起显示。文本字段424描述了机器人医疗***200正在执行的工作流程的当前步骤。
图24C示出了3-D渲染432,其中对应于机器人臂210的视觉表示410处于基本上竖直的位姿。3-D渲染432与机器人医疗***200的实时状态匹配(例如,基本上匹配或相对应),其中机器人控制的到悬垂位姿的移动已经完成并且机器人臂210已经伸直。在一些实施方案中,对应于机器人臂的视觉表示410以视觉上与用于描绘图24B中的3-D渲染420和/或3-D渲染410的方式不同的方式(例如,突出显示、加阴影、以不同颜色显示,包括诸如脉冲的视觉效果和/或其他视觉强调)显示,以指示步骤的完成。例如,3-D渲染的部分可以响应于用户选择从第一颜色变为第二颜色(例如,从白色变为蓝色),并且在完成移动或步骤时从第二颜色变为第三颜色(例如,从蓝色变为绿色),以向用户传达状态。在一些实施方案中,如图24C所示,3-D渲染432包括诸如434-1和434-2的复选标记图标434(或其他视觉指标),以指示机器人臂210和/或可调式臂支撑件220的移动(例如,机器人移动)的完成。在一些实施方案中,3-D渲染432伴随有指示步骤完成的文本436(例如,“运动完成”)(例如,与其一起显示)。在一些实施方案中,机器人医疗***200还将移动和/或完成状态与音调同步(例如,机器人医疗***200可输出一个或多个音调来指示机器人医疗***200的特定状态)。
图25A至图25B示出了根据一些实施方案的机器人医疗***200在规程的术后阶段(例如,拆线)期间的3-D渲染。
在一些实施方案中,术后阶段包括诸如移除附接到机器人臂的外科手术工具、未对接机器人臂、调平患者支撑平台和/或臂支撑件、调节机器人臂以收起、打开机器人臂和/或杆、和/或收起机器人臂和杆的步骤。打开步骤可涉及在移除覆盖件之前将机器人臂拉直回到“已知位置”。
图25A示出了机器人医疗***200的3-D渲染500,其中机器人臂210的实际位置由渲染500中的元素502(例如,502-1至502-6)可视地表示。3-D渲染500包括机器人臂210的“目标位置”的视觉表示504(例如,504-1至504-6),这些视觉表示对应于机器人臂210需要在床边手动移动到的位置。在一些实施方案中,“目标位置”的视觉表示504被渲染为“幻影”视图(例如,透明度为至少10%的半透明,诸如10%、20%、30%、40%、50%、60%、70%、80%、90%或95%,或者在两个上述值之间的任何范围内)。
图25B示出了在机器人臂210到目标位置(例如,伸直的已知位置)的移动(例如,机器人移动和/或手动移动)完成时,机器人医疗***200显示更新的3-D渲染510,其中元素502位于目标位置的视觉表示504的位置处,这表明机器人臂210已经移动到目标位置。在一些实施方案中,机器人医疗***200停止显示目标位置或元素502的视觉表示504(部分因为视觉表示504与元素502重叠)。在一些实施方案中,在完成该步骤后,3-D渲染510中的机器人臂以与3-D渲染510的其他部分不同的方式(例如,不同的颜色、不同的线条粗细、突出显示、加轮廓、加阴影等)表示。在一些实施方案中,3-D渲染510还包括一个或多个复选标记506(例如,506-1至506-6)以反映该步骤的成功完成。例如,每个复选标记506可指示机器人医疗***200的特定部件的移动成功完成(例如,复选标记506-1指示机器人臂的对应于视觉表示504-1的移动成功完成,而复选标记506-2指示机器人臂的对应于视觉表示504-2的移动成功完成等)。相比之下,如图25A所示,复选标记的缺失可能指示机器人医疗***200的特定部件的移动尚未完成(例如,该移动可能正在进行中)(例如,图25A中复选标记506-1的缺失指示机器人臂的对应于视觉表示504-1的移动尚未完成,并且图25A中复选标记506-2的缺失指示机器人臂的对应于视觉表示504-2的移动尚未完成)。
ii.反映由手动交互引起的机器人状态变化的3-D渲染
在一些实施方案中,实时渲染用于基于用户与机器人医疗***的一部分之间的手动交互来提供状态更新。实时渲染还可用于传送诸如将机器人臂210对接至相应的插管,和/或将器械附接至机器人臂210的手动动作的完成。
在一些实施方案中,根据确定机器人医疗***200正在执行工作流程的特定步骤,机器人医疗***200调节虚拟相机的视场(例如,视点、视角、角度等)以聚焦于机器人医疗***的特定部分(例如,机器人臂的子集、机器人臂的特定接头和/或连杆、高级装置操纵器(ADM)、工具驱动器、器械驱动器或机器人端部执行器、附接到机器人臂的工具或医疗器械等)。因此,机器人医疗***200更新3-D渲染以从经调节的视场显示机器人医疗***的特定部分。在一些实施方案中,机器人医疗***存储(和/或更新)指示经调节的视场(例如,相机的取向)的信息(例如,在计算机可读存储介质382中)。
图26A至图26D示出了反映根据一些实施方案的机器人医疗***的由手动交互引起的实时状态的3-D渲染。
图26A和图26B示出了机器人臂210被手动对接至其相应的插管的过程。在一些实施方案中,在对接步骤期间,机器人医疗***200动态地改变相机视图(例如,从等轴视图到平面视图)以显示聚焦于对应于ADM 308的视觉表示602的渲染600,如图26A所示。在一些实施方案中,渲染600显示有(或渲染600包括)描述要由用户执行的手动动作的文本604(例如,“手动将臂锁定到插管上”)。在一些实施方案中,渲染600显示有(或者渲染600包括)可视线索606(例如,“帮助”/“演示”按钮),这些可视线索在被用户选择(例如,基于与触敏显示器或任何其他输入装置的用户交互)时提供引导用户完成该步骤的指导(例如,以视频、音频和/或文本等的形式)。
图26B示出了在成功完成手动对接步骤后显示(例如,自动、实时等)的更新的渲染610。在该示例中,渲染610中的表示608(例如,608-1至608-5)反映了机器人臂210的实际位置,这些机器人臂通常在将机器人臂210锁定到其相应插管的手动步骤期间移动。在一些实施方案中,以不同的颜色显示表示608以反映手动步骤的成功完成。更新的渲染610可显示有文本612和/或复选标记图标614,以指示该手动步骤的成功完成。
图26C和图26D示出了描绘根据一些实施方案将器械(例如,医疗器械或工具)手动附接到机器人臂210的渲染。图26C示出了包括要附接到机器人臂210的器械622(例如,622-1至622-5)的识别的渲染620(例如,器械模型、视图等)。在一些实施方案中,该渲染还包括或指示器械要被附接的顺序624(例如,序列,诸如“腹腔镜-先附接”)。在一些实施方案中,器械中的每个器械包括可经由RFID标签追踪的唯一标识符。在器械完全连接并锁定到机器人臂210后,机器人医疗***200(例如,经由一个或多个处理器)可识别机器人臂210上器械的存在以及其对应的器械类型。图26D示出了在手动步骤的成功完成之后,机器人医疗***200显示更新的视图630(例如,更新的器械模型),其中已经装载有器械的机器人臂中的每个机器人臂显示有复选标记632,该复选标记指示相应机器人臂成功完成手动步骤。
iii.显示错误状态的3-D渲染
图27A和图27B示出了3-D渲染用于传达根据一些实施方案的机器人医疗***200的错误状态的用途。
图27A描绘了与将器械(例如,医疗工具)手动附接到机器人臂的工作流程步骤相对应的3-D渲染700。在一些实施方案中,根据确定用户没有完成工作流程步骤(例如,用户跳过了工作流程步骤),机器人医疗***200可以示具有错误信息的渲染700(例如,渲染700显示机器人医疗***内检测到错误的错误状态702或错误指示符、位置(例如,机器人臂的识别),和/或描述错误细节的信息704,诸如错误的原因)。在一些实施方案中,渲染700还包括用户可选择的可视线索706(例如,按钮),该可视线索在被用户选择时提供引导用户完成工具附接步骤的指导(例如,以视频、音频和/或文本等的形式)。
图27B示出了根据一些实施方案的机器人医疗***200在医疗规程期间(例如,在术中阶段期间)显示(例如在用户界面、塔式悬架等上)的视图710。在一些实施方案中,视图710对应于医疗规程的现场视图712(例如,由附接到机器人臂210的相机机捕获)。在一些实施方案中,视图710包括实时描绘机器人医疗***200的术中状态的渲染714,以传达规程期间的故障、错误和/或状态。在图27B的示例中,渲染714包括机器人臂4旁边的警告符号716和伴随的描述718,该描述指示机器人臂4上存在未解决的故障。
iv.覆盖在3-D渲染上用于附加指导/目标位置的辅助图形
根据本公开的一些实施方案,可生成图形(例如,图形表示)并覆盖在3-D渲染上,以帮助引导用户理解需要对机器人医疗***做什么来完成工作流程。在一些实施方案中,图形可包括诸如点的0-D对象、诸如线的1-D对象和/或诸如感兴趣的区域或区的2-D对象。在一些实施方案中,图形可表示“目标位置”,其示出在工作流程步骤结束时一个或多个机器人臂需要移动到的位置。
图28A和图28B示出了描绘机器人医疗***200在术中(例如,外科手术)阶段期间的实时状态的3-D渲染,其中患者支撑平台和/或臂支撑件从倾斜位置调平到水平位置(例如,以便于外科手术操作)。
图28A示出了对应于机器人医疗***200的实时状态的3-D渲染800,其中患者支撑平台202(在该渲染中表示为元件802)关于纵轴倾斜(例如,滚动)。覆盖在3-D渲染上的是引导线804(例如,图形、调平线、水平线等),该引导线指示患者支撑平台(例如,台)的水平位置,以引导用户完成调平步骤。例如,用户可查看表示802与引导线804之间的相对角度,然后尝试在正确的方向上调节患者支撑平台202(例如,通过保持显示器上的用户界面控制,或激活机器人医疗***200上的按钮),使得表示802与引导线804对齐(这对应于患者支撑平台202变为调平(也称为具有水平位置))。
在一些实施方案中,当朝向水平位置调节患者支撑平台202时,连续更新表示804以反映患者支撑平台202的倾斜角度的变化。在一些实施方案中,当用户调节患者支撑平台202时,引导线804保持静止(例如,固定),而表示802连续更新。在一些实施方案中,当用户调节患者支撑平台202时,引导线804保持调平(例如,水平)但是高度(例如,竖直位置)发生变化以匹配表示802的高度,该高度随着患者支撑平台202的倾斜角度的变化而变化。
图28B示出了描绘了患者支撑平台和臂支撑件(例如,轨道)的调平步骤的完成的3-D渲染810。图28B示出了当步骤完成时,渲染810被更新为包括邻近引导线804的复选标记814(例如,绿色复选标记、复选标记图标等),该复选标记指示患者支撑平台的调平完成。图28B还示出了渲染810被更新为包括邻近引导线812的对应于臂支撑件(例如,轨道)的复选标记816,以指示臂支撑件的调平完成。在该示例中,有两个复选标记816,每个复选标记对应于相应的臂支撑件220(例如,左臂支撑件和右臂支撑件)。
v.传送机器人状态的预先渲染的视觉设置
在一些情况下,包括患者支撑平台和/或机器人臂的机器人医疗***的一系列预先渲染的图像(例如,2-D视觉设置或预先渲染的3-D图像)可用于传送机器人状态/选择/完成/故障。机器人医疗***的图像将在移动到新位置完成时进行更新。这可能比生成实时3-D渲染消耗更少的计算能力,从而又允许在具有有限图形计算资源的电子部件中(例如,在悬架硬件上)呈现机器人医疗***的图形表示。
图29A至图29C示出了预先渲染的图像用于传送根据一些实施方案的机器人医疗***的状态的用途。
图29A示出了规程位姿的预先渲染的2-D图像900和提示用户选择用户想要控制的机器人医疗***的一侧的提示902。在该示例中,用户选择机器人臂在图像900中患者支撑平台两侧的表示904(例如,通过轻击患者支撑平台两侧的机器人臂、轻击标签914(例如,“A”和“B”)、或者轻击图像900中的标签915(例如,“全选”)。
图29B示出了根据用户选择,机器人医疗***200显示预先渲染的图像910,其中机器人臂的表示912以不同于图像900中的表示904的方式(例如,以不同的颜色、不同的线条粗细、突出显示、视觉强调等)进行渲染,以指示(并反映)用户选择。在一些实施方案中,图像910中的标签914(例如,“A”和“B”)和/或文本916(例如,“两侧”)以不同于图像900中的标签和/或文本的方式(例如,使用例如颜色、字体、大小和/或样式进行视觉强调)进行渲染,以反映对机器人臂的用户选择和/或机器人臂210根据用户选择的移动。
图29C示出了在机器人医疗***200已经将机器人臂210移动到规程位姿后显示的预先渲染的图像920。在图像920中,机器人臂的表示922以不同于图像中描绘的机器人医疗***的其他部分(和/或来自图像910中的表示912和/或图像900中的表示904)的方式(例如,以不同的颜色、不同的线条粗细、突出显示、视觉强调等)进行渲染,以在视觉上强调机器人臂的新位置。
在一些实施方案中,预先渲染的图像(诸如图像900、910和920)本地存储在机器人医疗***200上和/或远程存储在与机器人医疗***200通信连接的计算机***上。机器人医疗***200根据对机器人医疗***实时状态的确定来即时检索图像。使用从图29A到图29B的转变作为示例,机器人医疗***200可检测对机器人臂在患者支撑平台两侧上的表示的用户选择。根据该检测,机器人医疗***200检索预先渲染的图像910,该预先渲染的图像包括表示912、标签914和/或文本916。当机器人臂210的移动完成时,机器人医疗***200检索(例如,选择)图像920并显示图像920,该图像是对应于机器人臂在患者支撑平台两侧上的移动完成的图像。
D.实时3-D机器人状态的示例性过程
图30A至图30E示出了根据一些实施方案的用于由机器人医疗***(例如,如图21和图22中所示的机器人医疗***200,或机器人外科手术平台等)的一个或多个处理器(例如,一个或多个处理器380)执行的方法1000的流程图。机器人医疗***包括一个或多个处理器以及存储供一个或多个处理器执行的指令的存储器。
机器人医疗***包括一个或多个机器人臂(例如,图21、图22、图23A、图23B和图23C中的机器人臂210)。在一些实施方案中,一个或多个机器人臂用于执行医疗规程。机器人臂中的每个机器人臂能够保持相应的器械。在一些实施方案中,一个或多个机器人臂联接到可调式臂支撑件(例如,可调式臂支撑件或杆220)。
机器人医疗***包括一个或多个显示器(例如,交互式显示器、触摸屏显示器、包括用户界面的显示器等)。在一些实施方案中,一个或多个显示器包括一个或多个交互式观察器,用于显示一个或多个机器人臂的3-D渲染。在一些实施方案中,一个或多个显示器位于塔式观察器、外科医生观察器、机器人医疗***的床/塔式悬架上。在一些实施方案中,一个或多个显示器可以位于任何悬架(例如,远程悬架)上,该悬架用作机器人医疗***的一部分。
机器人医疗***显示(1002)(例如,生成和显示)(例如,在一个或多个显示器上)包括一个或多个机器人臂的图形表示的三维(3-D)渲染。
机器人医疗***根据对应于规程(例如,医疗规程)的预先编程的(例如,预定义)的工作流程来更新(1004)(例如,改变、刷新等)3-D渲染(例如,自动地、实时地、每10秒、30秒、60秒等一次,无需用户无需用户干预等),以引导用户(例如,外科医生、外科医生助理、患者侧工作人员等)通过规程(例如,医疗规程、规程的一个或多个阶段等)。
在一些实施方案中,更新3-D渲染包括:在空间上旋转3-D渲染(例如,绕竖直轴),从而以各种角度(例如,视点)呈现机器人医疗***的视图(例如,更新3-D渲染包括从第一视点呈现机器人医疗***的第一视图,随后用来自不同于第一视点的第二视点的机器人医疗***的第二视图来替换机器人医疗***的第一视图)。在一些实施方案中,更新3-D渲染包括:旋转3-D渲染并在场景(例如,视场、视点等)处暂停,该场景包括完成工作流程过程的步骤的特定元件。在一些实施方案中,更新3-D渲染包括:改变(例如,改变、调节等)机器人医疗***的视场(例如,角度)(例如,机器人医疗***的虚拟相机看到的视图)。
在一些实施方案中,3-D渲染包括机器人医疗***的等轴视图。在一些实施方案中,更新3-D渲染包括:将3-D渲染从等轴视图平移(例如,动态地、自动地、实时地)到平面图,以聚焦于机器人臂的特定元件(例如,特定接头、特定连杆、装置操纵器、附接到机器人臂上的工具等)或可调式臂支撑件和/或患者支撑平台的一部分。
在一些实施方案中,机器人医疗***包括患者支撑平台(例如,患者支撑平台202,诸如台、床等)。机器人医疗***根据工作流程执行(1006)一个或多个机器人臂相对于患者支撑平台的空间配置调节(例如,机器人臂的接头和/或连杆的位置和/或取向的调节或改变)。机器人医疗***根据空间配置调节更新(1008)3-D渲染(例如,自动地、实时地等)以反映一个或多个机器人臂的位置变化(例如,准确地反映机器人臂和/或底层杆相对于患者支撑平台的实际***状态)。
在一些实施方案中,机器人医疗***根据工作流程引起(1010)(例如,执行)患者支撑平台从第一位置到第二位置的移动。例如,移动可包括平移、旋转和/或倾斜移动。机器人医疗***更新(1012)3-D渲染(例如,自动地、实时地等)以反映患者支撑平台的移动。
在一些实施方案中,机器人医疗***包括一个或多个可调式臂支撑件(例如,臂支撑件220、底层杆等),一个或多个可调式臂支撑件可移动地联接到一个或多个机器人臂。可调式臂支撑件中的每个可调式臂支撑件能够倾斜、旋转和/或平移。机器人医疗***根据工作流程引起(1014)(例如,执行)一个或多个可调式臂支撑件相对于一个或多个机器人臂的移动。例如,移动可包括平移、旋转和/或倾斜移动,机器人医疗***更新(1016)3-D渲染(例如,自动地、实时地等)以反映一个或多个可调式臂的位置变化(例如,相对于一个或多个机器人臂的位置变化)。
在一些实施方案中,机器人医疗***包括一个或多个机器人臂,一个或多个机器人臂可移动地联接到一个或多个可调式臂支撑件。
在一些实施方案中,机器人医疗***包括多个机器人臂和至少两个可调式臂支撑件。机器人臂中的每个机器人臂可移动地联接到相应的臂支撑件。
在一些实施方案中,机器人医疗***接收(1018,图30B)(例如,经由一个或多个显示器)对3-D渲染的一部分的用户选择。例如,如关于图24A所讨论的,用户选择可包括直接的用户选择和/或间接的用户选择。根据用户选择,机器人医疗***以视觉上与3-D渲染的其他部分不同的方式(例如,突出显示、加阴影、以不同的颜色,其视觉效果诸如脉冲和/或其他视觉强调、以不同的字体大小和/或字体颜色等)显示(1020)用户选择的部分。
在一些实施方案中,预先编程的工作流程包括(1022)一个或多个阶段,一个或多个阶段包括:术前阶段(例如,设置阶段)、术中阶段(例如,术中操作阶段)和/或术后阶段(例如,拆线阶段)。
在一些实施方案中,更新的3-D渲染传达机器人医疗***在医疗规程的各个阶段的状态,诸如臂和/或臂支撑件的位姿(例如,位置和/或取向)、附接到其上的器械、警告/错误消息等。
在一些实施方案中,术前阶段的步骤包括:将一个或多个机器人臂从收起位置展开(1024)成展开位置。
在一些实施方案中,术前阶段的步骤包括:将一个或多个机器人臂移动(1026)到悬垂位姿。
在一些实施方案中,术前阶段的步骤包括:将一个或多个机器人臂放置(1028)成对接状态。例如,在一些实施方案中,机器人臂对接到一个或多个插管,由此一个或多个插管可随后联接到一个或多个对应的器械(例如,机器人控制的医疗器械或工具,诸如内窥镜、腹腔镜和/或可在手术期间使用的任何其他器械)。在一些实施方案中,在机器人臂对接到对应插管的情况下,机器人***确定相对于机器人臂中的每个机器人臂的远程运动中心(RCM)和/或入口端口。
在一些实施方案中,机器人医疗***包括可调式臂支撑件(例如,底层杆),可调式臂支撑件可移动地联接到一个或多个机器人臂。机器人医疗***包括患者支撑平台(例如,床、台等)。术中规程的步骤包括:调平(1030)可调式臂支撑件和患者支撑平台(例如,将可调式臂支撑件和患者支撑平台移动到水平位置、未倾斜位置等)。在一些实施方案中,可调式臂支撑件和/或患者支撑平台的调平发生在从规程中拆线期间(例如,作为术后阶段的步骤)。
在一些实施方案中,预先编程的工作流程的一个或多个阶段中的每个阶段包括一个或多个相应(例如,不同的)步骤。例如,如上所述,设置阶段可包括诸如下面的步骤:将机器人臂和臂支撑件从收起状态展开到展开状态、悬垂机器人臂和臂支撑件、以及对接机器人臂。术后(例如,拆线)阶段可包括诸如下面的步骤:例如移除附接到机器人臂的工具、未对接机器人臂以及调平患者支撑平台和臂支撑件(例如,杆、轨道等)。
在一些实施方案中,机器人医疗***根据确定(例如,识别)机器人医疗***正在执行的步骤来更新3-D渲染。
在一些实施方案中,机器人医疗***识别(1032,图30C)(例如,确定)机器人医疗***对应的(医疗)规程的步骤。机器人医疗***引起(1034)(例如,执行)一个或多个机器人臂中的第一机器人臂的一部分(例如,连杆、接头等)根据所识别的步骤的移动(例如,机器人移动、自动移动、无用户干预的移动等)。在移动期间(1036),机器人医疗***更新(1038)3-D渲染(例如,生成并显示更新的3-D渲染)(例如,连续地、周期性地,诸如每5秒、10秒等一次),以利用视觉上不同于第一机器人臂的其他部分(例如,和/或不同于其他机器人臂)的第一视觉表示来显示(例如,示出、展示等)第一机器人臂的一部分。例如,机器人医疗***可利用包括突出显示、加阴影、不同的颜色和/或诸如脉冲和/或其他视觉强调等视觉效果的第一视觉表示来显示第一机器人臂的一部分。在一些实施方案中,利用第一视觉表示来显示第一机器人臂的一部分包括:以第一颜色显示(1040)该部分,第一颜色不同于与第一机器人臂的其他部分相对应的颜色(例如,和不同于其他机器人臂的颜色)。在移动期间,机器人医疗***更新(1042)3-D渲染以显示(例如,示出、展示、反映等)第一机器人臂的一部分根据移动的位置变化。
例如,在一些实施方案中,机器人医疗***在执行机器人臂的移动时连续确定(例如,每秒、每3秒、每10秒等)机器人臂和/或其底层杆的接头和/或连杆的位置,并根据该确定生成和显示3-D渲染。
在一些实施方案中,在计算能力有限的情况下(例如,塔式悬架硬件上),机器人医疗***可使用患者支撑平台和机器人臂的一系列分层预先渲染的2-D视觉设置来传送机器人状态/选择/完成。例如,机器人医疗***可存储(例如,本地或远程)机器人***的2-D图像,并在完成向新位置的移动时更新图像。
在一些实施方案中,根据所执行的移动,机器人医疗***显示(1044)(例如,与3-D渲染同步、同时进行)用于可视化正在执行的所识别的步骤的进展的进度条(例如,状态栏、进度指示器、图形控制元件等),如图24B所示。
在一些实施方案中,根据移动,机器人医疗***产生(1046)(例如,激活、生成和输出等)音频信号(例如,音频输出)(例如,经由塔式观察器、悬架等)。在一些实施方案中,音频输出与所执行的移动同步。
在一些实施方案中,机器人医疗***确定(1048,图30D)(例如,检测)(例如,使用一个或多个传感器和/或编码器)步骤是否已经完成,根据确定该步骤已经完成,机器人医疗***更新(1050)3-D渲染,以利用与第一视觉表示不同的第二视觉表示来显示第一机器人臂的一部分。例如,在一些实施方案中,第二视觉表示可具有不同的颜色,可撤销(例如,移除)在第一视觉表示中发现的突出显示、加阴影和/或强调。在一些实施方案中,第二视觉表示包括添加复选标记图标以反映步骤的完成。
在一些实施方案中,第一视觉表示对应于(1052)第一颜色,而第二视觉表示对应于不同于第一颜色的第二颜色。
在一些实施方案中,机器人医疗***针对工作流程的步骤中的每个步骤存储机器人臂的接头中的每个接头的起始位置和结束位置。机器人医疗***确定(例如,使用位于臂上的传感器和编码器)接头的实际位置,并将实际位置与存储的位置进行比较,以确定步骤是否已经完成。
在一些实施方案中,在确定工作流程过程的步骤已经完成之后,机器人***继续(例如,自动地)工作流程过程的后续步骤。根据后续步骤,虚拟相机可自动平移到场景(例如,具有角度、视场、视点等)以聚焦于对后续步骤很重要的特定元件。
在一些实施方案中,机器人医疗***包括交互式显示器。在工作流程过程的步骤已经完成之后,用户可在交互式显示器上选择用户可选的选项(例如,图标),该选项指示(例如,使)机器人医疗***继续工作流程的下一个步骤。
再次参考图30D,在一些实施方案中,机器人医疗***包括可调式臂支撑件,可调式臂支撑件可移动地联接到联接的一个或多个机器人臂。机器人医疗***识别(1054)与机器人医疗***相对应的规程的步骤。机器人医疗***引起(1056)(例如,执行、激活)可调式臂支撑件根据所识别的步骤的移动。在移动期间(1058),机器人医疗***更新(1060)(例如,连续地、周期性地等)3-D渲染,以利用视觉上不同于一个或多个机器人臂的第一视觉表示来显示可调式臂支撑件。
在一些实施方案中,利用第一视觉表示来显示可调式臂支撑件包括:以第一颜色显示(1062)可调式臂支撑件,第一颜色不同于与一个或多个机器人臂相对应的颜色。
在一些实施方案中,机器人医疗***显示(1064)可调式臂支撑件根据所执行的移动的位置变化(例如,相对于一个或多个机器人臂)。
参考图30E,在一些实施方案中,机器人医疗***包括患者支撑件。机器人医疗***识别(1066)与机器人医疗***相对应的规程的步骤。机器人医疗***引起(1068)(例如,执行、激活等)患者支撑平台的至少一部分的移动。在移动期间(1070),机器人医疗***更新(1072)3-D渲染,以便利用视觉上与一个或多个机器人臂和/或患者支撑平台的其他部分不同的第一视觉表示来显示患者支撑平台的至少一部分。
在一些实施方案中,利用第一视觉表示来显示患者支撑平台的至少一部分包括:以第一颜色显示(1074)可调式臂支撑件,第一颜色不同于与一个或多个机器人臂相对应的颜色。
在一些实施方案中,机器人医疗***显示(1076)患者支撑平台的至少一部分中的一部分根据所执行的移动的位置变化。
在一些实施方案中,根据确定机器人医疗***正在执行工作流程的特定步骤,机器人医疗***调节(1078)机器人医疗***的虚拟相机的视场(例如,视点、视角、角度等)(例如,虚拟相机的视场对应于用户在显示器上看到的机器人医疗***的视图)以包括(例如,聚焦于)一个或多个机器人臂的特定部分(例如,特定接头、特定连杆、高级装置操纵器(ADM)、工具驱动器、器械驱动器或机器人端部执行器、附接到机器人臂的工具或医疗器械等)。
在一些实施方案中,工作流程的特定步骤可包括:将机器人臂置于对接状态、将一个或多个工具附接在机器人臂上、优化机器人臂的位姿(例如,位置和/或取向)或底层杆、和/或需要用户手动动作的步骤等。作为示例,特定步骤可为对接步骤,其中机器人臂被置于对接状态。在对接期间,虚拟相机会动态变化以聚焦于ADM。3-D渲染(例如,模型)的机器人臂将通过复选标记图标将位置和状态从白色更新为绿色,以反映手动步骤的成功完成。
在一些实施方案中,根据确定(1080)机器人医疗***正在执行工作流程的特定步骤,机器人医疗***生成(1082)图形(例如,不同于3-D渲染的视觉指标、视觉标记)。机器人医疗***将图形显示(1084)为3-D渲染上的覆盖物(例如,在其顶部)。例如,如图28A和图28B所讨论的在一些实施方案中,图形可包括诸如点的0-D对象、诸如线的1-D对象和/或诸如感兴趣的区的2-D对象。在一些实施方案中,图形可表示“目标位置”,其示出在步骤结束时一个或多个机器人臂需要移动到的位置。
图31A至图31C示出了根据一些实施方案的用于由机器人医疗***(例如,如图21和图22中所示的机器人医疗***200,或机器人外科手术平台等)的一个或多个处理器执行的方法1100的流程图。机器人医疗***包括一个或多个处理器以及存储供一个或多个处理器执行的指令的存储器。
机器人医疗***包括一个或多个机器人臂(例如,图21、图22、图23A、图23B、图23C、图24A、图24B、图24C、图26A、图26B、图26C和图26D中的机器人臂210)。在一些实施方案中,一个或多个机器人臂用于执行医疗规程。机器人臂中的每个机器人臂能够保持相应的器械。在一些实施方案中,一个或多个机器人臂联接到可调式臂支撑件(例如,可调式臂支撑件或杆220)。
机器人医疗***包括一个或多个显示器(例如,交互式显示器、触摸屏显示器、包括用户界面的显示器等)。在一些实施方案中,一个或多个显示器包括一个或多个交互式观察器,用于显示一个或多个机器人臂的3-D渲染。在一些实施方案中,一个或多个显示器位于塔式观察器、外科医生观察器、机器人医疗***的床/塔式悬架上。在一些实施方案中,一个或多个显示器可以位于任何悬架(例如,远程悬架)上,该悬架用作机器人医疗***的一部分。
机器人医疗***显示(1102)(例如,在一个或多个显示器上)包括一个或多个机器人臂的三维(3-D)渲染。
机器人医疗***确定(1104)(例如,检测)(例如,自动地、实时地等)用户的手动动作是否已经完成。
在一些实施方案中,手动动作对应于医疗规程的工作流程的步骤。
在一些实施方案中,工作流程包括一个或多个阶段,一个或多个阶段包括:术前阶段(例如,设置阶段)、术中阶段(例如,术中操作阶段)和/或术后阶段(例如,拆线阶段)。
在一些实施方案中,手动动作包括:将机器人臂中的每个机器人臂与对应于机器人臂的相应插管对接(1106)。
在一些实施方案中,在对接机器人臂的同时可能发生的动作是“收起”已展开但不是规程所必需的一个或多个机器人臂(即,未对接但已展开的机器人臂)。如果机器人臂需要收起,则机器人臂将被手动“扭曲并收拢”到在规程期间对床边用户影响最小的位置。在一些实施方案中,更新3-D渲染包括:更新3-D渲染以反映已经收起的一个或多个机器人臂的相应位置,或者更新3-D渲染以排除已经收起的机器人臂。
在一些实施方案中,手动动作包括:将机器人臂中的至少一个机器人臂与第一医疗工具(例如,医疗器械)附接(1108)。在一些实施方案中,第一医疗工具(例如,或附接到相应机器人臂的医疗工具中的每个医疗工具)包括可经由RFID标签追踪的唯一标识符。当第一医疗工具完全连接并锁定到机器人臂时,一个或多个处理器可识别第一医疗工具的存在以及与第一医疗工具相对应的工具类型。
在一些实施方案中,手动动作包括:将机器人臂中的每个机器人臂与相应医疗工具附接(1110)。
在一些实施方案中,根据确定手动动作完成,机器人医疗***更新(1112)(例如,改变、刷新等)(例如,自动地、实时地、无需用户交互、无需用户干预等)3-D渲染。
在一些实施方案中,3-D渲染包括(1114)一个或多个视觉指标,视觉指标中的每个视觉指标对应于机器人臂中的相应一个机器人臂。例如,视觉指标可指示要附接到相应臂的器械、将工具附接到机器人臂的顺序、机器人臂的状态(例如,机器人臂是否正在展开、是否已经对接等)。根据确定手动动作完成,机器人医疗***更新(1116)(例如,实时地、自动地、无需用户干预等)视觉指标中的每个视觉指标以指示手动动作的完成。
在一些实施方案中,更新视觉指标中的每个视觉指标包括:向视觉指标中的每个视觉指标添加复选标记(例如,具有预定义的颜色),以指示手动动作的完成。在一些实施方案中,更新视觉指标中的每个视觉指标包括:更新对应于视觉指标中的每个视觉指标的文本以指示机器人臂的状态(例如,机器人臂是否对接,或者器械是否装载到机器人臂上等)。
在一些实施方案中,手动动作包括:将机器人臂中的每个机器人臂与相应医疗工具附接。机器人医疗***检测(1118)(例如,确定)(例如,自动地、实时地、无需用户干预等)医疗工具从机器人臂中的第一机器人臂中移除(例如,手动移除、分离等)。根据检测,机器人医疗***更新(1120)对应于第一机器人臂的第一视觉指标(例如,通过移除对应于机器人臂的复选标记),以指示医疗工具已经从第一机器人臂中移除。
在一些实施方案中,手动动作包括:将一个或多个机器人臂中的第一机器人臂的一部分(例如,第一机器人臂的一个或多个接头和/或连杆)从第一位置手动移动(1122,图31B)到第二位置。
在一些实施方案中,更新3-D渲染包括:将3-D渲染中的第一机器人臂的位置从第一位置更新(1124)到第二位置。
在一些实施方案中,机器人医疗***针对工作流程步骤中的每个步骤存储机器人臂的位置信息(例如,构型信息)。机器人医疗***可确定机器人医疗***的当前工作流程步骤或接收机器人医疗***处于特定工作流程步骤的用户输入。作为示例,根据机器人医疗***处于工作流程的臂对接步骤的确定或用户输入,***检查插管附接到机器人臂是否完成。当***检测到手动动作已经完成时,一旦***检测到步骤已经完成,臂旁边的复选框将变为绿色。
在一些实施方案中,更新3-D渲染包括:利用视觉上与第一机器人臂的其他部分不同的第一视觉表示来显示(1126)第一机器人臂的一部分。
在一些实施方案中,利用第一视觉表示来显示第一机器人臂的一部分包括:以第一颜色显示(1128)该部分,第一颜色不同于与第一机器人臂的其他部分相对应的颜色。
在一些实施方案中,机器人医疗***检测(1130)第一机器人臂的一部分在执行手动移动时的位置变化。机器人医疗***连续更新(1132)3-D渲染以反映位置变化。
在一些实施方案中,机器人医疗***检测(1134)第一机器人臂的一部分在执行手动移动时的位置变化。根据所执行的移动,机器人医疗***显示(1136)(例如,与3-D渲染同步、同时进行)用于可视化手动动作的进度的进度条(例如,状态栏、进度指示器、图形控制元件等)。
在一些实施方案中,机器人医疗***在执行手动动作时产生(1138,图31C)并输出音频信号。
在一些实施方案中,根据确定手动动作未完成,机器人医疗***显示(1140)错误状态和信息以纠正错误。例如,根据确定用户在成功完成之前已经跳过工作流程步骤,机器人医疗***可显示3-D渲染以显示错误状态、错误发生的位置和/或关于哪里出错的信息。
在一些实施方案中,机器人医疗***包括一个或多个可调式臂支撑件,一个或多个可调式臂支撑件可移动地联接到一个或多个机器人臂。3-D渲染包括一个或多个可调式臂支撑件的渲染(例如,表示、图形等)。
在一些实施方案中,手动动作包括:相对于一个或多个机器人臂移动(1142)一个或多个可调式臂支撑件。更新3-D渲染包括:更新(1144)渲染中的一个或多个可调式臂支撑件相对于一个或多个机器人臂的位置。
在一些实施方案中,机器人医疗***包括患者支撑平台。3-D渲染包括患者支撑平台的渲染。
在一些实施方案中,手动动作包括:将患者支撑平台的至少一部分从第一位置移动(1146)到第二位置。更新3-D渲染包括:将渲染中的患者支撑平台的至少一个部分的位置从第一位置更新(1148)到第二位置。
3.实施***和术语
图32是示出根据一些实施方案的机器人医疗***的电子部件的示意图。
机器人医疗***包括一个或多个处理器380,其与存储用于执行本文描述的任何方法(例如,关于图30A至图30E和图31A至图31C描述的操作)的指令的计算机可读存储介质382(例如,计算机存储器装置,诸如随机存取存储器、只读存储器、静态随机存取存储器和非易失性存储器,以及其他存储装置,诸如硬盘驱动器、光盘、磁带记录或其任何组合)通信。一个或多个处理器380还与输入/输出控制器384通信(经由***总线或任何合适的电路)。输入/输出控制器384从一个或多个传感器388-1、388-2等接收传感器数据,并且将传感器数据中继到一个或多个处理器380。输入/输出控制器384还接收来自一个或多个处理器380的指令和/或数据,并将指令和/或数据中继到一个或多个致动器,诸如第一马达387-1和387-2等。在一些实施方案中,输入/输出控制器384联接到一个或多个致动器控制器386,并且将指令和/或数据提供给一个或多个致动器控制器386的至少一个子集,该至少一个子集又向所选致动器提供控制信号。在一些实施方案中,一个或多个致动器控制器386与输入/输出控制器384成一体,并且输入/输出控制器384将控制信号直接提供给一个或多个致动器387(在没有单独的致动器控制器的情况下)。尽管图32示出了存在一个致动器控制器386(例如,一个致动器控制器用于整个移动医疗平台),但是在一些实施方案中,可以使用附加的致动器控制器(例如,一个致动器控制器用于每个致动器等)。在一些实施方案中,一个或多个处理器380与一个或多个显示器381通信,用于显示如本文所述的信息(例如,三维渲染)。
应当指出的是,如本文所用,术语“联接”或词语联接的其他变型形式可以指示间接连接或直接连接。例如,如果第一部件“联接”到第二部件,则第一部件可经由另一个部件间接连接到第二部件或直接连接到第二部件。
本文所述的用于转变到手动操纵模式的功能可以作为一个或多个指令存储在处理器可读或计算机可读的介质上。术语“计算机可读介质”是指可由计算机或处理器访问的任何可用介质。通过示例而非限制,这种介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、致密盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置,或可以用于存储呈指令或数据结构的形式的期望的程序代码并且可以由计算机访问的任何其他介质。应当指出的是,计算机可读介质可为有形的和非暂态的。如本文所用,术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
本文所公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下,方法步骤和/或动作可彼此互换。换句话讲,除非正在描述的方法的正确操作需要步骤或动作的特定顺序,否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
如本文所用,术语“多个”表示两个或更多个。例如,多个部件指示两个或更多个部件。术语“确定”涵盖多种动作,并且因此,“确定”可包括计算、运算、处理、导出、调查、查找(例如,在表格、数据库或另一种数据结构中查找)、查明等。另外,“确定”可包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。另外,“确定”可包括解析、选择、挑选、建立等。
除非另有明确指明,否则短语“基于”并不意味着“仅基于”。换句话讲,短语“基于”描述“仅基于”和“至少基于”两者。
提供对所公开的实施方案的前述描述以使得本领域的任何技术人员能够制作或使用本发明。对这些实施方案的各种修改对于本领域的技术人员而言将是显而易见的,并且在不脱离本发明的范围的情况下,本文所定义的一般原理可应用于其他实施方案。例如,应当理解,本领域的普通技术人员将能够采用多个对应的替代和等同的结构细节,诸如紧固、安装、联接或接合工具部件的等同方式、用于产生特定致动运动的等同机构、以及用于递送电能的等同机构。另外,尽管描述了一些关于3-D渲染的实施方案,但是本领域普通技术人员将理解所公开的***、装置、设备和方法也可与非3D渲染一起工作。因此,本发明并非旨在限于本文所示的实施方案,而是被赋予符合本文所公开的原理和新颖特征的最广范围。
参照以下条款描述了一些实施方案或具体实施:
条款1.一种机器人医疗***,该机器人医疗***包括:
一个或多个机器人臂;
一个或多个显示器;
一个或多个处理器;以及
存储器,该存储器存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
显示包括该一个或多个机器人臂的图形表示的三维(3-D)渲染;以及
根据与规程相对应的预先编程的工作流程来更新该3-D渲染,以引导用户通过该规程。
条款2.根据条款1所述的机器人医疗***,该机器人医疗***还包括:
患者支撑平台;并且
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据该工作流程执行该一个或多个机器人臂相对于该患者支撑平台的空间配置调节;以及
根据该空间配置调节更新该3-D渲染以反映该一个或多个机器人臂的位置变化。
条款3.根据条款2所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据该工作流程引起该患者支撑平台从第一位置到第二位置的移动;以及
更新该3-D渲染以反映该患者支撑平台的该移动。
条款4.根据条款1至3中任一项所述的机器人医疗***,该机器人医疗***还包括:
一个或多个可调式臂支撑件,该一个或多个可调式臂支撑件能够移动地联接到该一个或多个机器人臂;并且
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据该工作流程引起该一个或多个可调式臂支撑件相对于该一个或多个机器人臂的移动;以及
更新该3-D渲染以反映该一个或多个可调式臂支撑件的位置变化。
条款5.根据条款1至4中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
接收对该3-D渲染的一部分的用户选择;以及
根据该用户选择,以视觉上不同于该3-D渲染的其他部分的方式显示用户选择的部分。
条款6.根据条款1至5中任一项所述的机器人医疗***,其中,该预先编程的工作流程包括一个或多个阶段,该一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
条款7.根据条款6所述的机器人医疗***,其中,该术前阶段的步骤包括:将该一个或多个机器人臂从收起位置展开成展开位置。
条款8.根据条款6或条款7所述的机器人医疗***,其中,该术前阶段的步骤包括:将该一个或多个机器人臂移动到悬垂位姿。
条款9.根据条款6至8中任一项所述的机器人医疗***,其中,该术前阶段的步骤包括:将该一个或多个机器人臂放置成对接状态。
条款10.根据条款6至9中任一项所述的机器人医疗***,该机器人医疗***还包括:
可调式臂支撑件,该可调式臂支撑件能够移动地联接到该一个或多个机器人臂;以及
患者支撑平台,
其中术中规程的步骤包括:调平该可调式臂支撑件和该患者支撑平台。
条款11.根据条款6至10中任一项所述的机器人医疗***,其中,该预先编程的工作流程的该一个或多个阶段中的每个阶段包括一个或多个相应步骤。
条款12.根据条款11所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
识别与该机器人医疗***相对应的该规程的步骤;
引起该一个或多个机器人臂中的第一机器人臂的一部分根据所识别的步骤的移动;以及
在该移动期间,更新该3-D渲染以:
利用视觉上与该第一机器人臂的其他部分不同的第一视觉表示来显示该第一机器人臂的该部分;以及
显示该第一机器人臂的该部分根据所执行的移动的位置变化。
条款13.根据条款12所述的机器人医疗***,其中,利用该第一视觉表示来显示该第一机器人臂的该部分包括:以第一颜色显示该部分,该第一颜色不同于与该第一机器人臂的该其他部分相对应的颜色。
条款14.根据条款12或条款13所述的机器人医疗***,其中,该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器在该移动期间显示用于可视化正在执行的所识别的步骤的进度的进度条。
条款15.根据条款12至14中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据该移动产生音频信号。
条款16.根据条款12至15中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
确定该步骤是否已经完成;以及
根据确定该步骤已经完成,更新该3-D渲染,以利用与该第一视觉表示不同的第二视觉表示来显示该第一机器人臂的该部分。
条款17.根据条款16所述的机器人医疗***,其中,该第一视觉表示对应于第一颜色,而该第二视觉表示对应于不同于该第一颜色的第二颜色。
条款18.根据条款11至17中任一项所述的机器人医疗***,该机器人医疗***还包括:
可调式臂支撑件,该可调式臂支撑件能够移动地联接到联接的该一个或多个机器人臂;并且
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
识别与该机器人医疗***相对应的规程的步骤;
引起该可调式臂支撑件根据所识别的步骤的移动;以及
在该移动期间,更新该3-D渲染以:
利用视觉上与该一个或多个机器人臂不同的第一视觉表示来显示该可调式臂支撑件;以及
显示该可调式臂支撑件根据该移动的位置变化。
条款19.根据条款18所述的机器人医疗***,其中,利用该第一视觉表示来显示该可调式臂支撑件包括:以第一颜色显示该显示该可调式臂支撑件,该第一颜色不同于与该一个或多个机器人臂相对应的颜色。
条款20.根据条款11至19中任一项所述的机器人医疗***,该机器人医疗***还包括:
患者支撑平台;
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
识别与该机器人医疗***相对应的规程的步骤;
引起该患者支撑平台的至少一部分的移动;以及
在该移动期间,更新该3-D渲染以:
利用视觉上与该一个或多个机器人臂和/或该患者支撑平台的其他部分不同的第一视觉表示来显示该患者支撑平台的该至少一部分;以及
显示该患者支撑平台的该至少一部分根据该移动的位置变化。
条款21.根据条款20所述的机器人医疗***,其中,利用该第一视觉表示来显示该患者支撑平台的该至少一部分包括:以第一颜色显示该患者支撑平台的该至少一部分,该第一颜色不同于与该一个或多个机器人臂相对应的颜色。
条款22.根据条款1至21中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据确定该机器人医疗***正在执行该工作流程的特定步骤,调节该机器人医疗***的虚拟相机的视场以包括该一个或多个机器人臂的特定部分。
条款23.根据条款1至22中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据确定该机器人医疗***正在执行该工作流程的特定步骤:
生成图形;以及
显示该图形作为该3-D渲染上的覆盖物。
条款24.一种机器人医疗***,该机器人医疗***包括:
一个或多个机器人臂;
一个或多个显示器;
一个或多个处理器;以及
存储器,该存储器存储指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
显示包括该一个或多个机器人臂的三维3-D渲染;
确定用户的手动动作是否已经完成;以及
根据确定该手动动作完成,更新该3-D渲染。
条款25.根据条款24所述的机器人医疗***,其中,该手动动作对应于医疗规程的工作流程的步骤。
条款26.根据条款25所述的机器人医疗***,其中,该工作流程包括一个或多个阶段,该一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
条款27.根据条款24至26中任一项所述的机器人医疗***,其中,该手动动作包括:将该机器人臂中的每个机器人臂与对应于该机器人臂的相应插管对接。
条款28.根据条款24至27中任一项所述的机器人医疗***,其中,该手动动作包括:将该机器人臂中的至少一个机器人臂与第一医疗工具附接。
条款29.根据条款24至28中任一项所述的机器人医疗***,其中,该手动动作包括:将该机器人臂中的每个机器人臂与相应医疗工具附接。
条款30.根据条款24至29中任一项所述的机器人医疗***,其中:
该3-D渲染包括一个或多个视觉指标,这些视觉指标中的每个视觉指标对应于该机器人臂中的相应一个机器人臂;并且
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据确定该手动动作完成,更新这些视觉指标中的每个视觉指标以指示该手动动作的完成。
条款31.根据条款30所述的机器人医疗***,其中:
该手动动作包括:将该机器人臂中的每个机器人臂与相应医疗工具附接;并且
该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
检测医疗工具从该机器人臂中的第一机器人臂中的移除;以及
根据该检测,更新对应于该第一机器人臂的第一视觉指标,以指示该医疗工具已经从该第一机器人臂中移除。
条款32.根据条款24至31中任一项所述的机器人医疗***,其中:
该手动动作包括:将该一个或多个机器人臂中的第一机器人臂的一部分从第一位置手动移动到第二位置。
条款33.根据条款32所述的机器人医疗***,其中,更新该3-D渲染包括:将该3-D渲染中的该第一机器人臂的位置从该第一位置更新到该第二位置。
条款34.根据条款32或条款33所述的机器人医疗***,其中,更新该3-D渲染包括:利用视觉上与该第一机器人臂的其他部分不同的第一视觉表示来显示该第一机器人臂的该部分。
条款35.根据条款34所述的机器人医疗***,其中,利用该第一视觉表示来显示该第一机器人臂的该部分包括:以第一颜色显示该部分,该第一颜色不同于与该第一机器人臂的该其他部分相对应的颜色。
条款36.根据条款32至35中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
检测该第一机器人臂的该部分在执行该手动移动时的位置变化;以及
连续更新该3-D渲染以反映该位置变化。
条款37.根据条款32至36中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
检测该第一机器人臂的该部分在执行该手动移动时的位置变化;以及
根据所执行的移动,显示用于可视化该手动动作的进度的进度条。
条款38.根据条款24至37所述的机器人医疗***,其中,该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器在执行该手动动作时产生并输出音频信号。
条款39.根据条款24至38中任一项所述的机器人医疗***,其中该存储器还包括指令,这些指令在由该一个或多个处理器执行时,使该一个或多个处理器:
根据确定该手动动作未完成,显示错误状态和信息以纠正错误。
条款40.根据条款24至39中任一项所述的机器人医疗***,该机器人医疗***还包括:
一个或多个可调式臂支撑件,该一个或多个可调式臂支撑件能够移动地联接到该一个或多个机器人臂;并且
该3-D渲染包括该一个或多个可调式臂支撑件的渲染。
条款41.根据条款40所述的机器人医疗***,其中,该手动动作包括:相对于该一个或多个机器人臂移动该一个或多个可调式臂支撑件;并且
更新该3-D渲染包括:更新这些渲染中的该一个或多个可调式臂支撑件相对于该一个或多个机器人臂的位置。
条款42.根据条款24至41中任一项所述的机器人医疗***,该机器人医疗***还包括:
患者支撑平台;并且
该3-D渲染包括该患者支撑平台的渲染。
条款43.根据条款42所述的机器人医疗***,其中,该手动动作包括:将该患者支撑平台的至少一部分从第一位置移动到第二位置;并且
更新该3-D渲染包括:将该渲染中的该患者支撑平台的该至少一个部分的位置从该第一位置更新到该第二位置。

Claims (43)

1.一种机器人医疗***,所述机器人医疗***包括:
一个或多个机器人臂;
一个或多个显示器;
一个或多个处理器;以及
存储器,所述存储器存储指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
显示包括所述一个或多个机器人臂的图形表示的三维3-D渲染;以及
根据与规程相对应的预先编程的工作流程来更新所述3-D渲染,以引导用户通过所述规程。
2.根据权利要求1所述的机器人医疗***,所述机器人医疗***还包括:
患者支撑平台;并且
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据所述工作流程执行所述一个或多个机器人臂相对于所述患者支撑平台的空间配置调节;以及
根据所述空间配置调节更新所述3-D渲染以反映所述一个或多个机器人臂的位置变化。
3.根据权利要求2所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据所述工作流程引起所述患者支撑平台从第一位置到第二位置的移动;以及
更新所述3-D渲染以反映所述患者支撑平台的所述移动。
4.根据权利要求1所述的机器人医疗***,所述机器人医疗***还包括:一个或多个可调式臂支撑件,所述一个或多个可调式臂支撑件能够移动地联接到所述一个或多个机器人臂;并且
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据所述工作流程引起所述一个或多个可调式臂支撑件相对于所述一个或多个机器人臂的移动;以及
更新所述3-D渲染以反映所述一个或多个可调式臂支撑件的位置变化。
5.根据权利要求1所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
接收对所述3-D渲染的一部分的用户选择;以及
根据所述用户选择,以视觉上不同于所述3-D渲染的其他部分的方式显示用户选择的部分。
6.根据权利要求1所述的机器人医疗***,其中,所述预先编程的工作流程包括一个或多个阶段,所述一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
7.根据权利要求6所述的机器人医疗***,其中,所述术前阶段的步骤包括:将所述一个或多个机器人臂从收起位置展开成展开位置。
8.根据权利要求6所述的机器人医疗***,其中,所述术前阶段的步骤包括:将所述一个或多个机器人臂移动到悬垂位姿。
9.根据权利要求6所述的机器人医疗***,其中,所述术前阶段的步骤包括:将所述一个或多个机器人臂放置成对接状态。
10.根据权利要求6所述的机器人医疗***,所述机器人医疗***还包括:
可调式臂支撑件,所述可调式臂支撑件能够移动地联接到所述一个或多个机器人臂;以及
患者支撑平台,
其中术中规程的步骤包括:调平所述可调式臂支撑件和所述患者支撑平台。
11.根据权利要求6所述的机器人医疗***,其中,所述预先编程的工作流程的所述一个或多个阶段中的每个阶段包括一个或多个相应步骤。
12.根据权利要求11所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
识别与所述机器人医疗***相对应的所述规程的步骤;
引起所述一个或多个机器人臂中的第一机器人臂的一部分根据所识别的步骤的移动;以及
在所述移动期间,更新所述3-D渲染以:
利用视觉上与所述第一机器人臂的其他部分不同的第一视觉表示来显示所述第一机器人臂的所述部分;以及
显示所述第一机器人臂的所述部分根据所执行的移动的位置变化。
13.根据权利要求12所述的机器人医疗***,其中,利用所述第一视觉表示来显示所述第一机器人臂的所述部分包括:以第一颜色显示所述部分,所述第一颜色不同于与所述第一机器人臂的所述其他部分相对应的颜色。
14.根据权利要求12所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器在所述移动期间显示用于可视化正在执行的所识别的步骤的进度的进度条。
15.根据权利要求12所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据所述移动产生音频信号。
16.根据权利要求12所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
确定所述步骤是否已经完成;以及
根据确定所述步骤已经完成,更新所述3-D渲染,以利用与所述第一视觉表示不同的第二视觉表示来显示所述第一机器人臂的所述部分。
17.根据权利要求16所述的机器人医疗***,其中,所述第一视觉表示对应于第一颜色,而所述第二视觉表示对应于不同于所述第一颜色的第二颜色。
18.根据权利要求11所述的机器人医疗***,所述机器人医疗***还包括:
可调式臂支撑件,所述可调式臂支撑件能够移动联接到联接的所述一个或多个机器人臂;并且
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
识别与所述机器人医疗***相对应的规程的步骤;
引起所述可调式臂支撑件根据所识别的步骤的移动;以及
在所述移动期间,更新所述3-D渲染以:
利用视觉上与所述一个或多个机器人臂不同的第一视觉表示来显示所述可调式臂支撑件;以及
显示所述可调式臂支撑件根据所述移动的位置变化。
19.根据权利要求18所述的机器人医疗***,其中,利用所述第一视觉表示来显示所述可调式臂支撑件包括:以第一颜色显示所述显示所述可调式臂支撑件,所述第一颜色不同于与所述一个或多个机器人臂相对应的颜色。
20.根据权利要求11所述的机器人医疗***,所述机器人医疗***还包括:
患者支撑平台;
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
识别与所述机器人医疗***相对应的规程的步骤;
引起所述患者支撑平台的至少一部分的移动;以及
在所述移动期间,更新所述3-D渲染以:
利用视觉上与所述一个或多个机器人臂和/或所述患者支撑平台的其他部分不同的第一视觉表示来显示所述患者支撑平台的所述至少一部分;以及
显示所述患者支撑平台的所述至少一部分根据所述移动的位置变化。
21.根据权利要求20所述的机器人医疗***,其中,利用所述第一视觉表示来显示所述患者支撑平台的所述至少一部分包括:以第一颜色显示所述患者支撑平台的所述至少一部分,所述第一颜色不同于与所述一个或多个机器人臂相对应的颜色。
22.根据权利要求1所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据确定所述机器人医疗***正在执行所述工作流程的特定步骤,调节所述机器人医疗***的虚拟相机的视场以包括所述一个或多个机器人臂的特定部分。
23.根据权利要求1所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据确定所述机器人医疗***正在执行所述工作流程的特定步骤:
生成图形;以及
显示所述图形作为所述3-D渲染上的覆盖物。
24.一种机器人医疗***,所述机器人医疗***包括:
一个或多个机器人臂;
一个或多个显示器;
一个或多个处理器;以及
存储器,所述存储器存储指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
显示包括所述一个或多个机器人臂的三维3-D渲染;
确定用户的手动动作是否已经完成;以及
根据确定所述手动动作完成,更新所述3-D渲染。
25.根据权利要求24所述的机器人医疗***,其中,所述手动动作对应于医疗规程的工作流程的步骤。
26.根据权利要求25所述的机器人医疗***,其中,所述工作流程包括一个或多个阶段,所述一个或多个阶段包括:术前阶段、术中阶段和/或术后阶段。
27.根据权利要求24所述的机器人医疗***,其中,所述手动动作包括:将所述机器人臂中的每个机器人臂与对应于所述机器人臂的相应插管对接。
28.根据权利要求24所述的机器人医疗***,其中,所述手动动作包括:将所述机器人臂中的至少一个机器人臂与第一医疗工具附接。
29.根据权利要求24所述的机器人医疗***,其中,所述手动动作包括:将所述机器人臂中的每个机器人臂与相应医疗工具附接。
30.根据权利要求24所述的机器人医疗***,其中:
所述3-D渲染包括一个或多个视觉指标,所述视觉指标中的每个视觉指标对应于所述机器人臂中的相应一个机器人臂;并且
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据确定所述手动动作完成,更新所述视觉指标中的每个视觉指标以指示所述手动动作的完成。
31.根据权利要求30所述的机器人医疗***,其中:
所述手动动作包括:将所述机器人臂中的每个机器人臂与相应医疗工具附接;并且
所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
检测医疗工具从所述机器人臂中的第一机器人臂中的移除;以及
根据所述检测,更新对应于所述第一机器人臂的第一视觉指标,以指示所述医疗工具已经从所述第一机器人臂中移除。
32.根据权利要求24所述的机器人医疗***,其中:
所述手动动作包括:将所述一个或多个机器人臂中的第一机器人臂的一部分从第一位置手动移动到第二位置。
33.根据权利要求32所述的机器人医疗***,其中,更新所述3-D渲染包括:将所述3-D渲染中的所述第一机器人臂的位置从所述第一位置更新到所述第二位置。
34.根据权利要求32所述的机器人医疗***,其中,更新所述3-D渲染包括:利用视觉上与所述第一机器人臂的其他部分不同的第一视觉表示来显示所述第一机器人臂的所述部分。
35.根据权利要求34所述的机器人医疗***,其中,利用所述第一视觉表示来显示所述第一机器人臂的所述部分包括:以第一颜色显示所述部分,所述第一颜色不同于与所述第一机器人臂的所述其他部分相对应的颜色。
36.根据权利要求32所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
检测所述第一机器人臂的所述部分在执行所述手动移动时的位置变化;以及
连续更新所述3-D渲染以反映所述位置变化。
37.根据权利要求32所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
检测所述第一机器人臂的所述部分在执行所述手动移动时的位置变化;以及
根据所执行的移动,显示用于可视化所述手动动作的进度的进度条。
38.根据权利要求24所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器在执行所述手动动作时产生并输出音频信号。
39.根据权利要求24所述的机器人医疗***,其中,所述存储器还包括指令,所述指令在由所述一个或多个处理器执行时,使所述一个或多个处理器:
根据确定所述手动动作未完成,显示错误状态和信息以纠正错误。
40.根据权利要求24所述的机器人医疗***,所述机器人医疗***还包括:
一个或多个可调式臂支撑件,所述一个或多个可调式臂支撑件能够移动地联接到所述一个或多个机器人臂;并且
所述3-D渲染包括所述一个或多个可调式臂支撑件的渲染。
41.根据权利要求40所述的机器人医疗***,其中,所述手动动作包括:相对于所述一个或多个机器人臂移动所述一个或多个可调式臂支撑件;并且
更新所述3-D渲染包括:更新所述渲染中的所述一个或多个可调式臂支撑件相对于所述一个或多个机器人臂的位置。
42.根据权利要求24所述的机器人医疗***,所述机器人医疗***还包括:
患者支撑平台;并且
所述3-D渲染包括所述患者支撑平台的渲染。
43.根据权利要求42所述的机器人医疗***,其中,所述手动动作包括:将所述患者支撑平台的至少一部分从第一位置移动到第二位置;并且
更新所述3-D渲染包括:将所述渲染中的所述患者支撑平台的所述至少一个部分的位置从所述第一位置更新到所述第二位置。
CN202280065338.8A 2021-09-28 2022-09-14 实时3d机器人状态 Pending CN118102998A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163249491P 2021-09-28 2021-09-28
US63/249491 2021-09-28
PCT/IB2022/058653 WO2023052881A1 (en) 2021-09-28 2022-09-14 Real-time 3d robotic status

Publications (1)

Publication Number Publication Date
CN118102998A true CN118102998A (zh) 2024-05-28

Family

ID=85781428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280065338.8A Pending CN118102998A (zh) 2021-09-28 2022-09-14 实时3d机器人状态

Country Status (3)

Country Link
KR (1) KR20240076809A (zh)
CN (1) CN118102998A (zh)
WO (1) WO2023052881A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110251047B (zh) * 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印
CN106999248B (zh) * 2014-06-19 2021-04-06 Kb医疗公司 用于执行微创外科手术的***及方法
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool
US11234779B2 (en) * 2019-09-10 2022-02-01 Verb Surgical. Inc. Handheld user interface device for a surgical robot

Also Published As

Publication number Publication date
KR20240076809A (ko) 2024-05-30
WO2023052881A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
CN113164184B (zh) 能够手动地和机器人地控制的医疗器械
EP3989793A1 (en) Console overlay and methods of using same
CN112752534A (zh) 用于手动和机器人驱动医疗器械的装置、***和方法
EP3856065A1 (en) Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
CN113613580A (zh) 用于使医疗器械上的输入部对准的***和方法
WO2020131186A1 (en) Systems and methods for robotic arm alignment and docking
US11931901B2 (en) Robotic medical system with collision proximity indicators
CN114375182A (zh) 用于使用共享机器人自由度进行运动学优化的***和方法
CN114269279A (zh) 用于调节医疗规程中的远程中心距离的***和方法
CN114423372A (zh) 机器人工具的协调运动
CN114449971A (zh) 使用对象模型来避免碰撞的***和方法
CN116367789A (zh) 控制运动链的运动的***和方法
CN115334993A (zh) 用于医疗器械的约束运动控制的***和方法
CN116648206A (zh) 机器人臂的接触感测和接触反应的***和方法
CN116249498A (zh) 基于非接触信息的外科机器人中的碰撞避免
US20230200922A1 (en) Port placement assistance
US20230190394A1 (en) Instrument insertion assistant
US20220409313A1 (en) Systems and methods for master-slave control of robotic arms from patient side
CN116322551A (zh) 基于接触信息检测的外科机器人中的碰撞避免
CN114449958A (zh) 机器人致动的医疗牵开器
CN118102998A (zh) 实时3d机器人状态
US20230081437A1 (en) Patient 3-d scanning and methods for optimizing port placement
US20240024048A1 (en) Systems and methods for establishing procedural setup of robotic medical systems
WO2024013651A1 (en) Dynamic flexible scope drive and methods of using same
WO2023126770A1 (en) Offscreen indicator viewer user interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication