CN105992568B - 手术仪器可见性的机器人控制 - Google Patents

手术仪器可见性的机器人控制 Download PDF

Info

Publication number
CN105992568B
CN105992568B CN201580008132.1A CN201580008132A CN105992568B CN 105992568 B CN105992568 B CN 105992568B CN 201580008132 A CN201580008132 A CN 201580008132A CN 105992568 B CN105992568 B CN 105992568B
Authority
CN
China
Prior art keywords
endoscopic images
endoscope
robot
intervention
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580008132.1A
Other languages
English (en)
Other versions
CN105992568A (zh
Inventor
A·波波维奇
D·P·努南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105992568A publication Critical patent/CN105992568A/zh
Application granted granted Critical
Publication of CN105992568B publication Critical patent/CN105992568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A61B1/00133—Drive units for endoscopic tools inserted through or with the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

机器人引导***采用机器人单元(10)和控制单元(20)，所述机器人单元(10)包括内窥镜(12)和机器人(11)，所述控制单元(20)包括内窥镜图像控制器(22)和机器人控制器(21)。在操作中，当机器人(11)响应于机器人致动器命令而在解剖区域内移动内窥镜(12)时，内窥镜(12)生成解剖区域的内窥镜图像。内窥镜图像控制器(22)控制对解剖区域的内窥镜图像(14)的显示，并且生成内窥镜姿势命令以在内窥镜图像(14)的显示内维持两个或更多个介入仪器相对于内窥镜图像(14)的中心的可见性。机器人控制器(21)响应于内窥镜姿势命令而生成机器人致动器命令。

Description

手术仪器可见性的机器人控制
技术领域
本发明总体上涉及在微创手术过程(例如，微创冠状动脉旁路移植手术)期间的对内窥镜的机器人控制。本发明具体地涉及在内窥镜图像内维持手术仪器的可见性。
背景技术
使用通过小端口被***患者的身体的细长仪器来执行微创手术。内窥镜相机经由小端口也被***患者以提供仪器相对于手术部位的可视化。例如，图1示出了通过小端口将细长仪器30***患者的身体以及通过小端口将内窥镜相机12也***患者的身体以提供仪器30相对于手术部位的可视化。
当前，外科医生在手术期间握住并且手动控制两(2)个手术仪器，并且医师助理在手术期间控制内窥镜并且接收来自外科医生的指令以将内窥镜移动到特定位置。内窥镜的准确期望位置很难传达给医师助理，尤其考虑到在到身体的入口围绕枢转点移动内窥镜和仪器所要求的挑战性的手眼协调，以及考虑到外科医生、医师助理和视频图像的不同位置和参考系。例如，在视频图像的“左”可以意味着在医师助理手边的“右和下”。
为了克服这些困难，在本领域中已经提出了使用自动设备或机器人(例如，在图1中示出的机器人11)来控制内窥镜，本质上在手术期间使医师助理去除该任务。然而，考虑到外科医生用两只手正在控制两(2)个仪器，医师可以控制机器人内窥镜的方法是重要的，并且在本领域中已经解决了许多命题。
例如，一个命题提出了光学目标被放在手术仪器上以允许机器人内窥镜被放置使得标记在图像的中心。用于将机器人内窥镜引导到在图像的中心的标记放置的已知输入设备包括，但不限于，头部运动传感器、操纵杆和语音控制。备选地，可以通过确定关于内窥镜的解剖特征的三维(“3D”)位置并且移动内窥镜或手术仪器朝向解剖特征而从实况内窥镜图像中引导机器人内窥镜。
上述命题假设操作外科医生负责将仪器保持在内窥镜的视场中。实际上，通常出现两个问题：首先，外科医生通常将一个或两个仪器移动到内窥镜视图之外。其次，机器人***可以围绕其自己的轴旋转，改变仪器在屏幕上的空间布置。这两个情形非常具有挑战和风险。额外地，前述命题涉及执行运动的校准内窥镜。然而，内窥镜的校准对于医务人员是技术性挑战并且优选地应当被避免。
发明内容
为了解决这些缺点，本发明提供对机器人内窥镜的引导，从而所有相关仪器在内窥镜视场中总是可见的。本发明还提供对机器人内窥镜的引导，从而实现对内窥镜的恰当的旋转和缩放。
本发明的一个形式是机器人引导***，所述机器人引导***采用包括内窥镜和机器人的机器人单元和包括内窥镜图像控制器和机器人控制器的控制单元。在操作中，当机器人响应于机器人致动器命令而在解剖区域内移动内窥镜时，内窥镜生成解剖区域的内窥镜图像。内窥镜图像控制器控制对解剖区域的内窥镜图像的显示，并且生成内窥镜姿势命令以在内窥镜图像的显示内维持两个或更多个介入仪器相对于内窥镜图像的中心的可见性。机器人控制器响应于内窥镜姿势命令而生成机器人致动器命令。
本发明的第二形式是机器人引导方法，其涉及内窥镜的操作以生成和显示解剖区域的内窥镜图像，以及当内窥镜正在生成解剖区域的内窥镜图像时，命令机器人将内窥镜在解剖区域内移动。机器人的命令在内窥镜图像的显示内维持两个或更多介入仪器相对于内窥镜图像的中心的可见性。
附图说明
结合附图阅读本发明，根据本发明的各种实施例的以下详细描述，本发明的前述形式和其他形式以及本发明的各种特征和优点将变得更加显而易见。详细描述和附图仅仅是图示本发明，而非限制，通过附加权利要求和其等价物定义本发明的范围。
图1图示了如本领域中已知的在手术过程期间的内窥镜的范例性机器人控制。
图2图示了根据本发明的机器人引导***的范例性实施例。
图3图示了表示根据本发明的仪器可见性控制方法的范例性实施例的流程图。
图4图示了根据本发明的范例性内窥镜视场。
图5图示了在图3中示出的仪器可见性控制方法的范例性枢转模式。
图6图示了在图3中示出的仪器可见性控制方法的范例性缩放模式。
图7图示了如本领域中已知的未经校准的内窥镜的范例性跟踪。
图8图示了根据本发明的范例性缩放边界。
图9图示了在图3中示出的仪器可见性控制方法的范例性旋转模式。
具体实施方式
如图2所示，机器人引导***采用用于任何内窥镜过程的机器人单元10和控制单元20，其涉及解剖区域(例如，颅骨区域、胸区域、腹部区域、膝盖骨区域等)的内窥镜成像。这样的内窥镜过程的范例包括，但不限于，微创心脏手术(例如，冠状动脉旁路移植或二尖瓣置换术)、腹腔镜手术(例如，子宫切除、***切除和胆囊手术)、经自然腔道内镜手术(NOTES)、单切口腹腔镜手术(SILS)、肺/支气管镜手术和微创诊断介入(例如，关节镜检查)。
机器人单元10包括机器人11、被刚性附接到机器人11的内窥镜12和被附接到内窥镜12的视频捕获设备13。
在本文中，机器人11被广义定义为根据特定机器人过程需要在结构上被配置具有用于操纵末端效应器的一个或多个接合的机动化控制的任何机器人设备。实际上，机器人11具有最小二(2)个自由度以确保所有仪器在内窥镜视场中总是可见的，机器人11具有最小三(3)个自由度，用于在内窥镜视场中和之外对可见仪器进行缩放，以及机器人具有最小四(4)个自由度用于在内窥镜视场中旋转可见仪器。
在本文中，内窥镜12被广义定义为在结构上被配置具有从身体内成像的能力的任何设备。为了达到本发明的目的，内窥镜12的范例包括但不限于，弹性或刚性的任何类型的窥镜(例如，内窥镜、关节内窥镜、支气管窥镜、胆管镜、结肠镜、膀胱镜、十二指肠镜、胃镜、宫腔镜、腹腔镜、喉镜、神经内窥镜、耳镜、推送肠镜、鼻喉镜、乙状结肠镜、窦窥镜、胸腔镜等)以及类似于配备具有成像***(例如，成像的嵌套套管)的窥镜的任何设备。成像是局部的，并且利用纤维光学、透镜和小型化(例如，基于CCD)成像***可以以光学方式获得表面图像。
实际上，内窥镜12被安装到机器人11的末端效应器上。机器人11的末端效应器的姿势是末端效应器在机器人的致动器的坐标系内的位置和取向。在内窥镜12被安装到机器人11的末端效应器的情况下，解剖区域内的内窥镜12的视场(“FOV”)的任何给定姿势对应于机器人坐标系内的机器人11的末端效应器的不同姿势。因此，由内窥镜12生成的解剖区域的每幅不同的个体内窥镜图像可以被链接到机器人坐标系内的内窥镜12的对应姿势。
在本文中，视频捕获设备13被广义定义为在结构上被配置为具有将来自内窥镜12的内窥镜视频信号转化为内窥镜图像帧(“EIF”)14的计算机可读时间序列的能力的任何设备。实际上，视频捕获设备13可以采用任何类型的帧抓取器，以捕获来自内窥镜视频信号的单独数字静止帧。
仍参考图1，控制单元20包括机器人控制器21和内窥镜图像控制器25。
在本文中，机器人控制器21被广义定义为根据内窥镜过程需要在结构上被配置为向如本领域中已知的机器人11提供一个或多个机器人致动器命令(“RAC”)29以控制机器人11的末端效应器的姿势的任何控制器。更具体地，机器人控制器21采用操作者命令模块(“OCM”)22用于将来自控制单元20的操作者的操作者姿势命令(“OPC”)27转换为本领域中已知的机器人致动器命令29，并且还采用图像命令模块(“ICM”)24用于将来自内窥镜图像控制器25的内窥镜姿势命令(“EPC”)28转换为如将结合图3-7的描述进一步解释的机器人致动器命令29。
例如，操作者姿势命令27可以指示指引到解剖区域内的内窥镜12的FOV的期望3D姿势的内窥镜路径，从而机器人控制器21将操作者姿势命令27转换为机器人致动器命令29，机器人致动器命令包括将内窥镜12移动(即平移和/或旋转)到解剖区域内的内窥镜12的FOV的期望3D姿势需要对于机器人11的每个电机的致动电流。又例如，内窥镜姿势命令28可以基于到达所述期望3D姿势的内窥镜12的FOV指示仪器可见性控制，从而机器人控制器21将内窥镜姿势命令28转换为机器人致动器命令29，机器人致动器命令包括移动(即平移和/或旋转)内窥镜12以维持在内窥镜12的FOV中的仪器可见性需要对于机器人11的每个电机的致动电流。
在本文中，内窥镜控制器25被广义地定义为如本领域中已知的在结构上被配置用于控制内窥镜图像帧14的内窥镜图像显示的任何控制器。为了本发明的目的，内窥镜图像显示被广义地定义为包括经由内窥镜12的目镜(未示出)和/或通过内窥镜12的录像镜实施例的屏幕监控器(未示出)的内窥镜图像帧14的显示的操作者视图。
为了解决如结合图1本文先前描述的仪器的可见性控制，内窥镜控制器25采用可见性控制模块(“VCM”)26，所述可见性控制模块在结构上被配置用于生成内窥镜姿势命令28以根据图3的流程图40维持内窥镜12的FOV内的经校准或未经校准的仪器的可见性。
参考图3，流程图40的阶段S42包括可见性控制模块26(图2)，如本领域已知其检测和跟踪内窥镜12的FOV内的仪器(图2)，以及流程图40的阶段S44包括模块24，其计算内窥镜运动参数以基于对仪器之间的空间点的选择来维持内窥镜12的FOV内的被检测/被跟踪仪器的可见性。例如，如图4的内窥镜图像14a所示，选择在相应仪器30和31的远尖端30a与31a之间的空间点(例如，中点)，从而机器人11(图2)被控制为(例如，侧向地、纵向地和/或旋转地)移动内窥镜12(图2)，从而将空间点定位在内窥镜图像14a的中心32。实际上，流程图40可以被自动执行具有仪器的每个运动，或可以经由输入设备(例如，在仪器上的按钮、脚踏开关、语音命令等)由控制单元20的操作者调用。
在阶段S42的实施例中，如本领域已知的，可以检测和跟踪被标记的或未被标记的仪器。
在阶段S44的枢转模式实施例中，假设缩放和旋转角度是恰当的，从而机器人11被控制以侧向地移动内窥镜12，从而将仪器之间的空间点与内窥镜图像的中心对齐。例如，如图5A所示，内窥镜视图14b示出了与内窥镜视图14b的中心32分开的远尖端30a和31a的空间中点33。因此，机器人11被控制为如通过箭头指示的枢转内窥镜12，从而将空间中点33与内窥镜视图14c的中心32对齐。
实际上，如果控制操作者想要将两个仪器保持在内窥镜12的FOV内，但是考虑到一个仪器的重要性高于另一个仪器，那么机器人11保持在内窥镜图像的中心内所基于的空间点可以在两个仪器之间的虚拟线上的任何位置。例如，如果仪器30的可见性被认为是重要的或比仪器31的可见性具有更高的优先级，图5的空间点33可以比远尖端31a更靠近远尖端30a。
在阶段S44的缩放模式实施例中(图2)，假设侧向定位和旋转角度是恰当的，从而机器人11被控制为纵向地移动内窥镜12，从而当仪器朝向或者远离彼此移动时，维持在内窥镜图像的中心处的仪器之间的空间点的对齐。例如，图6A图示了当仪器30和31正朝向彼此移动时通过朝内窥镜图像14d的中心32纵向移动内窥镜12用于放大仪器30和31的箭头，以及图6B图示了当仪器30和31正移动远离彼此时通过纵向地移动内窥镜12远离内窥镜图像14e的中心32用于缩小仪器30和31的箭头。
具体地，内窥镜12的一个缩放技术执行“捏拉缩放”姿势，其被用于启用触摸屏的个人设备上进行放大和缩小。具体地，当激活该控制模式时，如图6中范例性示出的在两个仪器尖端30a与31a之间绘制虚拟线。如图6A所示通过朝彼此捏相反的箭头朝图像的中心移动两个仪器尖端，或者如图6B所示通过远离另一个捏相反的箭头远离图像的中心移动两个仪器尖端(由此改变尖端之间的距离)被用于控制内窥镜沿着其主轴的运动。尖端之间的距离的减少能够导致沿着主轴的内窥镜的平移，由此使内窥镜更靠近仪器，反之亦然。
更具体地，仪器的跟踪点(例如仪器的远尖端)的跟踪矢量50被用于构建机器人矢量51并且将其变换到被描述为围绕内窥镜62的***点61的两个角度(φ，θ)的端部效应器姿势60。内窥镜62沿着其主轴的(即在***点61中和之外)的运动也将生成描述图像中的仪器跟踪点的运动的跟踪矢量，作为内窥镜61的运动的结果。在最简单的情况下，如果假设图像平面垂直于内窥镜轴，仪器将沿着从图像中心辐射的射线在图像上移动，并且跟踪矢量(vtrk)50将沿着这些射线。因此，已知速度优化方案可以被用于该运动，应当理解(1)机器人运动的方向总是已知的，并且其总是缩小(缩小)，以及机器人停止标准是当仪器移动通过边界区域的限制时(例如，如图8所示的边界区域70)。
在阶段S44的旋转模式实施例中(图9)，假设侧向定位和缩放角度是恰当的，从而机器人11被控制为，当仪器30和31相对于彼此在解剖区域内旋转时，沿着仪器之间的空间点与内窥镜图像的中心的对齐而旋转内窥镜12。
返回参考图1，实际上，内窥镜姿势命令28可以具有与操作者姿势命令27相同或类似形式。具体地，类似于操纵杆的输入模块的模块26确定内窥镜12的恰当侧向/纵向移动和/或旋转程度并且将其传达给模块24。备选地，内窥镜姿势命令28可以指示仪器与内窥镜图像的中心的未对齐和/或旋转偏移的程度，并且模块24执行内窥镜12的恰当侧向/纵向移动和/或旋转程度的任何必要计算。
从本文图2-7的描述，本领域的普通技术人员将认识到本发明的许多益处包括，但不限于，机器人内窥镜的引导，从而仪器在机器人内窥镜的视场内的恰当的旋转角度处总是可见的。
尽管已经图示和描述了本发明的各个实施例，本领域的技术人员将理解，如本文描述的本发明的实施例是图示性的，以及可以进行各种改变和修改，并且可以用等价物代替其中的元素，而不脱离本发明的真实范围。另外，可以进行许多修改以适于本发明的教导，不脱离其中心范围。因此，旨在本发明不限于如预期用于实施本发明的最佳模式所公开的具体实施例，而是本发明包括落入附加权利要求的范围的所有实施例。

Claims (20)

1.一种机器人引导***，包括：
机器人单元(10)，其包括：
内窥镜(12)，其能够操作用于生成解剖区域的内窥镜图像(14)，以及
机器人(11)，其***作地被连接到所述内窥镜(12)以响应于机器人致动器命令而将所述内窥镜(12)在所述解剖区域内移动；以及
控制单元(20)，其包括：
内窥镜图像控制器(22)，其***作地被连接到所述内窥镜(12)以控制对所述解剖区域的所述内窥镜图像(14)的显示，
其中，所述内窥镜图像控制器(22)能够操作用于基于被定位在至少两个介入仪器之间的所选空间点而生成内窥镜姿势命令以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性，
机器人控制器(21)，其***作地被连接到所述机器人(11)和所述内窥镜图像控制器(22)以响应于所述内窥镜姿势命令而生成所述机器人致动器命令。
2.根据权利要求1所述的机器人引导***，其中，所述内窥镜图像控制器(22)将所述至少两个介入仪器之间的所述空间点与所述内窥镜图像(14)的所述中心对齐。
3.根据权利要求2所述的机器人引导***，其中，所述空间点沿着连接所述至少两个介入仪器的至少一个虚拟线。
4.根据权利要求3所述的机器人引导***，其中，所述空间点沿着所述至少一个虚拟线的中点。
5.根据权利要求3所述的机器人引导***，其中，所述空间点偏移所述至少一个虚拟线的中点。
6.根据权利要求2所述的机器人引导***，其中，所述内窥镜图像控制器(22)生成所述内窥镜姿势命令，以根据需要枢转所述内窥镜(12)，以维持在所述至少两个介入仪器之间的所述空间点与所述内窥镜图像(14)的所述中心的对齐。
7.根据权利要求2所述的机器人引导***，其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内朝向彼此移动而生成所述内窥镜姿势命令，以根据需要纵向移动所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
8.根据权利要求2所述的机器人引导***，其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内远离彼此移动而生成所述内窥镜姿势命令，以根据需要纵向移动所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的所述可见性。
9.根据权利要求2所述的机器人引导***，其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内相对于彼此旋转而生成所述内窥镜姿势命令，以根据要求旋转所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
10.根据权利要求1所述的机器人引导***，其中，所述内窥镜(12)是未经校准的。
11.一种用于机器人(11)的控制单元(20)，所述机器人被连接到生成解剖区域的内窥镜图像(14)的内窥镜(12)，所述控制单元(20)包括：
内窥镜图像控制器(22)，其能够操作用于控制对所述解剖区域的所述内窥镜图像(14)的显示，
其中，所述内窥镜图像控制器(22)能够操作用于基于被定位在至少两个介入仪器之间的所选空间点而生成内窥镜姿势命令以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性；以及
机器人控制器(21)，其***作地被连接到所述内窥镜图像控制器(22)以响应于所述内窥镜姿势命令而生成机器人致动器命令。
12.根据权利要求11所述的控制单元(20)，其中，所述内窥镜图像控制器(22)将所述至少两个介入仪器之间的所述空间点与所述内窥镜图像(14)的所述中心对齐。
13.根据权利要求12所述的控制单元(20)，其中，所述内窥镜图像控制器(22)生成所述内窥镜姿势命令，以根据需要枢转所述内窥镜(12)，以维持在所述至少两个介入仪器之间的所述空间点与所述内窥镜图像(14)的所述中心的对齐。
14.根据权利要求12所述的控制单元(20)，
其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内朝向彼此移动而生成所述内窥镜姿势命令，以根据需要纵向移动所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性；以及
其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内远离彼此移动而生成所述内窥镜姿势命令，以根据需要纵向移动所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
15.根据权利要求12所述的控制单元(20)，其中，所述内窥镜图像控制器(22)响应于至少两个介入仪器在所述解剖区域内相对于彼此旋转而生成所述内窥镜姿势命令，以根据需要旋转所述内窥镜(12)，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
16.一种生成用于引导机器人的命令的方法，包括：
生成并显示解剖区域的内窥镜图像(14)；并且
基于被定位在至少两个介入仪器之间的所选空间点而生成命令机器人(11)将所述内窥镜(12)在所述解剖区域内移动的机器人致动器命令以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
17.根据权利要求16所述的方法，其中，所述至少两个介入仪器之间的所述空间点被对齐到所述内窥镜图像(14)的所述中心。
18.根据权利要求17所述的方法，还包括：
生成命令所述机器人(11)根据需要枢转所述内窥镜(12)的所述机器人致动器命令，以维持在所述至少两个介入仪器之间的所述空间点与所述内窥镜图像(14)的所述中心的对齐。
19.根据权利要求17所述的方法，还包括：
生成命令所述机器人(11)响应于至少两个介入仪器在所述解剖区域内朝向彼此移动而根据需要纵向移动所述内窥镜(12)的所述机器人致动器命令，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性；或者
生成命令所述机器人(11)响应于至少两个介入仪器在所述解剖区域内远离彼此移动而根据需要纵向移动所述内窥镜(12)的所述机器人致动器命令，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
20.根据权利要求17所述的方法，还包括：
生成命令所述机器人(11)响应于至少两个介入仪器在所述解剖区域内相对于彼此旋转而根据需要旋转所述内窥镜(12)的所述机器人致动器命令，以在所述内窥镜图像(14)的所述显示内维持所述至少两个介入仪器相对于所述内窥镜图像(14)的中心的可见性。
CN201580008132.1A 2014-02-12 2015-01-29 手术仪器可见性的机器人控制 Active CN105992568B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461938721P 2014-02-12 2014-02-12
US61/938,721 2014-02-12
PCT/IB2015/050665 WO2015121765A1 (en) 2014-02-12 2015-01-29 Robotic control of surgical instrument visibility

Publications (2)

Publication Number Publication Date
CN105992568A CN105992568A (zh) 2016-10-05
CN105992568B true CN105992568B (zh) 2018-06-08

Family

ID=52629630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580008132.1A Active CN105992568B (zh) 2014-02-12 2015-01-29 手术仪器可见性的机器人控制

Country Status (5)

Country Link
US (1) US10945796B2 (zh)
EP (1) EP3104804B1 (zh)
JP (2) JP2017505202A (zh)
CN (1) CN105992568B (zh)
WO (1) WO2015121765A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3102142A1 (en) * 2014-02-04 2016-12-14 Koninklijke Philips N.V. Remote center of motion definition using light sources for robot systems
CN110448382B (zh) 2014-03-17 2022-09-27 直观外科手术操作公司 用于致动器控制的外科手术器械的指示器机构
EP3590460B1 (en) 2014-03-17 2021-06-02 Intuitive Surgical Operations, Inc. Device and machine readable medium executing a method of recentering end effectors and input controls
WO2015189839A1 (en) * 2014-06-08 2015-12-17 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery utilizing a touch screen
WO2016063682A1 (ja) * 2014-10-22 2016-04-28 オリンパス株式会社 内視鏡挿入形状観測装置
US20160206179A1 (en) * 2015-01-15 2016-07-21 National Taiwan University Assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery and method thereof
EP3263063A4 (en) * 2015-02-26 2018-11-14 Olympus Corporation Manipulator system
CN107920863B (zh) * 2015-08-13 2021-12-31 西门子医疗有限公司 用于控制包括成像模态的***的设备和方法
EP3359075B1 (en) * 2015-10-09 2021-08-18 Covidien LP Apparatus comprising an angled endoscope and means for rotating the endoscope and for generating a panoramic view
WO2018104376A1 (en) * 2016-12-07 2018-06-14 Koninklijke Philips N.V. Automatic motion control of a dependent surgical robotic arm
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控***
WO2018225132A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
WO2019006028A1 (en) * 2017-06-28 2019-01-03 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME
JP6899903B2 (ja) * 2017-07-03 2021-07-07 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
EP3705018A4 (en) * 2017-11-01 2020-10-14 Sony Corporation SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM
US12029510B2 (en) 2018-01-10 2024-07-09 Covidien Lp Determining positions and conditions of tools of a robotic surgical system utilizing computer vision
US11000270B2 (en) 2018-07-16 2021-05-11 Ethicon Llc Surgical visualization platform
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
EP4125698A1 (en) 2020-04-02 2023-02-08 Intuitive Surgical Operations, Inc. Devices for instrument use recording, devices for recording instrument reprocessing events, and related systems and methods
CN112450996A (zh) * 2020-11-11 2021-03-09 北京科迈启元科技有限公司 软式内镜手术执行器及手术机器人***
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
CN112587244A (zh) * 2020-12-15 2021-04-02 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
WO2023022257A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 복강경 카메라 홀더 로봇 제어시스템 및 제어방법
CN113855257B (zh) * 2021-11-05 2024-03-12 佗道医疗科技有限公司 一种内窥镜位姿的自适应调整方法
CN113786152B (zh) * 2021-11-17 2022-02-08 极限人工智能有限公司 一种内窥镜镜头跟踪方法及内窥镜***
WO2023145285A1 (ja) * 2022-01-26 2023-08-03 オリンパス株式会社 内視鏡システム、内視鏡システムの制御方法および記録媒体
JP2023180371A (ja) * 2022-06-09 2023-12-21 株式会社メディカロイド 手術システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人***的末端定位和取向的医疗机器人***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US6463361B1 (en) 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
US5825982A (en) 1995-09-15 1998-10-20 Wright; James Head cursor control interface for an automated endoscope system for optimal positioning
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US10258425B2 (en) * 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
JP4916011B2 (ja) * 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US20100111389A1 (en) * 2007-12-06 2010-05-06 Siemens Medical Solutions Usa, Inc. System and method for planning and guiding percutaneous procedures
WO2009084345A1 (ja) * 2007-12-28 2009-07-09 Olympus Medical Systems Corp. 医療機器システム
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US20100331856A1 (en) 2008-12-12 2010-12-30 Hansen Medical Inc. Multiple flexible and steerable elongate instruments for minimally invasive operations
CN102791214B (zh) 2010-01-08 2016-01-20 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN103491850B (zh) * 2011-04-28 2016-08-17 奥林巴斯株式会社 荧光观察装置及其图像显示方法
WO2013027202A2 (en) 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies Ltd. Device and method for asissting laparoscopic surgery - rule based approach
EP2793680A2 (en) * 2011-12-21 2014-10-29 Koninklijke Philips N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
EP2814644B1 (en) 2012-02-15 2020-06-24 Intuitive Surgical Operations, Inc. Switching control of an instrument to an input device upon the instrument entering a display area viewable by an operator of the input device
WO2013164826A1 (en) * 2012-05-04 2013-11-07 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
TWI517828B (zh) * 2012-06-27 2016-01-21 國立交通大學 影像追蹤系統及其影像追蹤方法
KR102366023B1 (ko) * 2013-12-20 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人***的末端定位和取向的医疗机器人***

Also Published As

Publication number Publication date
JP6982605B2 (ja) 2021-12-17
JP2017505202A (ja) 2017-02-16
EP3104804B1 (en) 2021-12-15
JP2020039934A (ja) 2020-03-19
CN105992568A (zh) 2016-10-05
US10945796B2 (en) 2021-03-16
EP3104804A1 (en) 2016-12-21
US20160354166A1 (en) 2016-12-08
WO2015121765A1 (en) 2015-08-20

Similar Documents

Publication Publication Date Title
CN105992568B (zh) 手术仪器可见性的机器人控制
US10835344B2 (en) Display of preoperative and intraoperative images
AU2018378810B2 (en) System and method for medical instrument navigation and targeting
CN105616007B (zh) 具有联动式控制模式的医疗机器人***
CN110200702B9 (zh) 集成眼球凝视跟踪用于立体观看器的医疗装置、***和方法
RU2692206C2 (ru) Роботизированное управление эндоскопом на основе анатомических признаков
US20180064316A1 (en) Surgical visualization system with camera tracking
US8602980B2 (en) Folding endoscope and method of using the same
EP2092874B1 (en) Manipulator operation system
KR20140112207A (ko) 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
JP2019503766A (ja) 手術ロボットの制御のためのシステム、制御ユニット、及び方法
KR20140139840A (ko) 디스플레이 장치 및 그 제어방법
CN112672709A (zh) 用于跟踪机器人操纵的手术器械的位置的***和方法
CN109715106B (zh) 控制装置、控制方法及医疗***
JP2010528762A (ja) 身体上の対象を見るためのビデオシステム
US20190069955A1 (en) Control unit, system and method for controlling hybrid robot having rigid proximal portion and flexible distal portion
Noonan et al. Gaze contingent articulated robot control for robot assisted minimally invasive surgery
JP6387367B2 (ja) 血管穿孔機の内視鏡支援による配置
JP6975131B2 (ja) ボリュームイメージの対話型平面スライスからの内視鏡誘導
JP2004041778A (ja) 体腔内観察システム
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
Lago et al. From laparoscopic surgery to 3-D double console robot-assisted surgery
CN109498164B (zh) 具有目镜的主操作台及手术机器人
CN109498163B (zh) 主操作台及手术机器人
WO2024033898A1 (en) User interfaces for navigating anatomical channels in medical procedures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant