CN108433809A - 用于在手术过程期间设置并检索参考点的设备 - Google Patents

用于在手术过程期间设置并检索参考点的设备 Download PDF

Info

Publication number
CN108433809A
CN108433809A CN201810151576.6A CN201810151576A CN108433809A CN 108433809 A CN108433809 A CN 108433809A CN 201810151576 A CN201810151576 A CN 201810151576A CN 108433809 A CN108433809 A CN 108433809A
Authority
CN
China
Prior art keywords
endoscope
image
point
control unit
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810151576.6A
Other languages
English (en)
Other versions
CN108433809B (zh
Inventor
M·希伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avateramedical GmbH
Original Assignee
Avateramedical GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avateramedical GmbH filed Critical Avateramedical GmbH
Publication of CN108433809A publication Critical patent/CN108433809A/zh
Application granted granted Critical
Publication of CN108433809B publication Critical patent/CN108433809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/7415—Sound rendering of measured values, e.g. by pitch or volume variation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及用于在手术过程期间设置并检索参考点的设备。设备(12)具有相继捕捉多个图像作为图像序列并生成对应于该图像序列的图像数据的内窥镜(312)，该数据随后被处理并在至少一个显示单元(44)上输出。控制单元(40)通过经由用户接口(42)的用户输入相对于内窥镜(312)的光轴(316)与物面(304b)之间的交点(303b)来设置参考点(1220)。随后，所确定的该参考点(1220)的位置与后续确定的在内窥镜(312)的光轴(316)和内窥镜(312)的物面(304b)之间的交点(303b)的位置之间的距离可以被确定，其中基于该距离的信息(1250,1260,1450,1460)与所捕捉的图像(1200,1300,1400)一起被输出。

Description

用于在手术过程期间设置并检索参考点的设备
技术领域
本发明涉及用于在手术过程期间设置并检索参考点的设备。所述设备包括相继捕捉若干图像作为图像序列并生成对应于这些图像的图像数据的内窥镜。至少一个控制单元处理所述图像数据并在至少一个显示单元上输出对应于所述图像数据的图像。通过经由用户接口的用户输入，设置了参考点，该参考点在手术的进一步过程中应该是可检索的。
背景技术
所述设备尤其在用于机器人辅助手术的***中使用，特别是针对遥控机器人辅助过程。所述***具有被连接到内窥镜的至少一个机械臂和/或被连接到用于组织操作的手术器械的一个机械臂。这样的***也称为操纵台或遥控操纵台或手术机器人。
在文档DE 10 2015 109 368和DE 10 2015 109 371中，公开了用于遥控机器人辅助手术的设备和方法。
在微创手术中，尤其是腹腔镜检查中，在手术期间需要用于组织操作的手术器械被***到患者体内以通过所谓的套管针进行操作。除了要***的用于组织操作的手术器械之外，内窥镜通过另外的套管针被***到患者的身体中以捕捉手术期间的手术位置的图像。在手术期间，外科医生使用显示在显示单元上的手术位置的实况图像来定向他/她自己以便能够确定必需的组织操作并且能够实时地执行这些组织操作以及能够做出与治疗过程有关的决策。为此，外科医生具有器械的末端执行器的至少一部分，他/她通过该部分来操纵在内窥镜的视野中的组织。这种过程在通过手动致动的手术器械来手动执行的手术中以及由机器人辅助手术中的遥控操纵台执行的手术中是一样的。当使用遥控操纵台时，手术器械的位置和定向以及内窥镜的位置和定向借助于遥控操纵台的机械臂来引导。外科医生通过使用触觉输入设备的远程控制来操作机械臂以及手术器械。
在手术过程中，可能需要外科医生将内窥镜定向到某个解剖特征或结构，以使得他/她特别是具有对要操纵的组织或突发出血的良好视野。只有这样外科医生才可能在视觉上检查相关的特征或结构并做出对进一步治疗过程的决策。就此而言，可能发生一件或多件手术器械从内窥镜的视野中消失以使得外科医生不再对这些器械具有视觉控制的情况。然而，对于组织操作而言，视觉控制是必须的，从而在组织操作之前外科医生不得不重新定向内窥镜以使得他/她想要用于组织操作的器械处于视野中。基本上，为了患者的安全，应该防止在没有视觉控制的情况下的器械移动。
从文档EP 2411966 B1中，已知一种用于提供用于引导内窥镜设备的尖端朝向一个或多个标志并协助操作者进行内窥镜导航的视觉向导的***。
从文档EP 2046538 B1中已知一种***，其中在计算机显示屏的边界区域中显示手术器械的标识指示符和位置。
发明内容
本发明的目的在于指定一种在手术过程期间设置并检索参考点的设备，通过该设备使得在手术过程期间外科医生更加容易地检索所述参考点。
该目标通过具有权利要求1所述的特征的在手术过程期间设置并检索参考点的设备以及通过具有权利要求2所述的特征的设备两者来解决。在从属权利要求中指定了针对这两个设备的有利实施例。
由于在根据权利要求1的设备以及在根据权利要求2的设备中在第一位置和第二位置之间所确定的距离矢量，可以很容易地借助基于所述距离矢量的信息来检索所设定的参考点或手术器械，其中外科医生能够移动内窥镜以使得参考点或手术器械再次进入到内窥镜的视野中。
一般而言，本发明的目的是创建信息，该信息可以被用于允许外科医生借助于视觉、触觉或听觉信号的输出来定向内窥镜以使得器械和/或另一参考点再次处于内窥镜的视野中。当结合3D显示器(例如立体显示器)输出视觉信号时，方向信息可以特别地显示为3D矢量。此外，本发明的目的在于在手术期间外科医生可以在手术位置中定义参考点或虚拟标志，其中创建允许外科医生通过视觉、触觉或听觉信号的输出来检索该参考点的信息。结果，对于外科医生来说定向内窥镜以使得参考点出现在内窥镜的视野中是尤为可能的。
根据权利要求1或2的第一和第二位置可以特别地以三维患者坐标系或三维器械坐标系来确定。
这在当控制单元借助于记号来标记所设置的参考点周围(即，所设置的第一参考点或所设置的另外的参考点周围)的区域时或当控制单元借助于记号来标记手术器械的所设置的参考点周围的区域时是有利的。手术器械的这个参考点可以是器械尖端，具体而言是末端执行器的尖端或在杆和末端执行器之间的接口。根据权利要求1的参考点或在手术器械上的参考点由此用作定向点。由于公知的运动结构或运动链，点(尤其是定向点和参考点)的精确坐标可以被确定。被输出的且基于距离矢量的信息用作当移动内窥镜以便例如将手术器械的参考点或先前设置的参考点带入到内窥镜的视野中时的向导。
对所设置的参考点周围的区域的标记优选通过以下方式进行：特别是通过模式识别方法来检测在参考点处的器官或紧邻参考点的器官或在参考点处或紧邻参考点的组织结，并且为该器官或该组织结构提供标记。具体而言，所述组织结构或器官可以针对标记以彩色形式显示。因此，使用用作解剖标志的所设置的参考点，可能很容易地借助由内窥镜随后捕捉的图像来识别在所设置的参考点处的器官或组织结构，其中发生了用于分类器官或组织结构或参考点的合适对象特征的提取。
这在当在确定第一位置期间控制单元捕捉所确定的第一位置周围的图像细节并且为了检索第一位置而在确定第一位置之后所捕捉到的另一图像中将该图像细节与该另一图像的至少一个图像细节进行比较时是尤为有利的。为此，控制单元可以特别执行用于组织结构的模式识别以及用于器官的模式识别的方法。替换地或附加地，借助于控制单元的第一位置的自动检索可以通过执行用于在第一位置处检测到的对象的所存储的对象特征与从相应的当前捕捉到的图像中提取的对象特征之间的相关性的方法来发生。通过图像比较的自动检索特别考虑了旋转、平移、缩放和变形而发生，其中，例如使用了所谓的扭曲方法。结果，可能很容易地在另一图像中检索和优选标记第一位置。
此外，这在当控制单元基于由内窥镜捕捉的第一图像或基于内窥镜在第一时间点的位置或基于手术器械的位置来确定第一位置时，并且当控制单元基于由内窥镜在第一图像之后捕捉的第二图像或基于内窥镜在第二时间点的位置来确定第二位置时是有利的。结果，点的位置不必以复杂的方式被确定，而是可以从内窥镜的位置或手术器械的位置很容易地确定。
此外，这在当控制单元每次通过被连接到内窥镜的操纵台或手术机器人***的机械臂的运动链，或通过被连接到手术器械的操纵台或手术机器人***的机械臂的运动链来确定所述位置时是有利的。结果，第一点、第二点以及手术器械的容易的位置确定是可能的。具体而言，由于相应的机械臂的移动而导致的位置改变可以很容易地被理解，并且相关位置随后可以很容易地通过运动链或内窥镜或手术器械的位置改变来确定。
此外，这在当内窥镜在第一时间点捕捉第一图像并且当内窥镜在第二时间点捕捉第二图像或当内窥镜在确定第一位置时捕捉第一图像并且当内窥镜在确定第二位置时捕捉第二图像时是有利的。结果，当确定所述位置时，可以将图像细节与稍后图像的图像细节相比较。此外，根据请求可以再次存储并显示所捕捉的图像，使得在手术期间的稍后时间点也可以再次查看每个所述位置。
此外，这在当点到物面的距离在控制单元中被预设为一个参数以使得其例如具有范围从0mm到+/-20mm中的一个值时是有利的。在距离为+20mm的情况下，所述点到内窥镜的距离比物面到内窥镜的距离长出20mm。在距离为-20mm的情况下，所述点到内窥镜的距离比物面到内窥镜的距离短了20mm。结果，从内窥镜的位置开始，与内窥镜的光轴以及物面相关的位置可以被容易地设置。优选地，预设的参数值可以由用户改变，以使得其可以由用户设置并有可能由用户在从0.001mm到10mm的范围内改变。
此外，这在当点到物面的距离在控制单元中被预设为一个参数以使得其位于景深内时是有利的。在图像捕捉单元的成像光学***中，物面是垂直于光轴并且特别包括物点的平面。仅物面的点在图像捕捉单元的图像传感器中被锐利地成像。景深通常也称为场深(field depth)，其是在成像光学***的物体空间中的锐利区域的扩展的度量。景深描述了在其中物体以足够的锐度被成像的距离范围的大小。术语“景深”例如在DIN 19040表单3中被定义。
因此，要确定的位置所位于的区域被限制到其中物体仍然可以足够的锐度来显示的区域。结果，发生对于以足够锐度来显示的位置的限制，这些位置对于用户来说是可良好检测到的，从而避免了在不锐利可见的区域中的位置确定。
此外，这在当内窥镜在第二图像之后在第三时间点捕捉并输出至少一个第三图像时是有利地，结果，内窥镜在捕捉第二图像和第三图像之间的位置、定向、旋转、定位和/或放大率都未改变。在此，控制单元将基于第一距离矢量的信息和第三图像一起输出。由于内窥镜在捕捉第二图像和第三图像之间的位置没有改变，第一距离矢量也没有改变，以使得其可以容易地与第三图像一起输出。在此并不需要第一距离矢量的重新确定。
在另一有利实施例中，内窥镜在第二图像之后的第四时间点捕捉至少一个另一第四图像并输出该图像。内窥镜的位置、定向、旋转、定位和/或放大率在第二时间点和第四时间点之间被改变。控制单元确定内窥镜的光轴的在物面中的点的位置或与内窥镜的光轴平行的轴的在物面中的点的位置。替换地，控制单元确定内窥镜的光轴的距物面一距离处的点的位置或与内窥镜的光轴平行的轴的距物面一距离处的点的位置，或在内窥镜的光轴上的线段的位置或在与内窥镜的光轴平行的轴上的线段的位置。该位置在第四时间点被确定为第四位置。控制单元确定第一位置和第四位置之间的第二距离失量。此外，控制单元将基于第二距离矢量的信息与在第四时间点或在第四时间点之后捕捉的图像一起输出。结果，在给定内窥镜的位置的变化或内窥镜的图像捕捉特性的变化的情况下，重新确定距离矢量并且所述重新确定的距离矢量被输出作为将要与该捕捉到的另一图像一起输出的信息的基础。由此，在该另一图像中，可以输出用于检索参考点的当前注释。
此外，这在当控制单元检查所确定的第一位置在所显示的图像中是否可见时是有利的。在此，内窥镜已经在第一时间点之后捕捉到所显示的图像。控制单元将第一位置处的光学标记***到所显示的图像中。结果，由于借助光学标记给予查看者用于检索第一位置的指示，因而更容易地检索到用作参考点的第一位置是可能的。
这在当控制单元在第一位置的方向上在所显示的图像的中心之间的线的一部分上生成矢量箭头并将其***到所显示的图像中时是进一步有利的。结果，给予查看者关于参考点位于哪个方向上的清楚指示。矢量箭头自身或附加的或替换的标记还可以被***在所显示图像的边界区域中。矢量自身优选地以三维坐标系来确定，例如三维患者坐标系或三维器械坐标系。矢量箭头优选地作为三维箭头***到三维图像表示中。以此方式，给予查看者关于参考点从所显示的图像开始所位于的方向的可检测指示，以使得可以容易地通过内窥镜的合适定位来再次找到它。
在此，这在当至少一个第二参考点通过经由用户接口的用户输入来设置或由控制单元自动地设置时是有利的。取决于预设的选择参数，控制单元可以可任选地生成第一矢量箭头和/或第二矢量箭头并将它***到所显示的图像中。第一矢量箭头和/或第二矢量箭头优选地可以以不同的颜色被显示或具有不同的标记，尤其是不同颜色的标记。由此，可能很容易地将矢量箭头分配给相应的参考点，以便期望的参考点可以再次被容易地发现。除了矢量箭头之外或作为矢量箭头的替换，可以将其它标记***到所显示的图像中。
在此，这在当控制单元图形化地和/或声学地输出具有可显示的和/或所存储的参考点的选择菜单时是进一步有利的。通过选择菜单，可显示的参考点是可选择的，即关于哪些信息可以被***到图像中的参考点。此外，通过选择菜单，可以激活并停用附加或替换的参考功能，例如声学信息或触觉信息。替换地或附加地，可显示的和/或所存储的参考点是可通过语音命令来选择的，这些命令例如通过话筒输入并可由控制单元处理。此外，替换地或附加地，可显示的和/或所存储的参考点可以通过身体姿势来选择，所述姿势例如由相机捕捉并由控制单元评估，具体而言是在手势的帮助下，所述手势例如使用触敏表面(例如触摸垫或触敏屏)来感测并使用控制单元来评估。。
在根据本发明的设备或上述改型之一中，这在当控制单元输出取决于所确定的距离矢量值的声学信号或取决于所确定的距离矢量值的视觉信息或用于通过用户接口的手动输入设备来发信号通知朝着参考点的移动方向的触觉信息时是进一步有利的。取决于所确定的距离矢量值的视觉信息可以具体地经由所显示的矢量箭头的长度来输出，或者通过作为具体地以指定距离的长度为单位的一系列数字的值的输出来输出。反作用力(所谓的力反馈)可被实现为用于发信号通知朝着参考点的移动方向的触觉信息。可以将一音调序列(该音调序列中的各音调之间的距离具有取决于距离的频率)提供为声学信号，具体而言，在给定各点之间的长距离的情况下(即，在给定高矢量值的情况下)，音调序列中的各音调具有到彼此的长距离，在矢量的值越小的情况下距离变得越小，优选地直至连续音调的输出。
此外，这在当控制单元***第一参考点和可能地***另一参考点作为相应的参考点标记或作为在要动手术的患者的3D模型中的参考点处存在的对象的标记时是有利的。这种3D模型随后可以被用于手术过程的可视化和/或文档编制。存在于参考点附近的对象可以例如是器官或某种组织结构，优选地随后将它们完整标记在3D模型中。
此外，这在当内窥镜是具有公共光轴的立体内窥镜时是有利的。控制单元随后可以将第一、第二、第三和/或第四位置确定为立体内窥镜的公共光轴的在物面中的点的位置，或者作为立体内窥镜的光轴的在距物面一距离处的点的位置，或作为立体内窥镜的光轴上的其一个点在物面中的线段的位置。或者，内窥镜可以是具有两个单独的成像光学***的立体内窥镜，其光轴是平行的，其中控制单元将第一、第二、第三和/或第四位置确定为在立体内窥镜的光轴之间延伸的轴的在物面中的点的位置，或者作为在立体内窥镜的光轴之间延伸的轴的在距物面一距离处的点的位置，或作为在立体内窥镜的光轴之间延伸的轴上的其一个点在物面中的线段的位置。在立体内窥镜的光轴之间延伸的轴优选地在光轴之间的中间延伸。
因此，本发明也可以容易地结合立体内窥镜来使用。
本发明的第二方面涉及用于机器人辅助手术、特别是用于遥控机器人辅助过程的***，该***具有根据本发明的设备或以上指示的改型，其中用户接口包括用于输入至少一个输入命令的至少一个输入设备。控制单元和/或另一控制单元控制用于机器人辅助手术的***的致动器，以使得连接到机械臂的内窥镜和/或连接到另一个机械臂的用于组织操作的手术器械根据所述***的至少一个驱动单元(尤其是机械臂的至少一个驱动单元)的输入命令来定位。
结果，在手术期间的遥控机器人辅助过程变得更加容易。具体而言，用户(例如外科医生)可以容易地设置他/她随后可以借助根据本发明的办法来容易检索到的参考点。结果，要动手术的患者的身体的定向变得明显更加容易。
本发明的第三方面涉及一种在手术过程期间设置并检索参考点的方法，其中由内窥镜相继捕捉多个图像作为一个图像序列并生成对应于这些图像的图像数据。所述图像数据由至少一个控制单元来处理，并且对应于图像数据的图像被输出。内窥镜的光轴的在物面中的点的位置或与内窥镜的光轴平行的轴的在物面中的点的位置、或者内窥镜的光轴的在距物面一距离处的点的位置或与内窥镜的光轴平行的轴的在距物面一距离处的点的位置、或者在内窥镜的光轴上的或在与内窥镜的光轴平行的轴上的其一个点在物面中的线段的位置可以被确定为在第一时间点的第一位置。第一位置由通过用户接口的用户输入设置为第一参考点。内窥镜的光轴的在物面中的点的位置或与内窥镜的光轴平行的轴的在物面中的点的位置、或者内窥镜的光轴的在距物面一距离处的点的位置或与内窥镜的光轴平行的轴的在距物面一距离处的点的位置、或者在内窥镜的光轴上的或在与内窥镜的光轴平行的轴上的线段的位置可以被确定为在第二时间点的第二位置。确定第一位置和第二位置之间的第一距离矢量。基于第一距离矢量的信息与在第二时间点或在第二时间点之后捕捉的图像一起输出。
本发明的第四方面涉及一种在手术过程期间设置并检索参考点的***，其中由内窥镜相继捕捉多个图像作为一个图像序列并生成对应于所述图像的图像数据。通过至少一个控制单元，所述图像数据被处理，并且对应于图像数据的图像被输出。手术器械的位置被确定为第一位置。此外，内窥镜的光轴的在物面中的点的位置或与内窥镜的光轴平行的轴的在物面中的点的位置、或者内窥镜的光轴的在距物面一距离处的点的位置或与内窥镜的光轴平行的轴的在距物面一距离处的点的位置、或者在内窥镜的光轴上的或在与内窥镜的光轴平行的轴上的其一个点在物面中的线段的位置可以被确定为第二位置。确定第一位置和第二位置之间的第一距离矢量。基于第一距离矢量的信息与在确定第一位置时所捕捉的图像一起被输出。
根据第三和第四方面的方法可以按如以上针对设备所述的相同方式来开发。
附图说明
更多的特征和优点源于以下描述，其在结合所附附图的各实施例的基础上更加详细地解释了本发明。
图1示出患者和用于机器人辅助手术的***的示意性侧视图，所述***包括具有4个机械臂的操纵台，每个机械臂可以连接一个器械单元。
图2示出了患者和根据图1的***的示意性前视图。
图3示出了患者和根据图1和图2的***的细节。
图4示出了在显示单元上显示为图像的视野以及存在于视野之外的器械。
图5示出了在标记参考点期间在显示单元上显示为图像的视野。
图6示出了在显示单元上显示为图像的视野以及存在于视野之外的参考点。
具体实施方式
图1示出了患者18和用于机器人辅助手术的***10的示意性侧视图，所述***包括具有一个台架14和4个机械臂16a到16d的操纵台12。操纵台12通常被称为用于机器人辅助手术的设备。***10用于对被定位在手术台34上的患者18进行手术。基于患者18的分析以及要进行的手术，产生手术区域30在患者坐标系X’,Y’,Z’中的坐标x’z,y’z,z’z。操纵台12具有设备12的坐标系X,Y,Z，其坐标原点被安排在操纵台12的台架14的基座24中。台架14具有被稳固连接到基座24且将L型的支架臂28与之相连的横梁26，在其远离基座24的末端通过支架头连接有机械臂16a到16d。
手术台34具有手术台柱32，在其中安装有手术台34的控制单元36且在其上安置有包括若干区段的患者支撑表面38。控制单元36用于控制手术台34的各元件的移动，特别是对手术台柱32的长度调整，并且进而调整患者支撑表面38的高度并且调整诸个体区段以及患者支撑表面38的倾斜和摇摆。然而，优选地，手术台34的各区段的调整在手术期间借助于操纵台12来阻止。***10还包括操纵台12的控制单元46以及中央控制单元40，中央控制单元40通过数据线被连接到操纵台12的控制单元46、手术台34的控制单元36以及具有显示单元44的控制面板42。控制单元40具有输出单元41而控制单元46具有输出单元47，通过所述输出单元中的每个输出单元可以输出光学和/或声学信号。
患者支撑表面38的表面形成在其上定位患者18的正平面。此外，坐标轴X’和Z’所位于的横平面延伸通过患者坐标系X’,Y’,Z’的坐标原点。此外，坐标轴Z’和Y’所位于的正中面延伸通过坐标原点。
手术区域30在患者坐标系X’,Y’,Z’中的坐标x’z,y’z,z’z是已知的，并且由于患者坐标系X’,Y’,Z’相对于设备12的坐标系X,Y,Z的已知位置，因而它们可以容易地被考虑在对机械臂16a到16d以及被连接到机械臂16a到16d的用于使用操纵台12进行手术的器械单元的控制中，尤其是可以被转换成设备的坐标系X,Y,Z的坐标xz,yz,zz。
图2示出了患者18和根据图1的***10的示意性前视图。在机械臂16a到16d的近端处，每个机械臂都安排了一个耦合单元100a到100d，一个用于进行手术的器械单元308到300d被连接到一个耦合单元。器械单元300c,300d,308,312被连接到机械臂16a到16d的耦合单元100a，100b,100c,100d。器械单元300c,300d,308,312的器械杆通过套管针至少以它们的远离机械臂16a到16d的末端***到患者18的身体中，并且可以由机械臂16a到16d移动和定位以便它们被安置在手术区域30中。结果，存在于器械杆的远离机械臂16a到16d的末端的末端执行器可以被用于手术区域30中的组织操作以及治疗所需的其它操作。被连接到机械臂16b的内窥镜312的尖端也可以向上移动到手术区域30中以捕捉手术区域30的图像。通过机械臂16b，内窥镜312可以被移动和定位，以使得手术区域30的不同区域的图像可以被捕捉以允许外科医生对与治疗有关的手术区域30的各区划具有良好的观察。
借助贯穿手术区域30且平行于坐标轴X’和Z’延伸的虚线，手术区域30相对于坐标轴X’和Z’的中心31的坐标y’z,z’z被指示出。即使出于清楚的原因图1和2中的患者坐标系X’,Y’,Z’相对于操纵台的坐标系X,Y,Z是仅以线性移位形式绘制的，但这两个坐标系也可以是根据手术彼此随意定向的。此外，它们的关系不必是固定的，从而患者坐标系X’,Y’,Z’的位置在手术期间可以改变。
图3示出了患者18的一部分和根据图1和图2的***10的细节。具体地，解说了机械臂16a和16b的器械侧臂端以及具有相关的手术区域的患者身体18的示意性剖面图。内窥镜312形式的器械单元312被连接到机械臂16b的耦合单元100b。内窥镜312被设计成是杆式内窥镜并且用于捕捉患者18的身体内部的图像。内窥镜312的杆314的远离耦合单元100b的末端通过套管针支架17b所保持的套管针19b被***到患者18的身体中，并且作为用户(具体而言是外科医生)通过操作设备42的输入单元进行的操作输入的结果经由机械臂16b来改变其相对于患者18的位置。因此，杆314可以特别地在相对的方向上进一步移动到患者的身体中。内窥镜312的杆314的角度也可以通过机械臂16b的相应移动而改变，尤其是在如图3中所述的箭头P1的方向上，以便捕捉手术区域30的更多区域的图像以及特别是存在于手术区域30中的末端执行器310的图像。
器械单元308的末端执行器310被安置在器械单元308的器械杆309的远离耦合单元100a的末端处，其中根据控制面板42处的操作输入，器械单元308可以被移动并被控制以使得在手术区域30中的末端执行器310的位置可以被改变并且末端执行器310的不同移动可以被执行且末端执行器310的各功能可以被激活。在这种情况中，末端执行器是一种夹持钳，它可以在器械杆309的杆端处弯曲最多达90度。然而，替换的器械单元也可以被连接到耦合单元100a以取代器械单元308。然而，末端执行器310也可以是用于高频手术的单极手术器械，其通过耦合单元100a以及器械杆309来供电。
可通过套管针19a***到患者18的身体切口内的末端执行器310也可以包括夹钳、剪刀、钳子、针夹持器、微解剖器、夹具设备、冲洗和/或抽吸设备、切割刀、烙探针、导液管和/或吸嘴。由此，由器械单元308所提供的手术器械可以任选地具有不同的末端执行器，所述末端执行器可以被用于微创手术，尤其是腹腔镜手术。然而，其它手术器械也可以被附加地或替换地使用。具体而言，通过使用相应的器械单元308可以提供另外的内窥镜和/或附加的照明单元，以使得随后在手术区域30中的手术期间使用它们。
通过光学和/或电子发射装置，内窥镜312被连接到机械臂16b的耦合单元100d。它们可以被设计成接口或可以被集成在接口中。发射装置用于相机控制和/或图像数据传输和/或图像信号传输。光纤连接也可以被提供，尤其是，用于引导照明光进入手术区域30。器械单元308的手术器械的杆309通过由机械臂16a上的套管针支架17a所固定的套管针19a经由患者18的身体切口被***到患者内，并被向上移入手术区域30。在杆314内，内窥镜312具有光学成像***，其光轴316在图3中以点划线示出。这种光学成像***可以包括定焦光学***或变焦光学***。成像光学***定义了在图3中由圆圈表示来示意性解说的物面，其置于三维空间中，以用于内窥镜312的图像捕捉区域且由附图标记304b来标识。物面304b通常被称为聚焦面。在光轴和物面304b之间的交点在图3中以附图标记303b来标识。当内窥镜312通过机械臂16b枢轴转动以使得光轴316在箭头P1的方向上移位或枢轴转动时，内窥镜312检测到手术区域30的不同区划，从而内窥镜捕捉手术区域30的该区划的图像，所述图像随后可以在显示单元44上输出。当内窥镜312枢轴转动到光轴316接触到箭头P1的箭头尖端的程度时，内窥镜312的图像捕捉区域已经被移位到器械单元308的手术器械的末端执行器310也位于内窥镜312的图像捕捉区域中的程度，并且末端执行器310的图像在由内窥镜312所捕捉的图像中是可见的并被显示在显示单元44上。
图4示出了由内窥镜312所捕捉到的视野的图像1200，该图像被显示在显示单元44上。在所显示的图像1200中，在手术区域30中的可见组织结构1210以及进一步的信息片段被显示。在所显示的图像1200的中心中的交叉点划线示出了内窥镜312的光轴316与物面304b的交点303b。末端执行器310位于内窥镜312的视野之外并且因而没有被示出在由显示单元44所显示的图像1200中。在先前的实施例中，在可弯曲的器械杆309的前端处的旋转点1240被用作末端执行器310的参考点。在其它实施例中，末端执行器的其它点可以被用作参考点。在交点303b和参考点1240之间，由控制单元40确定三维空间(尤其是在操纵台12的三维设备坐标系X,Y,Z)中的距离矢量。矢量的值可任选地被***到所显示的图像1200中作为距离信息1260。所示出的箭头1250在矢量的一部分中延伸。所述矢量由在交点303b和参考点1240之间的线段来定义。替换地或附加地，所显示的箭头1250的长度可以取决于矢量的值，即，当末端执行器310到内窥镜312的视野的距离较长且由此到交点303b的距离较长时，显示较长的箭头1250，并且当所述距离较短时，在所显示的图像1200中显示较短的箭头1250。
由此，通过所显示的箭头1250，当末端执行器310自身在由显示单元44输出的图像1200中不可见时(由于其位于由内窥镜312所捕捉的图像的非显示区域中或在内窥镜312的视野之外)，末端执行器310可以在手术区域30中被容易地找到。
图5示出了内窥镜312的视野，该视野作为图像1300被显示在显示单元44上。内窥镜312的光轴和物面304b之间的交点303b的位置可以通过机械16b臂的关节和各部分的运动链来在设备坐标系X,Y,Z中被毫无疑义地确定。通过经由控制面板42的相应的操作输入，外科医生可以移动机械臂16b，从而内窥镜312被定位成使得交点303b位于手术区域300的要被标记为参考点1220的位置处。在相应的操作输入的情况下，用户(尤其是外科医生)可以将该点标记为参考点，其中该点的位置被存储以使得在给定检索先前标记的参考点1220的功能被激活的情况下该位置在稍后的时间点时可用。另外，该参考点1220的位置可以被标记在图像1300中，并且在另外显示的图像中可以将标记***在所存储的参考点1220的位置处，以使得其在图像1300中对于外科医生是良好可见的。如果随后内窥镜312被枢轴转动以使得参考点1220被安置在所显示的图像1400之外，则如图6所示，在图6所显示的图像1400中，***从图像的中心开始的指示从该中心开始的参考点1220所位于的方向的箭头，从而给予外科医生关于他/她必须如何枢轴转动内窥镜312才能让参考点1220再次在内窥镜312的视野中或再次被显示在所显示的图像1400或其他后续显示的图像中的提示。通过这样的参考点1220，外科医生可以设置多个参考点1220，患者18的器官部位中的对于手术很重要的位置可以很容易地被再次找到，以使得外科医生在手术区域30中的定向变得更加容易，这特别地导致改善的手术过程，这进而可以增加患者18的安全性并减少手术时间。
如果内窥镜312是立体内窥镜，则图像1200、1300和1400也可以被捕捉并输出为三维图像。随后，箭头1250和1450可以按沿所确定的矢量的路线的对应定向被***在三维图像1200、1300、1400中，从而箭头1250和1450的解说也变成三维方式，并且因此外科医生获得了实时三维方向信息。对于根据图5和6的参考点1220，除了方向箭头1450之外，用于指定交点303b和参考点1220之间的距离的数值信息1460也可以被显示。这在通过预设除了方向箭头1250、1450之外是否还要显示数字值1260,1460来对其进行定义时尤为有利。作为对图4和6中的解说的替换，方向箭头1250,1450还可以显示在所显示的图像1200和1400的边界区域中，使得外科医生在图像1200、1300的中心处具有空旷的查看区域。这样，在根据图4的实施例以及根据图5和6的实施例这两者中，由内窥镜312指定的点303b与手术区域30中的另一点(例如末端执行器310的参考点1240或先前设置的参考点1220)的距离矢量被每次确定。由于机械臂16a到16d以及被连接到机械臂的器械单元308,300c,300d以及被连接到机械臂16b的内窥镜312的公知运动结构，点303b以及点1240以及其它器械单元300c、300d的参考点的位置可以在任何时候被很容易地确定。将距离矢量可视化为二维显示图像1200,1300,1400中的二维图示或可视化为三维图像1200,1300,1400中的三维箭头的箭头1250、1450的视觉图示用作当移动内窥镜312以将器械参考点1240或参考点1220带入到内窥镜312的视野中并进而能够将其显示在所显示的图像1200、1300、1400时的向导。除了***到图像中的箭头1250、1450之外或作为其替代，可以通过输出单元47、41发出声学信号，以便当移动内窥镜312时，发出关于内窥镜312的视野是接近参考点1220、1240还是从其离开的信号。此外，附加地或替换地，为了在内窥镜312移动时引导手动输入以使得参考点1220、1240进入内窥镜312的视野，通过所谓的力反馈功能在给定手动输入的情况下发信号通知正确的移动方向的触觉辅助是可能的。在手术区域30中设置参考点1220尤其用于设置所谓的解剖标志。它们具体而言是与手术有关的组织结构，或通常用于手术区域30中的定向或器官，其可以通过所述方法被标记为参考点1220。在此，具体而言，通过相应的模式识别方法来识别互连的组织结构(尤其是器官)，并且使用合适的标记来将这些组织结构或器官一起标记在所显示的图像1200,1300,1400中是可能的。为此，在所显示的图像1200,1300,1400中的组织结构或器官可以例如被着色或环绕。
通过结合图1到6所述的办法，参考点1220、1240的位置以及手术器械和末端执行器310相对于内窥镜312的视野或相对于可视化设备(例如显示单元44)的所显示图像1200,1300,1400的位置和定向可以被很容易地确定，因为通过机械臂16a到16d的运动链，内窥镜312的精确位置和定向以及器械单元308的末端执行器310的精确位置和定向是已知的。每次，相对于操纵台12的设备坐标系XYZ确定位置和定向。机械臂16a到16d包括通过刚性段彼此相连的多个关节。关节的旋转轴在空间中被不同地定位，以使得通过在工作区域中的用于手术的至少三个关节就可能确定内窥镜312和末端执行器310两者的任何所需的位置和定向。
如已经结合图1所述，机械臂16a到16d通过支架头20被连接到台架14，以使得在手术期间支架头20就如同台架14自身那样提供了固定基础。从该共同基础开始，对于每个关节，可以通过相应的关节传感器确定该关节的当前配置状态并将其存储并在中央控制单元40中对其处理。每个关节传感器可以尤其包括一个旋转角度编码器。作为关节传感器的替换，也可以使用步进马达，其位置可以通过步进马达的步进控制而被精确确定。由此，通过关节传感器或用于围绕关节枢轴转动各区段的驱动单元的已知控制，可以准确确定机械臂16a到16d的运动链。具体而言，各区段的长度、关节相对于相邻区段的定向、以及关节相对于内窥镜312的视野的角度位置和定向是已知的。
通过机械臂16b的运动链，可以按与机械臂16a、16c和16d的末端执行器310的位置和定向相同的方式来确定内窥镜312的物面304b的视野的位置和定向。由此，交点303b的位置和末端执行器310或其它器械或辅助装置的参考点1240的位置可以在任何时候被很容易且可靠地计算，并可以被用于对应的信息输出，例如通过箭头1250、1450。由此，可能在交点303b和三维空间中的任何参考点1220、1240之间的三维空间(尤其是手术区域30)中确定距离矢量。
在视觉信息输出的情况下，信息的表示可以例如通过将矢量箭头附加到被显示在图像1200、1400中的交点303b，并且具体而言通过在参考点1200、1240的方向上的矢量箭头的空间表示来得到。当使用三维显示时，该矢量箭头1250可以指向先前已被选择的参考点1240、1220的方向。
在替换实施例中，还可以设置若干参考点，以便随后将若干矢量箭头1250、1450***到所显示的图像1200、1300、1400中。所显示的箭头1250、1450随后优选地具有不同的颜色，每种颜色被分配给先前设置的每个参考点。结果，进一步促成了定向，以使得为外科医生提供了关于哪个箭头提供了关于哪个参考点的信息的信息。
除了数字值的指示之外或者作为数字值的指示的替换，所显示的矢量箭头1250的长度可以被用于指示交点303b到参考点1220、1240的距离值，因为这是由图4和6中的具有不同长度的箭头1250、1450来完成的。在声学信息输出的情况下，交点303b和参考点1220、1240之间的距离矢量的值可以通过个体音调之间的距离或通过连续音调的频率或通过音调序列的各音调之间的距离与音调序列的各音调的频率的组合来发信号通知。当使用立体或3D扬声器或者立体或3D耳机时，可以通过各信道之间的电平移位来输出进一步的空间信息。具体而言，这可以按与在小客车中的公知的停车距离控制***的方式相类似的方式来完成。
在触觉信息输出的情况下，可以通过在触觉输入设备的输入元件上生成力来实现给外科医生的反馈，以使得在给定内窥镜312在视野接近参考点1220、1240的方向上移动从而参考点1220、1240至少在视野的进一步移位的情形中进入视野的情况下，没有或仅有微小的反作用力作用在输入元件上，并且当视野从参考点1220、1240离开时，较高的作用力作用在输入元件上以使得由控制面板42的输入设备进行对外科医生的手的引导，从而外科医生直观地通过机械臂16b来移动内窥镜312，使得交点303b和参考点1220、1240之间的距离失量变得更小。
附图标记列表
10 ***
12 操纵台
14 台架
16a到16d 机械臂
17a，17b 套管针支架
18 患者
19a,19b 套管针
20 支架头
24 基座
26 横梁
28 支架臂
30 目标手术区域
31 目标手术区域的中心
32 手术台柱
34 手术台
36 手术台的控制单元
38 患者支撑表面
40 设备的中央控制单元
41 输出单元
42 控制面板
44 显示单元
46 操纵台的控制单元
47 输出单元
100,100a到100d 耦合单元
300,300c,300d,308,312 器械单元
309 器械杆
314 内窥镜杆
308 末端执行器
316 光轴
303b 交点
304b 物面
312 内窥镜
1200,1300,1400 所显示的图像
1220,1240 参考点
1250,1450 矢量箭头
1260,1460 数字值
P1 方向箭头
X/Y/Z 设备的坐标系
X’,Y’,Z’ 患者坐标系

Claims (19)

1.一种用于在手术过程期间设置并检索参考点的设备，
所述设备具有相继捕捉多个图像作为图像序列并生成对应于所述图像的图像数据的内窥镜(312)，其中至少一个控制单元(40)处理所述图像数据并在至少一个显示单元(44)上输出对应于所述图像数据的图像(1200,1300,1400)，
其中所述控制单元(40)在第一时间点确定所述内窥镜(312)的光轴的在物面(304b)中的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在所述物面(304b)中的点的位置、或者所述内窥镜(312)的所述光轴的在距所述物面(304b)一距离处的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在距所述物面(304b)一距离处的点的位置、或者在所述内窥镜(312)的所述光轴(316)上的或在与所述内窥镜(312)的所述光轴(316)平行的轴上的其一个点(303b)在所述物面(304b)中的线段的位置作为第一位置，所述第一位置能通过经由用户接口的用户输入设置为第一参考点(1220),
其中所述控制单元(40)在第二时间点确定所述内窥镜(312)的所述光轴(316)的在所述物面(304b)中的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在所述物面(304b)中的点的位置、或者所述内窥镜(312)的所述光轴(316)的在距所述物面(304b)一距离处的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在距所述物面(304b)一距离处的点的位置、或者在所述内窥镜(312)的所述光轴(316)上的或在与所述内窥镜(312)的所述光轴(316)平行的轴上的线段的位置作为第二位置(303b)，
其中所述控制单元(40)确定所述第一位置(1220)和所述第二位置(303b)之间的第一距离矢量，
其中所述控制单元(40)在所述显示单元(44)上将基于所述第一距离矢量的信息(1450,1560)与在第二时间点或在第二时间点之后捕捉的图像(1400)一起输出。
2.一种用于在手术过程期间设置并检索参考点的设备，
所述设备具有相继捕捉多个图像作为图像序列并生成对应于所述图像的图像数据的内窥镜(312)，其中至少一个控制单元(40)处理所述图像数据并在至少一个显示单元上输出对应于所述图像数据的图像(1200,1300,1400)，
其中所述控制单元(40)确定手术器械(308,310)的位置作为第一位置(1240)，
其中所述控制单元(40)确定所述内窥镜(312)的光轴(316)的在物面(304b)中的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在所述物面(304b)中的点的位置、或者所述内窥镜(312)的所述光轴(316)的在距所述物面(304b)一距离处的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在距所述物面(304b)一距离处的点的位置、或者在所述内窥镜(312)的所述光轴(316)上的或在与所述内窥镜(312)的所述光轴(316)平行的轴上的线段的位置作为第二位置(303b)，
其中所述控制单元(40)确定所述第一位置(1240)和所述第二位置(303b)之间的第一距离矢量，
其中所述控制单元(40)在所述显示单元(44)上将基于所述第一距离矢量的信息(1250,1260)与在确定所述第一位置(1240)时或在确定所述第一位置(1240)之后捕捉的或者在确定所述第二位置(303b)时或在确定所述第二位置(303b)之后捕捉的图像(1200)一起输出。
3.如权利要求1或2所述的设备，其特征在于，所述控制单元(40)借助于标记来标记所设置的参考点周围的区域，或
所述控制单元(40)借助于标记来标记手术器械的所设置的参考点周围的区域。
4.如前述权利要求之一所述的设备，其特征在于，当捕捉所述第一位置(1220)时，所述控制单元(40)捕捉所确定的第一位置周围的图像细节，并且为了检索所述第一位置(1220)，所述控制单元(40)在确定所述第一位置(1220)之后捕捉到的另一图像(1400)中将所述图像细节与所述另一图像的至少一个图像细节进行比较。
5.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)基于由所述内窥镜(312)捕捉的第一图像(1200,1300,1400)或基于所述内窥镜(312)在所述第一时间点时的位置或基于所述手术器械(308)的位置(1240)来确定所述第一位置(1220,1240)，并且
所述控制单元(40)基于由所述内窥镜(312)在所述第一图像(1200,1300,1400)之后捕捉的第二图像(1200,1300,1400)或基于所述内窥镜(312)在所述第二时间点的位置来确定所述第二位置(303b)。
6.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)每次通过手术机器人***(10)的被连接到所述内窥镜(312)的机械臂(16b)的运动链或通过所述手术机器人***(10)的被连接到所述手术器械(308,310)的机械臂(16a)的运动链来确定所述位置。
7.如前述权利要求之一所述的设备，其特征在于，所述内窥镜(312)在第一时间点捕捉第一图像(1200,1300,1400)，并且所述内窥镜(312)在第二时间点捕捉第二图像(1200,1300,1400)，或
所述内窥镜(312)在确定所述第一位置之前或之时捕捉第一图像(1200,1300,1400)，并且所述内窥镜(312)在确定所述第二位置之前或之时捕捉第二图像(1200,1300,1400)。
8.如前述权利要求之一所述的设备，其特征在于，所述点(303b)到所述物面(304b)的距离被预设为所述控制单元(40)中的一个参数，以使得其位于从0.001mm到10mm的范围内。
9.如前述权利要求之一所述的设备，其特征在于，所述点(303b)到所述物面(304b)的距离被预设为所述控制单元(40)中的一个参数，以使得其位于景深内。
10.如前述权利要求之一所述的设备，其特征在于，在所述第二图像(1200,1300,1400)之后，所述内窥镜(312)在第三时间点捕捉并输出至少一个另外的第三图像(1200,1300,1400)，其中所述内窥镜(312)在捕捉所述第二图像(1200,1300,1400)和捕捉所述第三图像(1200,1300,1400)之间的位置、定向、旋转、定位和/或放大率未被改变，
其中所述控制单元(40)将基于所述第一距离矢量的所述信息和所述第三图像(1200,1300,1400)一起输出。
11.如前述权利要求之一所述的设备，其特征在于，在所述第二图像(1200,1300,1400)之后，所述内窥镜(312)在第四时间点捕捉并输出至少一个另外的第四图像(1200,1300,1400)，以及
其中所述内窥镜(312)在所述第二时间点和所述第四时间点之间的位置、定向、旋转、定位和/或放大率被改变，
其中所述控制单元(40)在第四时间点确定所述内窥镜(312)的所述光轴(316)的在所述物面(304b)中的点(303b)的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在所述物面(304b)中的点的位置、或者所述内窥镜(312)的所述光轴(316)的在距所述物面(304b)一距离处的点的位置或与所述内窥镜(312)的所述光轴(316)平行的轴的在距所述物面(304b)一距离处的点的位置、或者在所述内窥镜(312)的所述光轴(316)上的或在与所述内窥镜(312)的所述光轴(316)平行的轴上的线段的位置作为第四位置(303b)，
其中所述控制单元(40)确定所述第一位置(1220、1240)和所述第四位置(303b)之间的第二距离矢量，
其中所述控制单元将基于所述第二距离矢量的信息(1250,1260,1450,1460)与在所述第四时间点或在所述第四时间点之后捕捉的图像(1200,1300,1400)一起输出。
12.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)检查所确定的第一位置(1220)在所显示的图像(1200,1300,1400)中是否可见，
其中所述内窥镜(312)已经在所述第一时间点之后捕捉了所显示的图像(1200,1300,1400)，以及
其中所述控制单元(40)在所述第一位置(1220)处将光学标记***到所显示的图像(1200,1300,1400)中。
13.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)在所述第一位置的方向上在所显示的图像(1200,1300,1400)的中心之间的线的一部分上***矢量箭头(1250,1450)并将所述矢量箭头(1250,1450)***到所显示的图像(1200,1300,1400)中。
14.如权利要求13所述的设备，其特征在于，通过经由用户接口(42)的用户输入或由所述控制单元(40)自动地设置至少一个第二参考点；根据预设的选择参数，所述控制单元(40)可任选地生成第一矢量箭头(1250)和/或第二矢量箭头(1450)，并将所述第一矢量箭头(1250)和/或所述第二矢量箭头(1450)***到所显示的图像(1200,1300,1400)中。
15.如权利要求14所述的设备，其特征在于，所述控制单元(40)输出具有可用于显示的参考点(1220)的选择菜单，通过所述选择菜单，可用于显示的所述参考点(1220)是可选择的。
16.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)输出取决于所确定的距离矢量的值的声学信号或取决于所确定的距离矢量的值的视觉信息或用于通过用户接口(42)的手动输入设备来发信号通知正确的移动方向的触觉信息。
17.如前述权利要求之一所述的设备，其特征在于，所述控制单元(40)将第一参考点(1220)以及可能的另一参考点作为相应的参考点标记或作为在参考点(1220)处存在的对象的标记***到要进行手术的患者(18)的3D模型中。
18.如前述权利要求之一所述的设备，其特征在于，所述内窥镜(312)是具有公共光轴(316)的立体内窥镜，所述控制单元(40)将所述第一、第二、第三和/或第四位置确定为所述立体内窥镜的所述公共光轴(316)的在所述物面(304b)中的点的位置，或者作为所述立体内窥镜的所述光轴(316)的在距所述物面(304b)一距离处的点的位置，或作为所述立体内窥镜的所述光轴(316)上的其一个点(303b)在所述物面(304b)中的线段的一部分，或
所述内窥镜(312)是具有两个单独的成像光学***的立体内窥镜，其光轴是平行的，其中所述控制单元(40)将所述第一、第二、第三和/或第四位置确定为在所述立体内窥镜的光轴之间延伸的轴的在所述物面(304b)中的点的位置，或者作为在所述立体内窥镜的光轴之间延伸的轴的在距所述物面(304b)一距离处的点的位置，或作为在所述立体内窥镜的光轴之间延伸的轴上的其一个点(303b)在所述物面(304)中的线段的位置。
19.一种用于机器人辅助手术，尤其是用于遥控机器人辅助过程的***，所述***具有如前述权利要求之一所述的设备(12)，
其中所述用户接口(42)包括用于至少一个输入命令的输入的至少一个输入设备，
其中所述控制单元(40)或另一控制单元(40)控制所述用于机器人辅助手术的***(10)，以使得被连接到机械臂(16b)的内窥镜(312)和/或被连接到另一个机械臂(16a)的用于组织操作的手术器械(308,310)根据所述输入命令由至少一个驱动单元来定位。
CN201810151576.6A 2017-02-16 2018-02-14 用于在手术过程期间设置并检索参考点的设备 Active CN108433809B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017103198.7A DE102017103198A1 (de) 2017-02-16 2017-02-16 Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
DE102017103198.7 2017-02-16

Publications (2)

Publication Number Publication Date
CN108433809A true CN108433809A (zh) 2018-08-24
CN108433809B CN108433809B (zh) 2023-06-13

Family

ID=61192783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810151576.6A Active CN108433809B (zh) 2017-02-16 2018-02-14 用于在手术过程期间设置并检索参考点的设备

Country Status (5)

Country Link
US (1) US10881268B2 (zh)
EP (1) EP3363358B1 (zh)
CN (1) CN108433809B (zh)
DE (1) DE102017103198A1 (zh)
HK (1) HK1257424A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971996A (zh) * 2021-02-03 2021-06-18 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、电子设备及手术机器人***

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107049492B (zh) * 2017-05-26 2020-02-21 微创（上海）医疗机器人有限公司 手术机器人***及手术器械位置的显示方法
WO2019006028A1 (en) * 2017-06-28 2019-01-03 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME
CN110996826B (zh) 2017-07-27 2023-04-25 直观外科手术操作公司 医疗装置手柄
US10610310B2 (en) * 2017-10-02 2020-04-07 Robin Elizabeth McKenzie TODD User interface system and methods for overlaying surgical video output
JP7093833B2 (ja) * 2018-04-26 2022-06-30 オリンパス株式会社 移動支援システム及び移動支援方法
US20210267692A1 (en) * 2020-02-28 2021-09-02 Covidien Lp Systems and methods for performing robotic surgery
JP2023551504A (ja) * 2020-11-30 2023-12-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム
US20230020780A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation
US20230346199A1 (en) * 2022-04-29 2023-11-02 3Dintegrated Aps Anatomy measurement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749362A (en) * 1992-05-27 1998-05-12 International Business Machines Corporation Method of creating an image of an anatomical feature where the feature is within a patient's body
US20030018235A1 (en) * 1995-07-24 2003-01-23 Chen David T. Anatomical visualization system
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术***
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4895431A (en) 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
DE10033723C1 (de) * 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
AU2001292836A1 (en) * 2000-09-23 2002-04-02 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
JP2005224528A (ja) * 2004-02-16 2005-08-25 Olympus Corp 内視鏡
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US8496575B2 (en) * 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP5724396B2 (ja) * 2011-01-13 2015-05-27 ソニー株式会社 地図表示制御装置、地図表示制御方法、およびプログラム
DE112012000752A5 (de) * 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
DE102012211396A1 (de) 2012-07-02 2014-04-24 Technische Universität Berlin Endoskopieeinrichtung und Endoskopieverfahren
JP5810248B2 (ja) * 2013-10-02 2015-11-11 オリンパス株式会社 内視鏡システム
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
CN110251047B (zh) * 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印
CN106714724B (zh) * 2014-07-28 2019-10-25 直观外科手术操作公司 用于规划多个介入程序的***和方法
DE102014117408A1 (de) 2014-11-27 2016-06-02 avateramedical GmBH Vorrichtung zur robotergestützten Chirurgie
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
DE102015109368A1 (de) 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie sowie Positionierhilfseinheit
DE102015109371A1 (de) 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
JP6577031B2 (ja) * 2015-07-08 2019-09-18 オリンパス株式会社 内視鏡装置
DE102016109173A1 (de) * 2015-11-19 2017-05-24 Aesculap Ag Medizintechnische Koordinatenmessvorrichtung und medizintechnisches Koordinatenmessverfahren
WO2017109912A1 (ja) * 2015-12-24 2017-06-29 オリンパス株式会社 医療用マニピュレータシステムとその画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749362A (en) * 1992-05-27 1998-05-12 International Business Machines Corporation Method of creating an image of an anatomical feature where the feature is within a patient's body
US20030018235A1 (en) * 1995-07-24 2003-01-23 Chen David T. Anatomical visualization system
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术***
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971996A (zh) * 2021-02-03 2021-06-18 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、电子设备及手术机器人***
CN112971996B (zh) * 2021-02-03 2023-02-10 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、电子设备及手术机器人***

Also Published As

Publication number Publication date
US20180228343A1 (en) 2018-08-16
HK1257424A1 (zh) 2019-10-18
EP3363358B1 (de) 2020-10-21
US10881268B2 (en) 2021-01-05
DE102017103198A1 (de) 2018-08-16
EP3363358A3 (de) 2018-09-26
CN108433809B (zh) 2023-06-13
EP3363358A2 (de) 2018-08-22

Similar Documents

Publication Publication Date Title
CN108433809A (zh) 用于在手术过程期间设置并检索参考点的设备
US11147640B2 (en) Medical devices, systems, and methods using eye gaze tracking
US11197731B2 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
JP4101951B2 (ja) 手術用顕微鏡
JP4472085B2 (ja) 手術用ナビゲーションシステム
US11801103B2 (en) Surgical system and method of controlling surgical system
CN109195544A (zh) 计算机辅助式远程操作***中的次级器械控制
JP2012529970A (ja) 低侵襲手術のための仮想測定ツール
JP2021118883A (ja) 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置
US11897127B2 (en) Systems and methods for master/tool registration and control for intuitive motion
CN114760903A (zh) 用于在外科手术期间控制图像捕获设备的方法、装置、以及***
JP2021019949A (ja) 手術システム
CN114401691A (zh) 用于外科机器人的手持式用户界面设备
JP2004041778A (ja) 体腔内観察システム
JPH08336497A (ja) 体腔内観察装置
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
WO2015133608A1 (ja) 手術支援システムおよびこれに用いるカメラユニット
CN220175076U (zh) 手持机器人辅助式内窥镜
JP4460700B2 (ja) 術部観察システム
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257424

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant