CN107209939A - 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 - Google Patents

用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 Download PDF

Info

Publication number
CN107209939A
CN107209939A CN201680006683.9A CN201680006683A CN107209939A CN 107209939 A CN107209939 A CN 107209939A CN 201680006683 A CN201680006683 A CN 201680006683A CN 107209939 A CN107209939 A CN 107209939A
Authority
CN
China
Prior art keywords
picture
module
image
instrument
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680006683.9A
Other languages
English (en)
Other versions
CN107209939B (zh
Inventor
A·高文
B·伊巴赫
M·西蒙诺夫斯基
T·弗兰茨
P·鲍蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maquet GmbH
Original Assignee
Maquet GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maquet GmbH filed Critical Maquet GmbH
Publication of CN107209939A publication Critical patent/CN107209939A/zh
Application granted granted Critical
Publication of CN107209939B publication Critical patent/CN107209939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明说明一种用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备(10)。所述辅助设备(10)具有相机(12)、目视仪(18)、与相机(12)耦合的操纵器(14)、操纵器控制装置(26)和图像处理单元(22)。图像处理单元(22)包含仪器检测模块(50)，以用于通过标识预先确定的识别特征来检测至少一个在相应的单张画面中代表所使用的仪器的目标结构并且用于提取指示所述目标结构在所述单张画面中的位置的位置信息。所述仪器检测模块(50)标识图像部段作为预先确定的识别特征，所述图像部段通过等于或小于预先定义的色饱和度的色饱和度和通过限定该图像部段的、具有至少一个直线区段的轮廓线来表征。

Description

用于在使用至少一个医学仪器外科手术期间以给出图像的方 式支持手术医生的辅助设备和方法
技术领域
本发明涉及一种用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备，包括：相机，用于产生视频信号，所述视频信号包含单张画面的图像序列；目视仪，用于基于视频信号示出图像序列；图像处理单元，包括仪器检测模块，所述仪器检测模块用于通过标识预先确定的识别特征检测至少一个在相应的单张画面中代表所使用的仪器的目标结构并且用于提取指示单张画面在目标结构中的位置的位置信息；与相机耦合的操纵器，所述操纵器为了使相机运动可通过控制信号控制；以及操纵器控制装置，用于由位置信息产生控制信号并且用于通过控制信号操控操纵器。
背景技术
由现有技术已知在外科手术期间有效支持手术医生的辅助设备。这样手术医生例如在腹腔镜手术期间间接地通过目视仪、例如监视器观察手术部位，在所述目视仪上应该可看到腹腔镜仪器，利用所述腹腔镜仪器，手术医生操纵病人的解剖结构。在监视器上实时显示的视频图像由相机拍摄，所述相机是内窥镜的一部分并且对准手术部位。
在手术期间，相机应该这样对准手术部位，使得处理的目标区域连同仪器尖端和要操纵的解剖结构大约处于在目视仪上示出的视频图像的中心。如果观察的图相部分应该改变，则相机必须在病人的身体中运动。在此目标区域应该再次显示在视频图像的中心。
为了以希望的方式跟踪内窥镜相机，其与操纵器、例如机械手臂耦合，所述操纵器根据希望的相机运动被调节。为此由操纵器控制装置通过控制信号操控，所述控制信号由在视频图像中检测到的仪器尖端的位置获得。上述类型的辅助设备例如在DE 199 61971B4中说明。
常规的辅助设备通常利用标记部工作，所述标记部安装在仪器尖端上并且这样形成识别特征，所述识别特征能够实现在视频图像中检测到仪器尖端。代替这样的标记部也可以利用正在使用的医学仪器的固有特性、如其特有的形状或特有的颜色作为识别特征。然而在这些解决方案中不利的是，要标识的识别特征代表正在使用的仪器的特有特性。因此不能识别任意仪器。
发明内容
本发明的任务是，给出一种辅助设备，其尤其是在不使用特意为此设置的标记部的情况下能够实现尽可能自动的仪器识别。
本发明在一种开头所述类型的辅助设备中如下解决该任务，即，仪器检测模块作为预先确定的识别特征标识如下图像部段，所述图像部段通过等于或小于预先定义的色饱和度的色饱和度和通过限定该图像部段的、具有至少一个直线区段的轮廓线来表征。
按照本发明的解决方案一方面依据如下认识，即，在本技术领域中通常使用的医学仪器由尽可能无色的材料制造，即具有显著小于处于要处理的目标区域中的解剖结构的色饱和度的色饱和度。第二方面本发明依据如下认识，即，几乎每种可使用的仪器在大部分中形成直的且刚性的物体。在该背景下，按照本发明的解决方案设置，将由仪器检测模块要标识的识别特征标识为如下图像部段，所述图像部段一方面具有相对小的色饱和度并且另一方面具有至少部分直线延伸的轮廓线。借助该识别特征可以将几乎每种仪器在视频图像中相对于在目标区域中存在的解剖结构隔离。尤其是，这在不使用安装在仪器上的标记部的情况下也是可能的。
色饱和度的要定义作为识别特征的上界限这样选择，使得在常规的医学仪器中可测量的色饱和度可靠地处于该上界限之下。如已经在以上提到的那样，这之所以是可能的是因为常规的仪器通常由如下材料制造，所述材料尽可能无色并且因此具有比在目标区域中的周围解剖结构小得多的色饱和度。
优选地，图像处理单元包含切分模块，所述切分模块基于相应的单张画面产生至少一个二值图像，在所述二值图像中仪器检测模块标识图像部段。二值图像的像点采用两个可能的二进制值之一，这根据单张画面的对应于其的像点是否具有对应于预先定义的识别特征的色饱和度进行。例如可以以这种方式产生黑白二值图像，所述黑白二值图像的白像点或像素代表一个或多个仪器并且其黑像点示出解剖结构。
在一种优选的实施方式，图像处理单元包含预处理模块，所述预处理模块基于相应的单张画面产生灰度值图像，所述灰度值图像的像点分别配置有灰度值，所述灰度值代表单张画面的对应像点的色饱和度。然后切分模块基于灰度值图像产生所述至少一个二值图像，如果所属的灰度值等于或小于对应于预先定义的色饱和度的阈值，则所述至少一个二值图像的二值图像点配置有第一二进制值，并且如果所属的灰度值大于所述阈值，则所述至少一个二值图像的二值图像点配置有第二二进制值。因此在该实施形式中产生的灰度值图像构成色饱和度图像，由所述色饱和度图像能够在没有大的技术花费的情况下导出一个或多个二值图像，所述二值图像是进一步图像处理的基础。
优选地，仪器检测模块将轮廓线的多个线性彼此间隔开的直线区段组合成代表仪器边缘的、连续的边缘线。尤其是在配置给相应单张画面的二值图像中示出多个彼此交叉的仪器的情况中，该实施形式是有利的。因为假定相应的仪器具有直的形状，所以通过组装共线地间隔开的轮廓区段，属于这些区段的仪器可以如同从交叉的仪器布置结构中过滤掉。如果在外科手术期间使用多个仪器，则这使仪器识别变得容易。
优选地，用于检测目标结构的仪器检测模块将相应两个彼此平行设置的边缘线相互配对。该边缘配对依据如下考虑，即，在检测多个彼此平行设置的边缘线时存在如下的大可能性，即，这些边缘线属于同一仪器。这能够实现更可靠的仪器识别。
在一种特别优选的实施形式中，切分模块基于相应的灰度值图像产生不只一个而是相同的多个二值图像并且为了所述二值图像的产生而使用不同的阈值。因而对于每个所述二值图像预定单独的用于色饱和度的上界限作为识别特征。这尤其是在如下情况中是有利的，即，同一仪器由不同材料制成，这些材料具有不同的色饱和度。因此，例如这样的仪器的尖端可以由金属制造并且仪器轴可以由塑料制造。这同样适用于在单张画面中存在材料不同并且因此色饱和度不同的多个仪器的情况。如果在这样的情况中用于产生二值图像的阈值确定为使得例如塑料部件能够在二值图像中良好切分，则这并一定不意味着，以相同的阈值也可对于金属部件实现相同的质量。在该情况中有利的是，不只基于唯一的阈值产生唯一的二值图像，而是产生基于对应的多个阈值的多个二值图像。这些二值图像也在困难的条件下形成用于精确的仪器识别的可靠基础。此外多个二值图像的产生能够良好地平行，这关于处理速度是有利的。
在另一种优选的设计中，仪器检测模块在基于相应的单张画面产生的二值图像中标识彼此对应的直线区段并且将它们组合成唯一的边缘线，所述边缘线代表仪器的边缘。因为在该设计中在使用不同阈值的情况下产生所述多个二值图像，所以标识的轮廓线移动，所述轮廓线形成示出解剖结构的高色饱和度的图像部段和示出仪器的小色饱和度的图像部段之间的过渡，如同从二值图像移动至二值图像。如果现在如同在其叠加中观察二值图像，则空间上紧密地处于并列的布置结构产生几乎平行的轮廓区段，由这些轮廓区段能够可靠地导出仪器边缘。
在一种优选的实施方式中，图像处理单元包含跟踪模块，所述跟踪模块通过多个相继的单张画面跟踪由仪器检测模块检测到的目标结构。操纵器控制装置产生关于相应的单张画面的控制信号以用于由目标结构的位置信息操控操纵器，这只在该目标结构由跟踪模块已经通过多个相继的单张画面跟踪的情况下进行。为了跟踪地操控操纵器，因而只考虑能够通过多个相继的单张画面跟踪的目标结构。仅在唯一的单张画面中出现的、假定识别的仪器因此并不考虑用于跟踪操纵器。这能够实现无误差的并且均匀的操纵器跟踪。
优选地，跟踪模块为由仪器检测模块在相应的单张画面中第一次检测到的目标结构配置***并且借助***跟踪在后续的单张画面中检测到的目标结构。***在这里理解为用于代表识别的仪器的数据处理元件。
在一种特别优选的实施方式中，图像处理单元包含流模块，所述流模块检测图像序列的光学流，所述光学流代表在图像序列中包含的运动信息。借助检测的光学流能够预告配置给识别的仪器的***在接着的单张画面中沿何方向并且以何速度运动。
优选地，跟踪模块具有：第一子模块，所述第一子模块沿图像处理方向设置于仪器检测模块上游；和第二子模块，所述第二子模块沿图像处理方向设置于仪器检测模块下游。第一子模块在考虑在流模块中检测到的光学流的情况下给出关于***的位置信息的预告以用于尚未由仪器检测模块处理的下一个单张画面。第二子模块对于该下一个在其间由仪器检测模块处理的单张画面借助由仪器检测模块检测到的、***的位置信息检查由第一子模块给出的预告。由此可以特别可靠地跟踪在图像序列中识别的仪器。
预处理模块优选构成用于在相应的单张画面上进行白平衡。该白平衡抑制可能的错误校准，该错误校准基于仪器的彩色特性、尤其是色饱和度而可能不利影响仪器识别。
在一种优选的实施方式，图像处理单元包含参数优化模块，所述参数优化模块将单张画面异步于预处理模块处理并且由此生成操控信息，所述操控信息为预处理模块预定其是否应该进行白平衡。通过参数优化模块的异步工作方式可以将是否需要白平衡的检查作为与其余的图像处理并行的过程实现。这样例如可以如同抽样式地在图像序列内进行检查，例如只对每第n个单张画面检查，其中n是大于1的自然数。
参数优化模块可以基于单张画面的异步处理也预先定义用于切分模块的阈值。这例如在如下情况是有利的，即，在外科手术期间替换仪器并且借此其色饱和度在图像序列内瞬时突变。借助异步工作的参数优化模块适配对应于色饱和度的阈值在这里是适当的用于对这样的改变反应的措施。
本发明此外涉及一种用于在外科手术期间以给出图像的方式支持手术医生的方法。上述并且此外关于按照本发明的辅助设备说明的特征也是所要求保护的方法的部分。
附图说明
接着借助附图进一步解释本发明。在附图中：
图1示出按照本发明的辅助设备的总体结构的框图；
图2示出辅助设备的图像处理单元的构造的框图；
图3示出在按照本发明的方法中实施的图像预处理的流程图；
图4示出在按照本发明的方法中实施的仪器检测的流程图；
图5示出在按照本发明的方法中实施的仪器跟踪的流程图；
图6示出在按照本发明的方法中产生的二值图像；以及
图7示出由按照图6的二值图像获得的轮廓线。
具体实施方式
图1示出按照本发明的辅助设备10的框图。
辅助设备10具有相机12，所述相机是未明确示出的内窥镜的部分，所述内窥镜由操纵器14、例如机械手臂保持。操纵器14具有机械自由度，所述自由度能够实现对相机12的跟踪。
相机12捕获人身体内的目标区域的视频图像，要处理的解剖结构处于所述目标区域中。相机12因而产生视频信号，所述视频信号包含单张画面的图像序列并且将其以数据流的形式输出到相机控制装置16上。相机控制装置16将视频信号输出到目视仪18、例如监视器上，在所述目视仪上示出所处理的解剖结构的对应于视频信号的视频图像。
相机控制装置16将视频信号通过在图1中未示出的图像采集模块、例如所谓的帧(Frame)捕获器输送给控制装置20。控制装置20包含图像处理单元22，所述图像处理单元将输送给其的视频信号用作输入信号，以便以之后更准确地解释的方式实施仪器识别。在该仪器识别的范围中，在视频图像中可见的外科仪器由图像处理单元22识别和跟踪。在此获得位置信息，所述位置信息输送给控制单元24。控制单元24包含操纵器控制装置26。所述操纵器控制装置作为轨道控制装置起作用，所述轨道控制装置由输送给其的位置信息产生控制信号，通过该控制信号操控操纵器14。该操控例如这样进行，使得操纵器14跟踪在其上保持的相机12，从而仪器尖端在于目视仪18上显示的视频图像中总是设置在图像中心。
辅助设备10此外具有触发开关28，所述触发开关与在控制单元24中包含的接口控制单元30耦合。通过操纵触发开关28，引起接口控制单元30激活操纵器控制装置26以便跟踪相机12。
辅助设备10此外具有图形用户界面32，所述图形用户界面一方面与图像处理单元22和接口控制单元30并且另一方面与目视仪18耦合。此外辅助设备10具有另外的输入仪器，所述输入仪器对于理解本发明意义不大并且在图1中整体以34表示。
图2示出图像处理单元22的构造的框图。
图像处理单元22包含预处理模块36、参数优化模块38和流模块40。由相机控制装置16分别将包含单张画面的图像序列的视频信号输送给模块36、38和40。参数优化模块38与预处理模块36耦合。
图像处理单元22此外包含第一子模块42，所述第一子模块与第二子模块44一起形成在图2中整体以46表示的跟踪模块。第一子模块42在输入端与预处理模块36和流模块40耦合。在输出端，第一子模块与切分模块48连接。切分模块48在输出端又与仪器检测模块50耦合。仪器模块50的输出端与跟踪模块46的第二子模块44耦合。第二子模块44最后形成图像处理单元22的输出端并且与此对应地与操纵器控制装置26连接，所述操纵器控制装置由从图像处理单元22输送给其的信号生成用于操控操纵器14的控制信号。
在图像处理单元22中包含的模块36至50的工作原理接着由在图3、4和5中示出的流程图得出，所述流程图借助实例形象地说明按照本发明的图像处理。在图3至5中，矩形符号表示由相应模块实施的处理步骤，而斜方形符号指示存储或读取过程。
按照图3的流程图示出按照本发明实施的图像预处理，其中尤其是使用图像处理单元22的预处理模块36、参数优化模块38和流模块40。
在步骤S1中，预处理模块36、参数优化模块38和流模块40接收在视频信号中包含的图像序列的经缓存的单张画面。下面在本实施例中假定该单张画面是按常规产生的RGB单张画面，所述RGB单张画面经常也称为RGB帧(Frame)。
在步骤S2中，预处理模块36在RGB单张画面上进行不同的适配和优化，所述适配和优化例如用于适当地调节图像大小、亮度和对比度。尤其是，预处理模块36在步骤S2中在需要时也实施自动的白平衡。是否在S2中进行白平衡在步骤S3中通过参数优化模块38经由操控信号AWB Y/N确定，参数优化模块38将所述操控信号输送给预处理模块36。为此参数优化模块38在输送给其的图像序列上进行对应的检查。参数优化模块38在重复的参数优化的范围中异步于预处理模块36工作，其方式为其例如不对每个单张画面实施前述的检查。
在步骤S2中，预处理模块36此外检测单张画面中的相机蒙片，所述相机蒙片示出不可评估的图像区域。所述预处理模块36然后存储对应的蒙片信息，该蒙片信息在后续流程中能够实现将对应于蒙片的不可用图像区域似乎从单张画面中过滤掉。
在单张画面在步骤S2中鉴于进一步处理被优化之后，所述单张画面存储在图像存储器中。
在步骤S4中，预处理模块36基于RGB单张画面计算灰度值图像，所述灰度值图像的像点分别配置有灰度值，所述灰度值代表RGB单张画面的对应像点的色饱和度。因此在步骤S4中产生的灰度值图像示出色饱和度图像。该色饱和度图像在S4中存储用于下一个处理步骤。
在步骤S5中，预处理模块36进行RGB单张画面的质量试验。如果该质量试验得出负的评价，则丢弃该RGB单张画面并且继续以下一个单张画面的处理。如果与此相反在步骤S5中得出对RGB单张画面的质量的正的评价，则结束预处理，并且流程随着按照图4的处理步骤继续。
在按照图3的步骤S6中，由流模块40实施与上述方法步骤并行的过程。流模块40设计用于检测在视频信号中包含的图像序列的光学流。光学流在此代表在图像序列中包含的运动信息，例如以矢量场形式的运动信息，所述矢量场指示像点在图像序列中的速度的大小和方向。为了检测光学流，流模块40除了当前的RGB单张画面也考虑在前的RGB单张画面。检测到的光学流然后被存储。此外在步骤S6中进行对在前的检测结果的补偿。
在步骤S7中结束按照图3的预处理。
在图4中示出的图像处理在图像处理单元22中尤其是由通过两个子模块42、44形成的跟踪模块46、切分模块48和仪器检测模块50实施。在步骤S11中的图像处理开始之后，切分模块48在步骤S12中读取预处理模块36在按照图3的步骤S4中基于RGB单张画面计算并且存储的灰度值图像。基于该灰度值图像，切分模块48在使用不同的阈值的情况下产生N个二值图像，所述阈值例如由参数优化模块38预先定义。这些阈值分别对应于预先定义的色饱和度，灰度值图像的像点的灰度值与所述色饱和度比较。灰度值图像的灰度值等于或小于对应于分别预先定义的色饱和度的阈值的像点在相应的二值图像中配置有具有第一二进制值(例如1)的二值图像点。与此对应，灰度值图像的灰度值大于阈值的像点在相应的二值图像中配置有具有第二二进制值(例如0)的二值图像点。这样的在步骤S12中产生的二值图像纯示例性地在图6中示出，其中在那里具有二进制值1的二值图像点配置有白颜色并且具有二进制值0的二值图像点配置有黑颜色。黑颜色在图6中出于显示原因打点地示出。因此在按照图6的二值图像中，白的图像部段代表如下图像区域，在所述图像区域中色饱和度等于或小于相应预先定义的色饱和度。与此相对，黑的图像部段代表如下图像区域，在所述图像区域中色饱和度大于预先定义的色饱和度。因为按照本发明的图像处理从如下假设出发，即，在视频图像中要识别的仪器具有比要处理的解剖结构小的色饱和度，所以在按照图6的二值图像中白的图像部段示出要识别的仪器，而黑的图像部段代表解剖结构。
在步骤S12中，切分模块48结果是产生N个图6所示类型的二值图像，然而因为N个不同的阈值为所述二值图像的基础，所以所述二值图像或多或少地彼此区分。N个阈值越不同，以这些阈值产生的二值图像也越强地彼此区分。
在步骤S13中，仪器检测模块50从N个二值图像的每个中提取轮廓线并且将其存储在N个轮廓数据记录中。在按照图6的示例性的二值图像中，这些轮廓线在白的和黑的图像部段之间的过渡部上延伸。
在步骤S14中，仪器检测模块50由N个轮廓数据记录确定直线区段，所述直线区段也称为线段。仪器检测模块50将确定的线段存储在N个线段数据记录中。
按照步骤S14的过程步骤在按照图7的示图中形象地说明。在那里线段虚线地示出。
在步骤S14中，仪器检测模块50也确定轮廓线的弯曲区段，以便将它们从进一步要处理的轮廓线中除去。这些弯曲区段在图7中点划线地示出。
为了避免因相机蒙片而歪曲，仪器检测模块50在步骤S14中考虑预处理模块36在按照图3的步骤S2中确定并且存储的蒙片信息。
从在步骤S14中产生的N个线段数据记录出发，仪器检测模块50在步骤S15中生成唯一的数据记录，在所述数据记录中，N个二值图像的彼此对应的线段分别组合成唯一的线段。所组合成的线段(下面也称为紧凑线段)代表仪器的边缘线，所述边缘线如同由所有N个二值图像的叠加得出。在N个二值图像中标识的线段是否在上述意义中彼此对应，由仪器检测模块50在步骤S15中按照预先定义的标准评估。
这种标准的示例是所观察的线段的平行性。这样可以例如将角度预定作为阈值并且测试所观察的线段是否在其定向中具有处于阈值之下的角偏差。如果是这种情况，则平行性的标准视为满足。另一个标准例如是所谓的重叠，又可以对其预先定义阈值。如果所观察的部段相互具有超过该阈值的重叠，则该标准也视为满足。另一个标准例如是所观察的线段之间的距离。如果该距离小于预先定义的阈值，则该标准视为满足。灰度值结合上述的部段距离也代表合适的标准。
上述标准的主要目标是，可靠地确定所观察的线段是否在灰度值图像(其示出用于N个二值图像的基础)内沿着同一梯度出现。
仪器检测模块因此在步骤S15中基于以上解释的标准过滤在步骤S14中生成的结果量。
在步骤S16中，仪器检测模块50由紧凑线段构建边缘线，在所述紧凑线段中彼此对应的线段组合。所述边缘线代表所检测的仪器的边缘。在此仪器检测模块50考虑由在前的单张画面获得的检测结果。
在步骤S17中，仪器检测模块50进行相应两个彼此平行设置的、在步骤S16中确定的边缘线的配对。该边缘配对又基于预先确定的标准进行。这样的标准例如是垂直于两个相应观察的边缘线延伸的两个矢量的取向。
在过程步骤S17中，关于仪器位置的信息从在前的单张画面流入。此外考虑所谓的***的位置数据，所述位置数据分别视为在单张画面中检测到的仪器的代表。
通常在步骤S17中不是所有边缘可以分别与另一个边缘配对。因此仪器检测模块50在步骤S18中将剩余的边缘配置给假想的仪器，所述假想的仪器处于单张画面的边缘附近。为此仪器检测模块再次考虑在按照图3的步骤S2中提供的蒙片信息。
在步骤S19中，仪器检测模块50借助相应的边缘对确定所属仪器的仪器轴线以及长度和取向。
在步骤S20中，仪器检测模块50在考虑几何特性的情况下确定仪器尖端，仪器检测模块50将所述特性从一开始就认为是给定的。这样的几何特性例如可能是仪器的从一开始就给定的圆锥形。在步骤S20中获得的检测结果为了在接着的处理步骤中进一步考虑而存储。
在步骤S21中，仪器检测模块50过滤错误地正地确定的仪器。作为为此的标准例如考虑边缘配对的质量。也可以考虑预先假设的、特定颜色特性的规律性作为标准。例如特定颜色特性要么存在于仪器中要么存在于解剖结构中，但不是即存在于仪器中又存在于解剖结构中。这样的规律性的考虑能够实现滤出错误地正地识别的仪器。
利用步骤S22结束按照图4的图像处理。
结果是按照图4的图像处理提供所存储的关于仪器尖端的长度、取向和位置的信息。此外提供补充的信息，例如关于边缘配对的质量。
图5是示出由两个子模块42和44形成的跟踪模块46的工作原理的流程图，所述跟踪模块包含在图像处理单元22中。
在步骤S30中的开始之后，跟踪模块46的第一子模块42在步骤S31中基于由流模块40在按照图3的步骤S6中检测到的光学流纠正***的位置，该位置在最后的单张画面中确定。在此第一子模块42给出预告，即，***在当前的单张画面中运动到哪儿。该***运动的预告用于阻止缺口和突变。
然后在步骤S32中切分模块48和仪器检测模块50实施在图4中示出的用于当前的单张画面的处理步骤。
在步骤S33中，如果在单张画面中检测到新的仪器，跟踪模块46的第二子模块44基于在按照图4的步骤S20中获得的检测结果更新***的位置并且在需要时生成新的***。第二子模块44在此检查***位置的由第一子模块42在步骤S31中给出的预告。借助确定的标准，第二子模块44确定当前使用的***的可信度。
第二子模块44在步骤S33中为***配置标志(标签)，所述标志在目视仪18上例如以不同颜色示出。不同的***的这种标志例如在如下情况中是有利的，即，仪器首先被确定的***A跟踪，然后从跟踪中脱出，从而清除***A，并且最后相同的仪器再次被纳入跟踪中，从而为此产生新的***B。在该情况中，为两个***A和B配置同一标志。
第二子模块44然后在步骤S33中存储用于下一个流程的检测结果。
在步骤S34中，按照图5的过程结束。
以上参考图3至5解释的图像处理应仅示例性地理解。因此不是一定必需基于相应的灰度值图像在使用不同阈值的情况下生成多个二值图像。经常地，借助适当选择的阈值产生唯一的二值图像就足以将在单张画面中代表仪器的、小的色饱和度的图像部段与示出解剖结构的、高的色饱和度的图像部段分离。这例如在如下情况中适用，即，仅使用材料相同和因此色饱和度也相同的仪器。
附图标记列表
10 辅助设备
12 相机
14 操纵器
16 相机控制装置
18 目视仪
20 控制装置
22 图像处理单元
24 控制单元
26 操纵器控制装置
28 操纵开关
30 接口控制单元
32 图形用户界面
34 输入仪器
36 预处理模块
38 参数优化模块
40 流模块
42 第一子模块
44 第二子模块
46 跟踪模块
48 切分模块
50 仪器检测模块

Claims (16)

1.用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备(10)，包括：
相机(12)，用于产生视频信号，所述视频信号包含单张画面的图像序列；
目视仪(18)，用于基于所述视频信号示出所述图像序列；
图像处理单元(22)，包括仪器检测模块(50)，所述仪器检测模块用于通过标识预先确定的识别特征来检测至少一个在相应的单张画面中代表所使用的仪器的目标结构并且用于提取指示所述目标结构在所述单张画面中的位置的位置信息；
与所述相机(12)耦合的操纵器(14)，所述操纵器为了使所述相机(12)运动而能够通过控制信号操控；以及
操纵器控制装置(26)，用于由所述位置信息产生所述控制信号并且用于通过所述控制信号操控所述操纵器(14)；
其特征在于，所述仪器检测模块(50)标识图像部段作为预先确定的识别特征，所述图像部段通过等于或小于预先定义的色饱和度的色饱和度和通过限定该图像部段的、具有至少一个直线区段的轮廓线来表征。
2.按照权利要求1所述的辅助设备(10)，其特征在于，所述图像处理单元(22)包含切分模块(48)，所述切分模块基于相应的单张画面产生至少一个二值图像，在所述二值图像中，所述仪器检测模块(50)标识所述图像部段。
3.按照权利要求2所述的辅助设备(10)，其特征在于，
所述图像处理单元(22)包含预处理模块(36)，所述预处理模块基于相应的单张画面产生灰度值图像，所述灰度值图像的像点分别配置有灰度值，所述灰度值代表该单张画面的对应像点的色饱和度；并且
所述切分模块(48)基于所述灰度值图像产生所述至少一个二值图像，如果所属的灰度值等于或小于对应于所述预先定义的色饱和度的阈值，则所述至少一个二值图像的二值图像点配置有第一二进制值，并且如果所属的灰度值大于所述阈值，则所述至少一个二值图像的二值图像点配置有第二二进制值。
4.按照权利要求2或3所述的辅助设备(10)，其特征在于，所述仪器检测模块(50)将所述轮廓线的多个共线地彼此间隔开的直线区段组合成代表仪器边缘的连续的边缘线。
5.按照权利要求4所述的辅助设备(10)，其特征在于，所述仪器检测模块(50)为了检测所述目标结构而将相应两个彼此平行设置的边缘线相互配对。
6.按照权利要求5所述的辅助设备(10)，其特征在于，所述仪器检测模块(50)基于所述两个相互配对的边缘线标识仪器尖端。
7.按照权利要求2至6之一所述的辅助设备(10)，其特征在于，所述切分模块(48)基于相应的灰度值图像产生多个二值图像并且为了产生所述二值图像而使用不同的阈值。
8.按照权利要求7所述的辅助设备(10)，其特征在于，所述仪器检测模块(50)在基于相应的单张画面产生的二值图像中标识彼此对应的直线区段并且将其组合成代表仪器边缘的唯一的边缘线。
9.按照上述权利要求之一所述的辅助设备(10)，其特征在于，
所述图像处理单元(22)包含跟踪模块(46)，所述跟踪模块将由所述仪器检测模块(50)检测的目标结构通过多个相继的单张画面跟踪；并且
所述操纵器控制装置(26)只在如下情况中产生关于相应的单张画面的控制信号以用于由所述目标结构的位置信息操控所述操纵器(14)，即，该目标结构已经由所述跟踪模块(46)通过多个相继的单张画面跟踪。
10.按照权利要求9所述的辅助设备(10)，其特征在于，所述跟踪模块(46)为由所述仪器检测模块(50)在相应的单张画面中第一次检测到的目标结构配置***并且借助所述***跟踪在后续的单张画面中检测到的目标结构。
11.按照上述权利要求之一所述的辅助设备(10)，其特征在于，所述图像处理单元(22)包含流模块(40)，所述流模块检测所述图像序列的光学流，所述光学流代表在所述图像序列中包含的运动信息。
12.按照权利要求9至11之一所述的辅助设备(10)，其特征在于，
所述跟踪模块(46)具有设置于所述仪器检测模块(50)上游的第一子模块(42)和设置于所述仪器检测模块(50)下游的第二子模块(44)；
所述第一子模块(42)在考虑由所述流模块(40)检测到的光学流的情况下对于由所述仪器检测模块(50)还未处理的下一个单张画面给出关于所述***的位置信息的预告；并且
所述第二子模块(40)对于已由所述仪器检测模块(50)处理的下一个单张画面借助所述***的由所述仪器检测模块(50)检测到的位置信息来检查由所述第一子模块(42)给出的预告。
13.按照权利要求3至12之一所述的辅助设备(10)，其特征在于，所述预处理模块(36)构成用于在相应的单张画面上进行白平衡。
14.按照权利要求13所述的辅助设备(10)，其特征在于，所述图像处理单元(22)包含参数优化模块(38)，所述参数优化模块将单张画面异步于所述预处理模块(36)处理并且由此生成操控信息，所述操控信息为所述预处理模块(36)预定该预处理模块是否应进行所述白平衡。
15.按照权利要求14所述的辅助设备(10)，其特征在于，所述参数优化模块(38)基于对单张画面的异步处理预先定义用于所述切分模块(48)的阈值。
16.用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的方法，其中
借助相机(12)产生视频信号，所述视频信号包含单张画面的图像序列；
基于所述视频信号在目视仪(18)上示出所述图像序列；
通过标识预先定义的识别特征来检测至少一个在相应的单张画面中代表所使用的仪器的目标结构并且提取指示所述目标结构在所述单张画面中的位置的位置信息；并且
由所述位置信息产生控制信号并且通过所述控制信号操控与所述相机(12)耦合的操纵器(14)，以便使所述相机(12)运动；
其特征在于，标识图像部段作为预先定义的识别特征，所述图像部段通过等于或小于预先定义的色饱和度的色饱和度和通过限定该图像部段的、具有至少一个直线区段的轮廓线来表征。
CN201680006683.9A 2015-01-22 2016-01-21 用于以给出图像的方式支持手术医生的辅助设备和方法 Active CN107209939B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015100927.7A DE102015100927A1 (de) 2015-01-22 2015-01-22 Assistenzeinrichtung und Verfahren zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs unter Verwendung mindestens eines medizinischen Instrumentes
DE102015100927.7 2015-01-22
PCT/EP2016/051189 WO2016116537A1 (de) 2015-01-22 2016-01-21 Assistenzeinrichtung und verfahren zur bildgebenden unterstützung eines operateurs während eines chirurgischen eingriffs unter verwendung mindestens eines medizinischen instrumentes

Publications (2)

Publication Number Publication Date
CN107209939A true CN107209939A (zh) 2017-09-26
CN107209939B CN107209939B (zh) 2020-12-29

Family

ID=55349789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006683.9A Active CN107209939B (zh) 2015-01-22 2016-01-21 用于以给出图像的方式支持手术医生的辅助设备和方法

Country Status (10)

Country Link
US (1) US10540781B2 (zh)
EP (1) EP3248173B1 (zh)
JP (1) JP6677734B2 (zh)
KR (1) KR20170106382A (zh)
CN (1) CN107209939B (zh)
BR (1) BR112017014041A2 (zh)
DE (1) DE102015100927A1 (zh)
PL (1) PL3248173T3 (zh)
RU (1) RU2017129562A (zh)
WO (1) WO2016116537A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108113750A (zh) * 2017-12-18 2018-06-05 中国科学院深圳先进技术研究院 柔性手术器械跟踪方法、装置、设备及存储介质
CN113011418A (zh) * 2021-02-09 2021-06-22 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443501B2 (en) * 2018-12-05 2022-09-13 Verily Life Sciences Llc Robotic surgical safety via video processing
EP4190265A1 (de) 2021-12-01 2023-06-07 Erbe Elektromedizin GmbH Vorrichtung und verfahren zur bildgestützten unterstützung eines anwenders

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087557A1 (en) * 2004-10-20 2006-04-27 Fuji Photo Film Co., Ltd. Electronic endoscope apparatus
CN101442678A (zh) * 2007-05-14 2009-05-27 奥林匹斯冬季和Ibe有限公司 用于内窥镜图像的图像处理的方法和设备
CN103298391A (zh) * 2010-09-17 2013-09-11 生动医疗公司 一次性内窥镜接入装置及可携式显示器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3289945B2 (ja) * 1992-04-13 2002-06-10 オリンパス光学工業株式会社 内視鏡用ｘ線照射位置制御装置
JP3236070B2 (ja) * 1992-06-04 2001-12-04 オリンパス光学工業株式会社 スコープ保持装置およびスコープ装置
DE19529950C1 (de) * 1995-08-14 1996-11-14 Deutsche Forsch Luft Raumfahrt Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie
DE19961971B4 (de) * 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
US20080058989A1 (en) * 2006-04-13 2008-03-06 Board Of Regents Of The University Of Nebraska Surgical camera robot
JP3990375B2 (ja) * 2004-03-30 2007-10-10 東芝ソリューション株式会社 画像処理装置および画像処理方法
JP4789545B2 (ja) * 2005-08-25 2011-10-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析装置
JP4110178B2 (ja) * 2006-07-03 2008-07-02 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5771598B2 (ja) * 2010-03-24 2015-09-02 オリンパス株式会社 内視鏡装置
JP2011224185A (ja) * 2010-04-21 2011-11-10 Hoya Corp 電子内視鏡用画像処理装置
JP5608503B2 (ja) * 2010-10-05 2014-10-15 オリンパス株式会社 撮像装置
JP5648443B2 (ja) * 2010-11-26 2015-01-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9141196B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
CA2933684A1 (en) * 2012-12-14 2014-06-19 The Trustees Of Columbia University In The City Of New York Markerless tracking of robotic surgical tools
JP6112879B2 (ja) * 2013-01-28 2017-04-12 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6265630B2 (ja) * 2013-06-13 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087557A1 (en) * 2004-10-20 2006-04-27 Fuji Photo Film Co., Ltd. Electronic endoscope apparatus
CN101442678A (zh) * 2007-05-14 2009-05-27 奥林匹斯冬季和Ibe有限公司 用于内窥镜图像的图像处理的方法和设备
CN103298391A (zh) * 2010-09-17 2013-09-11 生动医疗公司 一次性内窥镜接入装置及可携式显示器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DARRIN R. UECKER ET AL: "《Automated Instrument Tracking in Robotically-Assisted Laparoscopic Surgery》", 《JOURNAL OF IMAGE GUIDED SURGERY》 *
DOIGNON ET AL: "《Detection of grey regions in color images : application to the segmentation of a surgical instrument in robotized laparoscopy》", 《INTELLIGENT ROBOTS AND SYSTEMS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108113750A (zh) * 2017-12-18 2018-06-05 中国科学院深圳先进技术研究院 柔性手术器械跟踪方法、装置、设备及存储介质
CN108113750B (zh) * 2017-12-18 2020-08-18 中国科学院深圳先进技术研究院 柔性手术器械跟踪方法、装置、设备及存储介质
CN113011418A (zh) * 2021-02-09 2021-06-22 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备
CN113011418B (zh) * 2021-02-09 2024-02-23 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备

Also Published As

Publication number Publication date
PL3248173T3 (pl) 2020-05-18
BR112017014041A2 (pt) 2018-01-02
DE102015100927A1 (de) 2016-07-28
EP3248173B1 (de) 2019-11-06
WO2016116537A1 (de) 2016-07-28
US20170352164A1 (en) 2017-12-07
JP6677734B2 (ja) 2020-04-08
US10540781B2 (en) 2020-01-21
JP2018508246A (ja) 2018-03-29
KR20170106382A (ko) 2017-09-20
RU2017129562A3 (zh) 2019-04-24
EP3248173A1 (de) 2017-11-29
CN107209939B (zh) 2020-12-29
RU2017129562A (ru) 2019-02-22

Similar Documents

Publication Publication Date Title
JP7444932B2 (ja) システム及び出血検出システムのためのプログラム
US8591401B2 (en) Endoscope apparatus displaying information indicating gravity direction on screen
CN107209939A (zh) 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法
CN102473041B (zh) 图像识别装置、操作判断方法以及程序
WO2018216617A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2013187116A1 (ja) 画像処理装置および立体画像観察システム
CN111012301A (zh) 一种头戴式目视精确瞄准***
CN107003737A (zh) 用于自然用户输入的指示器投影
KR20090006295A (ko) 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체
CN114846514A (zh) 作业分析装置和作业分析方法
JP2007097740A (ja) 眼底画像診断支援装置
JP2013058036A (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
CN110505383A (zh) 一种图像获取方法、图像获取装置及内窥镜***
CN116563276B (zh) 一种化纤长丝在线缺陷检测方法及检测***
CN114266718A (zh) 医用图像处理装置及方法、学习模型的学习方法
WO2018074982A1 (en) Method of interactive quantification of digitized 3d objects using an eye tracking camera
JP2016170362A (ja) 手術トレーニングプログラム及び手術トレーニングシステム
CN108693095A (zh) 免疫细胞运动速度检测方法及***
US11850090B2 (en) Guided lung coverage and automated detection using ultrasound devices
WO2021161628A1 (ja) 機械学習方法および機械学習用情報処理装置
CN211783870U (zh) 热红外图像处理器以及人体温度检测***
CN115953496A (zh) 静电可视化***
JP2014104120A (ja) 眼球運動解析システム、眼球運動診断装置および眼球運動解析方法
JP6325270B2 (ja) 超音波診断装置及び医用画像処理プログラム
JP5602449B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant