CN110603004A - 内窥镜测量方法和工具 - Google Patents

内窥镜测量方法和工具 Download PDF

Info

Publication number
CN110603004A
CN110603004A CN201880024921.8A CN201880024921A CN110603004A CN 110603004 A CN110603004 A CN 110603004A CN 201880024921 A CN201880024921 A CN 201880024921A CN 110603004 A CN110603004 A CN 110603004A
Authority
CN
China
Prior art keywords
tool
camera
light plane
feature
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880024921.8A
Other languages
English (en)
Inventor
A·西德莱斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Tape Technology Co Ltd
Original Assignee
Virtual Tape Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Tape Technology Co Ltd filed Critical Virtual Tape Technology Co Ltd
Priority to CN202211642572.0A priority Critical patent/CN116327079A/zh
Publication of CN110603004A publication Critical patent/CN110603004A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087—Tools
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及用于确定通过内窥镜设备的工作通道或者通过套管针***的并且在由视觉化***采集的图片中可见的医疗工具的位置和定向的方法，以及使用所述工具进行测量的方法。

Description

内窥镜测量方法和工具
技术领域
本发明涉及医疗设备领域。具体地，本发明涉及包括视觉化***的内窥镜设备。更具体地，本发明涉及用于确定通过内窥镜设备的工作通道或者通过套管针***并且在由视觉化***采集的图片中可见的医疗工具的位置和取向的方法，以及使用所述工具进行测量的方法。
背景技术
当使用配备有摄像头的管道镜检查引擎或机加工零件的内表面的缺陷时，能够执行并且记录准确的三维测量值以获得缺陷的维度尺寸以便能够评定损坏的程度并且确定应采取什么样的正确措施将是有利的。
在内窥镜手术期间，执行准确的三维测量以获得内腔内的解剖学结构(例如病变、狭窄、肿瘤以及类似物)的维度尺寸是有利的。随着时间跟踪这种测量可以进一步改进所提供的看护水平。
当前，使用最先进的内窥镜(无论是柔性的还是刚性的，单目的还是立体的)的医师还不具有已获取图像内的真正的立体透视，并且不能进行准确的测量。通常的做法是在解剖学结构旁边放置已知尺寸的工具(例如具有已知直径的导管)，并且将其作为刻度评估维度尺寸。因为该工具被手自由地操作，图像中的失真影响了测量的准确性(例如发生透视收缩)。
在US9,545,220中，本发明的发明人公开了通过使用光平面进行欧几里得测量和测地(geodesic)测量来测量内窥镜图像中的3D距离和物体的维度尺寸的***和方法。本发明的内窥镜测量***包括柔性或刚性的内窥镜设备，该内窥镜设备配备有标准视觉化***以及包含用于产生光平面的部件的模块。基于三角测量(triangulation)，光平面和感兴趣物体之间的相交曲线在视觉化***的坐标系中是3D可测量的。
在US9,545,220描述的实施例中，光平面产生模块可以被设置为内窥镜设备的专用部件或者作为能够被附接到内窥镜设备以及能够从内窥镜设备上拆下来的附加单元。为了能够纠正失真并且确保准确的测量，必须进行校准以获知光平面相对于摄像头的焦点的位置和定向。对于专用部件的实施例，在设备的制造期间在工厂中进行校准。对于附加单元的实施例，在每个程序以前进行校准，这可以通过文中描述的扩展站自动地进行。
在US9,545,220中提到了第三个实施例，在该实施例中，通过内窥镜设备的工作通道***光平面产生模块，并且手动地操作。在该实施例中，不能预先计算光平面的位置和定向(位姿)，因此使用该实施例进行的测量会受到与以上描述的通过工作通道***的其他诊断工具和外科工具同样不准确来源的影响。这也适用于通常在腹腔镜外科手术中使用的通过套管针***的工具。
因此，本发明的一个目的是提供用于确定内窥镜图像中的手动操作的工具的位置和定向的方法。
本发明的另一目的是提供用于确定位置和定向并且提供用于对手动操作的光平面内窥镜测量工具准确定位的视觉反馈的方法。
本发明的另一目的是提供一种医疗工具，该工具包括用于通过内窥镜设备的工作通道以及通过套管针***的集成的光平面测量的能力。
本发明的更多目的和优点将随着说明书的展开而显现。
发明内容
在第一方面，本发明是确定内窥镜图像中的手动操作的内窥镜工具相对于摄像头焦点的位置和定向的方法。该方法包括：
a)在图像中识别工具的尖部上的特征，其中所述特征为以下特征中的至少一个：在工具的尖部的显著特征；或者在尖部的表面上形成的压印(imprinted)的位姿模式或者雕刻(engraved)的位姿模式的特征；以及
b)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此确定所述工具自身的位置和定向。
在第一方面的方法的实施例中，摄像头位姿估计方法是多点透视(Perspective-n-Point)方法，用于三个特征点或更多特征点的情况。
在第一方面的方法的实施例中，该工具为光平面产生模块。
在第二方面，本发明是使用通过内窥镜设备的工作通道或者通过套管针引入身体的内腔内部的部位的手动操作的工具对由内窥镜摄像头拍摄的图像中看到的物体的尺寸进行准确估计的方法。该方法包括：
a)将工具放置在物体旁边；
b)提供被配置为分析摄像头图像的处理器设备和软件，以便：
i)在图像中识别工具的尖部上的特征，其中所述特征为以下特征中的至少一个：工具的尖部的显著特征；或者在尖部的表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；
ii)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此确定所述工具自身的位置和定向；以及
iii)使用增强现实技术在摄像头图像上与物体接触的工具的尖部叠加虚拟尺，从而获得物体的尺寸的准确估计。
在第三方面，本发明是使用通过内窥镜设备的工作通道或者通过套管针引入身体的内腔内部的部位的手动操作光平面产生模块对在由内窥镜摄像头拍摄的图像中看到的物体的尺寸进行准确测量的方法。该方法包括：
a)为光平面产生模块提供区别性特征，其中所述特征为以下特征中的至少一个：光平面产生模块的显著特征；或者在其表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；
b)引入光平面产生模块，直到其尖部在内窥镜图像中可见；
c)将光平面穿过待测量的物体对齐；
d)提供被配置为分析摄像头图像的处理器设备和软件，以便：
i)在图像中识别光平面产生模块的尖部上的特征，其中所述特征为以下特征中的至少一个：工具的尖部的显著特征；或者在尖部的表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；
ii)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此在3D摄像头坐标系中确定所述光平面产生模块的位置和定向以及光平面相对于摄像头焦点的偏移；
iii)在3D摄像头坐标系中确定由光平面与物体相交形成的曲线上的像素的精确坐标；以及
iv)使用图像中的像素的已知3D摄像头坐标确定该物体的实际尺寸。
在第三方面的方法的实施例中，使用增强现实技术在摄像头图像上沿着相交曲线叠加带有刻度的虚拟卷尺，从而在测量的视觉化中进行辅助。
在第三方面的方法的实施例中，处理器设备和软件被配置为确定光平面相对于摄像头焦点的偏移，并且提供用于充分定位手动操作的内窥镜光平面测量工具的听觉反馈或视觉反馈。在这些实施例中，可以通过以下方法中的至少一个向操作者提供用于充分定位光平面的反馈：
a)停用测量过程，以及向操作者发送指示由于特征不可见或者偏移在预定阈值以下而不能执行测量的听觉信号和/或显示器上的视觉消息；
b)指示期望的准确度的文本消息或听觉消息；以及
c)对显示进行颜色编码以通知用户测量的准确度。
在第四方面，本发明是诊断内窥镜工具或治疗内窥镜工具，该工具包括附接的光平面产生模块从而为该工具提供集成的光平面测量能力。在诊断内窥镜工具或者治疗内窥镜工具的实施例中，通过以下方法之一将光平面产生模块附接到工具上：从外部地、嵌入式地、以及完全集成地。
通过以下对本发明的实施例的说明性的和非限制性的描述，并参考所附附图，将进一步理解本发明的所有以上以及其他特征和优点。
附图说明
-图1A示意性地示出了由与息肉接触的活检钳的内窥镜上的摄像头采集的图像；
-图1B示意性地示出了图1A的图像，在活检钳的尖部叠加有虚拟尺；
-图2示出了使用具有叠加了关于光平面的特征的标准内窥镜视觉化***成像的人类喉部的图像；
-图3是本发明的***的具体实施例的示意性表示，其中包括独立的处理站；
-图4示意性地示出了刚性地附接到活检钳的光平面产生模块；
-图5示意性地示出了刚性地附接到勒除器(snare)的外套管(over-tube)的光平面产生模块；
-图6A示意性地示出了由息肉前方的手动操作的光平面产生模块的尖部的内窥镜上的摄像头采集的图像；
-图6B示意性地示出了图6A的图像，在该场景中，光平面和物体之间的相交曲线上叠加有虚拟卷尺；以及
-图6C与图6A相同，不同之处是工具的尖部上的位姿模式。
具体实施方式
应注意，在本文中，术语“内窥镜”和“内窥镜设备”以一般意义适用于内窥镜、导管、腹腔镜以及在医疗应用中使用的类似器械，并且也适用于管道镜以及在非医疗应用中使用的类似器械。因为词语内窥镜通常与医疗应用相关联，本发明将在本文中就医疗内窥镜和手术进行描述，但是应理解，本文中给出的所有描述和示例加以必要的修改适用于非医疗内窥镜设备和程序。
通常通过内窥镜设备的工作通道或者通过套管针引入内窥镜工具以进行观察或对身体内腔内部的部位进行操作。为了确定内窥镜图像中的内窥镜工具相对于摄像机焦点的位置和定向，工具的尖部上的可以容易地识别的特征在内窥镜图像中应是可见的，这一点至关重要。这些特征可以是工具尖部的显著特征，或者是在尖部的表面上形成的压印的位姿模式或者雕刻的位姿模式的特征，以促进检测。
图1A示意性地示出了由息肉前方的活检钳的内窥镜上的摄像头采集的图像。在图中可以看到活检钳110，其上已经形成了位姿模式112和息肉114。通常将模式的拐角识别为特征点是便利的。
如果在图像中可见的特征是点，则使用多点透视方法或者摄像头位姿估计领域已知的类似方法确定它们在3D摄像头坐标系中的位置和定向，以及由此确定工具自身的位置和定向。使用三个特征点为特征点最少的情况，而在实践中，使用第四特征点以及更多的特征点来解决模糊不清的问题。
可以使用能够通过内窥镜设备的工作通道或者通过套管针引入身体的内腔内部的部位的任何工具(例如钳、勒除器、激光、烧灼工具以及抓取器)，从而通过遵循通用作法(将工具放置在解剖学结构的旁边、进行上述简单程序以及提供处理器和软件以分析摄像头图像)来准确地估计在由内窥镜摄像头拍摄的图像中看到的物体的维度尺寸、识别特征、以及求解用于在3D摄像头坐标系中确定工具的位置和定向的方法的等式。如图1B所示，一旦在3D摄像头坐标系中的工具的位置和定向已知，就使用增强现实技术在摄像头图像上在与物体接触的工具的尖部叠加虚拟尺126，从而提供局部刻度以及对物体的维度尺寸进行更加准确的估计。
US9,545,220中描述的方法和***通过使用光平面进行线性和测地测量而采取简化的方法来解决内窥镜图像中的物体的3D距离和维度尺寸的测量问题而不是估计问题。本发明的内窥镜测量***包括配备有标准内窥镜视觉化***(例如摄像头、处理站以及用于产生光平面的部件)的柔性或刚性内窥镜设备。基于三角测量，在内窥镜图像中光平面和感兴趣物体之间的相交曲线在摄像头坐标系中是3D可测量的，就像使用实际的卷尺一样。
取自US9,545,220的图2示出使用标准内窥镜成像的人类喉部的图像。在该图像中，光平面由叠加的刻线(reticle)2表示，示意性地示出了光平面与喉部4的相交曲线以及声带6的开口的测量。
同样取自US9,545,220的图3是本发明的***的具体实施例的示意图，其中包括独立的处理站。该***包括内窥镜设备，该内窥镜设备包括标准内窥镜视觉化***(例如摄像头)和光平面产生模块12以及处理站10，还有显示器16，其中光平面产生模块12附接到内窥镜设备22的远端，处理站10包括处理器设备14，处理器设备14从用于操作内窥镜的常规内窥镜***获得图像。处理器设备14可以为例如PC或笔记本电脑，或者是现场可编程门阵列，或者是数字信号处理器微控制器。处理器设备14包括专用软件模块、点击设备以及附加软件模块，其中专用软件模块将3D坐标分配给沿着相交曲线的每个像素，附加软件模块执行用于在用户指定的位置进行线性测量和测地测量的GUI。显示器16向***的用户呈现图片、覆盖的图形以及文本。附加软件模块包括自动方式，从而自动地检测或者通过用户在显示器16上显示的图像上点击来测量息肉的孔或间隙或直径。图3中还示出作为处理站10的部件的电缆34，电缆34将图像从连接到内窥镜设备的常规内窥镜***传送到处理器设备14和鼠标36，鼠标36象征性地表示用于用户向处理站进行输入的点击设备和输入设备。
在图3示出的***中，光平面产生模块作为集成部件或者作为附加单元被刚性地附接到内窥镜。无论在哪一种情况下，使用光平面进行测量的准确性通过进行如本文以上讨论的以及在US9,545,220中更加详细地描述的校准过程得到保证。
图6A和图6C示意性地示出了本发明，其中光平面产生模块118是手动操作的工具，像任何其他内窥镜工具一样，该工具通过工作通道或者套管针引入，直到其尖部在内窥镜图像中可见。因此，在进行测量以前，使用位姿模式112进行本文以上描述的过程，从而以与对本文以上描述的任何其他内窥镜工具相同的方式来确定光平面在摄像头坐标系中的位置和定向。在图6A中，位姿模式由两个方块组成。在图6C中，位姿模式为关于该工具的远端的边缘雕刻的U形线。然而，在光平面产生模块的情况下，该工具不与物体(例如息肉114)接触，并且无需虚拟尺以评估尺寸，因为由光平面与物体相交形成的曲线116上的每个像素在3D摄像头坐标系中的精确坐标是已知的，这允许进行准确的测量。一旦在3D摄像头坐标系中的手动操作的光平面产生模块工具的位置和定向已知，就能够使用增强现实技术在摄像头图像上沿着相交曲线叠加带有刻度的虚拟卷尺128，从而在测量的视觉化中进行辅助，如图6B所示。
光平面测量设备的准确度取决于光平面和摄像头焦点之间的偏移，即如果偏移为零，则无法测量尺寸，并且偏移越大越准确。因此，***的处理器设备中的软件被配置为在3D摄像头坐标系中确定光平面的位置和定向以及光平面相对于摄像头焦点的偏移。该***还被配置为提供用于对手动操作的内窥镜光平面测量工具准确定位的听觉反馈或视觉反馈。
可以以几种方式向操作者提供用于准确定位的反馈，例如：
○如果不是所有特征都可见造成无法执行测量，或者如果偏移在预定阈值以下，那么***被配置为停用测量过程，并且发送听觉信号和/或显示器上的视觉消息。
○提供指示是否可以进行测量以及期望的准确度的文本消息。
○对显示进行颜色编码以通知用户测量的准确度。在一个示例性实施例中，红色表示不能执行测量，桔色表示有限的准确度，黄色表示足够的准确度，以及绿色表示高准确度。
因为准确地测量物体的大小同时确定其组织病理(在原位或在实验室中)是临床有益的，本发明的另一方面是将光平面测量能力集成到诊断内窥镜工具或者治疗内窥镜工具(例如活检钳和勒除器)中以及集成到在原位的组织病理探针中。
图4示意性地示出了刚性地附接到活检钳110的光平面产生模块118，在活检钳110上已形成位姿模式112。在图4中还看到息肉114、光平面与息肉的相交线116、以及表示息肉114的直径的双头箭头120。
图5示意性地示出了刚性地附接到勒除器124的外套管122的光平面产生模块118，在勒除器124上已形成位姿模式112。在图5中还看到息肉114、光平面与息肉的相交线116、以及表示息肉114的直径的双头箭头120。
如图4和图5所示，光平面产生模块可以被从外部附接到工具、嵌入到图5的外套管中的附加内腔中，或者为完全集成的设计，例如集成在活检钳的钳口之间。
虽然已经通过说明的方式描述了本发明的实施例，但是应理解，本发明可以进行很多变形、修改和适应而不超出权利要求的范围。

Claims (10)

1.一种在内窥镜图像中确定手动操作内窥镜工具相对于摄像头焦点的位置和定向的方法，所述方法包括：
a)在所述图像中识别所述工具的尖部上的特征，其中所述特征为以下特征中的至少一个：所述工具的尖部的显著特征，或者在所述尖部的表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；以及
b)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此确定所述工具自身的位置和定向。
2.根据权利要求1所述的方法，其中所述摄像头位姿评估方法是用于至少三个特征点的多点透视方法。
3.根据权利要求1所述的方法，其中所述工具是光平面产生模块。
4.一种使用通过内窥镜设备的工作通道或者通过套管针引入身体的内腔内部的部位的手动操作工具对在由内窥镜摄像头拍摄的图像中看到的物体的尺寸进行准确估计的方法，所述方法包括：
a)将所述工具放置在所述物体旁边；
b)提供配置用来分析摄像头图像的处理器设备和软件，以便：
i)在所述图像中识别所述工具的尖部上的特征，其中所述特征为以下特征中的至少一个：所述工具的尖部的显著特征，或者在所述尖部的表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；
ii)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此确定所述工具自身的位置和定向；以及
iii)在所述摄像头图像上使用增强现实技术在与所述物体接触的工具的尖部叠加虚拟尺，从而获得所述物体的尺寸的准确估计。
5.一种使用通过内窥镜设备的工作通道或者通过套管针引入身体的内腔内部的部位的手动操作光平面产生模块对在由内窥镜摄像头拍摄的图像中看到的物体的尺寸进行准确测量的方法，所述方法包括：
a)向所述光平面产生模块提供区别性特征，其中所述特征为以下特征中的至少一个：所述光平面产生模块的显著特征，或者在其表面上形成的压印的位姿模式或者雕刻的位姿模式的特征；
b)引入所述光平面产生模块，直到其尖部在所述内窥镜图像中可见；
c)将所述光平面穿过待测量的物体对齐；
d)提供配置用来分析所述摄像头图像的处理器设备和软件，以便：
i)在所述图像中识别所述特征；
ii)使用摄像头位姿估计方法在3D摄像头坐标系中确定所述特征的位置和定向，以及由此在所述3D摄像头坐标系中确定所述光平面产生模块的位置和定向以及所述光平面相对于所述摄像头焦点的偏移；
iii)在所述3D摄像头坐标系中确定由所述光平面与所述物体的相交形成的曲线上的像素的精确坐标；以及
iv)使用所述图像中的像素的已知的摄像头坐标确定所述物体的实际尺寸。
6.根据权利要求5所述的方法，其中使用增强现实技术在所述摄像头图像上沿着所述相交曲线叠加带有刻度的虚拟卷尺，从而在测量的视觉化中进行辅助。
7.根据权利要求5所述的方法，其中所述处理器设备和软件被配置为确定所述光平面相对于所述摄像头焦点的偏移，以及提供用于对手动操作内窥镜光平面测量工具适当定位的听觉反馈或者视觉反馈。
8.根据权利要求7所述的方法，其中可以通过以下方式中的至少一个向操作者提供用于对所述光平面适当定位的反馈：
a)停用所述测量过程，并且向所述操作者发送指示因为所述特征不可见或者所述偏移在预定阈值以下而不能执行所述测量的听觉信号和/或显示器上的视觉消息；
b)指示期望准确度的文本消息或者听觉消息；以及
c)对所述显示进行颜色编码以通知用户所述测量的准确度。
9.一种诊断内窥镜工具或者治疗内窥镜工具，所述工具包括附接的光平面产生模块以便为所述工具提供集成的光平面测量能力。
10.根据权利要求9所述的诊断内窥镜工具或者治疗内窥镜工具，其中所述光平面产生模块被通过以下方式之一附接到所述工具：从外部地、嵌入地、以及完全集成地。
CN201880024921.8A 2017-04-13 2018-04-11 内窥镜测量方法和工具 Pending CN110603004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211642572.0A CN116327079A (zh) 2017-04-13 2018-04-11 内窥镜测量***和工具

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485267P 2017-04-13 2017-04-13
US62/485,267 2017-04-13
PCT/IL2018/050415 WO2018189742A1 (en) 2017-04-13 2018-04-11 Endoscopic measurement methods and tools

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211642572.0A Division CN116327079A (zh) 2017-04-13 2018-04-11 内窥镜测量***和工具

Publications (1)

Publication Number Publication Date
CN110603004A true CN110603004A (zh) 2019-12-20

Family

ID=63792935

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880024921.8A Pending CN110603004A (zh) 2017-04-13 2018-04-11 内窥镜测量方法和工具
CN202211642572.0A Pending CN116327079A (zh) 2017-04-13 2018-04-11 内窥镜测量***和工具

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211642572.0A Pending CN116327079A (zh) 2017-04-13 2018-04-11 内窥镜测量***和工具

Country Status (6)

Country Link
US (1) US11540706B2 (zh)
EP (1) EP3609425A4 (zh)
JP (1) JP2020516408A (zh)
CN (2) CN110603004A (zh)
IL (1) IL269356A (zh)
WO (1) WO2018189742A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045772A1 (zh) * 2021-09-22 2023-03-30 宁波新跃医疗科技股份有限公司 医疗用输尿管镜***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617493B2 (en) * 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
KR20200101213A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 전자 장치 및 전자 장치의 오브젝트 측정 방법
JP7069062B2 (ja) * 2019-02-20 2022-05-17 富士フイルム株式会社 内視鏡装置
EP4083677A4 (en) * 2019-12-25 2023-02-01 FUJIFILM Corporation ENDOSCOPE DEVICE, ITS METHOD OF USE AND PROGRAM FOR THE ENDOSCOPE DEVICE

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090048611A1 (en) * 1992-05-27 2009-02-19 International Business Machines Corporation System and method for augmentation of endoscopic surgery
WO2010061293A2 (en) * 2008-11-26 2010-06-03 Haptica Limited System and method for measuring objects viewed through a camera
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN102811655A (zh) * 2010-03-17 2012-12-05 富士胶片株式会社 内窥镜观察支持***、方法、设备和程序
CN105078580A (zh) * 2010-11-02 2015-11-25 伊顿株式会社 手术机器人***及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN105188594A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 根据解剖特征对内窥镜的机器人控制
WO2016154557A1 (en) * 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20160287141A1 (en) * 2014-03-02 2016-10-06 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement system and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03128043A (ja) * 1989-10-16 1991-05-31 Toshiba Corp 形状計測内視鏡装置
JP2008194156A (ja) * 2007-02-09 2008-08-28 Hoya Corp 電子内視鏡装置
WO2012107041A1 (de) * 2011-02-11 2012-08-16 Olaf Christiansen Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
JP6776327B2 (ja) * 2015-07-21 2020-10-28 スリーディインテグレイテッド アーペーエス３Ｄｉｎｔｅｇｒａｔｅｄ Ａｐｓ カニューレアセンブリキット、套管針アセンブリキット、スリーブアセンブリ、低侵襲性手術システム及び方法
JP6656611B2 (ja) * 2015-07-24 2020-03-04 公立大学法人広島市立大学 ３次元形状計測装置、診断システム及び３次元形状計測方法
DE112016004461A5 (de) * 2015-10-01 2018-06-21 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
DK178899B1 (en) * 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
DK178989B1 (en) * 2015-12-30 2017-07-31 3Dintegrated Aps A surgical instrument assembly

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090048611A1 (en) * 1992-05-27 2009-02-19 International Business Machines Corporation System and method for augmentation of endoscopic surgery
WO2010061293A2 (en) * 2008-11-26 2010-06-03 Haptica Limited System and method for measuring objects viewed through a camera
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN102811655A (zh) * 2010-03-17 2012-12-05 富士胶片株式会社 内窥镜观察支持***、方法、设备和程序
CN105078580A (zh) * 2010-11-02 2015-11-25 伊顿株式会社 手术机器人***及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN105188594A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 根据解剖特征对内窥镜的机器人控制
US20160287141A1 (en) * 2014-03-02 2016-10-06 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement system and method
WO2016154557A1 (en) * 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045772A1 (zh) * 2021-09-22 2023-03-30 宁波新跃医疗科技股份有限公司 医疗用输尿管镜***

Also Published As

Publication number Publication date
EP3609425A4 (en) 2021-03-03
US20210121053A1 (en) 2021-04-29
US11540706B2 (en) 2023-01-03
IL269356A (en) 2019-11-28
CN116327079A (zh) 2023-06-27
EP3609425A1 (en) 2020-02-19
WO2018189742A1 (en) 2018-10-18
JP2020516408A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US11529197B2 (en) Device and method for tracking the position of an endoscope within a patient's body
US11540706B2 (en) Method of using a manually-operated light plane generating module to make accurate measurements of the dimensions of an object seen in an image taken by an endoscopic camera
US9545220B2 (en) Endoscopic measurement system and method
US10543045B2 (en) System and method for providing a contour video with a 3D surface in a medical navigation system
CN108601628B (zh) 将操作器械定位在患者身体内的导航、跟踪和引导***
JP6395995B2 (ja) 医療映像処理方法及び装置
JP5137033B2 (ja) 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
TWI605795B (zh) 判定手術部位中探針位置之方法與系統
US20120071757A1 (en) Ultrasound Registration
JP2018183589A (ja) 狭い通路における侵襲的手順の内視鏡画像
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航***及其方法
US8849374B2 (en) Surgery assistance system and optical axis position measurement device
CN107106240A (zh) 显示线性仪器相对于3d医学图像导航后的位置和取向的方法和***
CN113240726A (zh) 一种内窥镜下光学目标尺寸实时测量方法
Lee et al. Simultaneous optimization of patient–image registration and hand–eye calibration for accurate augmented reality in surgery
Kim et al. Improving the safety of telerobotic drilling of the skull base via photoacoustic sensing of the carotid arteries
Chadebecq et al. How big is this neoplasia? live colonoscopic size measurement using the infocus-breakpoint
CN106028943A (zh) 超声虚拟内窥成像***和方法及其装置
Strydom et al. Robotic arthroscopy: The uncertainty in internal knee joint measurement
JP2009201618A (ja) 体内挿入器具の種類を識別可能な手術支援システム
US20220108475A1 (en) Camera calibration using fiducial markers on surgical tools
Oguma et al. Ultrasound image overlay onto endoscopic image by fusing 2D-3D tracking of laparoscopic ultrasound probe
US20230240558A1 (en) Surgical site measurement, and camera calibration using fiducial markers on surgical tools
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220