CN117062560A - 内窥镜修改以增强场景深度推断 - Google Patents

内窥镜修改以增强场景深度推断 Download PDF

Info

Publication number
CN117062560A
CN117062560A CN202280018897.3A CN202280018897A CN117062560A CN 117062560 A CN117062560 A CN 117062560A CN 202280018897 A CN202280018897 A CN 202280018897A CN 117062560 A CN117062560 A CN 117062560A
Authority
CN
China
Prior art keywords
light source
light
endoscope
imaging device
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280018897.3A
Other languages
English (en)
Inventor
尼拉杰·普拉萨德·劳尼亚尔
罗伯特·J·赖克
陈龙泉
杰弗里·A·梅甘克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Scientific Scimed Inc
Original Assignee
Boston Scientific Scimed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Scientific Scimed Inc filed Critical Boston Scientific Scimed Inc
Publication of CN117062560A publication Critical patent/CN117062560A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4818—Constructional features, e.g. arrangements of optical elements using optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

提供了一种成像***(100)和方法，用于通过单目内窥镜(10)确定被观察对象的尺寸。该***包括安装在内窥镜上的成像设备(40)、设置在相对于成像设备的固定位置的至少一个光源、以及处理器(102)，该处理器被配置为接收来自成像设备的输入并分析来自光源的阴影效果、由光源提供的结构化照明、包括光源的多点照明、涉及来自光源的光脉冲的飞行时间和来自光源的横向色差中的至少一个以确定被观察对象的尺寸。

Description

内窥镜修改以增强场景深度推断
相关申请的交叉引用
本申请要求2021年3月3日提交的美国临时专利申请序列号63/155,988的权益和优先权，其公开内容通过引用被并入本文。
技术领域
本公开涉及医疗设备，并且更具体地，涉及用于内窥镜检查手术中的深度确定的增强，以及使用这种医疗设备的方法。
背景技术
对于任何成像***，用户都需要知道正在显示的对象的实际物理尺寸，以精确地解释图像。对于在空间中的固定点处成像2D场景的光学成像***，这通常通过校准***的光学参数(诸如焦距和失真)以及使用计算像素尺寸的信息(通常使用比例尺显示)来实现。这在对具有显著深度的3D场景成像的单目光学成像***中是不可能的。在这些***中，尽管图像传感器像素尺寸是固定的，但所显示的对象的物理尺寸取决于该对象距收集光学器件的距离。两个尺寸相同的对象在图像中会显得不同；离光学器件较远的对象会显得较小。
这是所有内窥镜***中常见的问题。解决这一问题对于输尿管镜手术尤为重要。了解肾结石(和/或残留的结石碎片)的物理尺寸可以直接影响手术决策和整体手术效率。单独的光学校准在输尿管镜应用中是不够的，因为解剖特征和/或结石碎片与主物镜具有显著距离范围。
在当前的实践中，视场尺寸是通过直观地比较已知直径的对象来估计的(例如将结石的尺寸与相邻的激光纤维进行比较)。外科医生需要大量的时间来发展这种直觉。对于内窥镜成像***，即使这种直觉仍然是受到限制的。内窥镜是固有空间，导致(1)使用单个物镜和(2)依赖固定焦距光学器件的设计。这些限制导致在场景上存在对象的可变放大率的成像配置，并且由传感器检测到的每个像素可以表示对象上的不同物理尺寸。这一根本挑战需要更先进的设计来精确测量尺寸。
需要在这个关键的确定尺寸步骤期间提供尺寸指导的方法和设备，以增强手术效果、促进护理标准化和提高患者安全性。
发明内容
本公开提供了针对医疗设备的设计、材料、制造方法和使用替代方案。一种用于确定被观察对象的尺寸的示例成像***，包括单目内窥镜、安装在内窥镜上的成像设备、设置在相对于成像设备的固定位置的至少一个光源、以及被配置为接收来自成像设备的输入并分析来自光源的阴影效果、由光源提供的结构化照明、包括光源的多点照明、涉及来自光源的光脉冲的飞行时间和来自光源的横向色差(lateral color aberration)中的至少一个的处理器，其中该分析为被观察对象提供深度确定，从该深度确定中推断出对象的尺寸。
对于上述实施例可替选地或附加地，该***还包括相对于成像设备和光源可定位的工具。
对于上述任一实施例可替选地或附加地，光源与成像设备间隔开并且处理器被配置为对从工具投影的阴影执行阴影效果分析。
可替选地或附加地，工具上的参考点被定位为距光源第一距离，其中阴影效果分析包括确定第一距离与从光源到在其上可见工具阴影的表面的第二距离的比率。
对于上述任一实施例可替选地或附加地，确定从光源到对象的第三距离以及从光源到在其上可见对象的阴影的表面的第四距离，其中处理器进一步被配置为基于该比率确定对象的尺寸。
对于上述任一实施例可替选地或附加地，至少一个光源将预定光图案投影到被观察对象上，并且处理器被配置为通过将对象上的测量图案的尺寸和曲率(curvature)与预定光图案进行比较来执行结构化照明分析，并基于该比较来确定所述对象的尺寸。
对于上述任一实施例可替选地或附加地，投影光图案的至少一个光源包括被定位在内窥镜和对象之间的光纤。
对于上述任一实施例可替选地或附加地，光纤包括提供均匀照明的第一光纤和提供预定光图案的第二光纤。
对于上述任一实施例可替选地或附加地，至少一个光源至少包括被单独控制的第一光源和第二光源。
对于上述任一实施例可替选地或附加地，第一光源和第二光源提供不同颜色的光。
对于上述任一实施例可替选地或附加地，***还包括第三光源，其中第一光源、第二光源和第三光源是单独控制的红色、绿色和蓝色LED。
对于上述任一实施例可替选地或附加地，***还包括飞行时间传感器，其中至少一个光源被配置为发射光脉冲。
对于上述任一实施例可替选地或附加地，传感器和光源被设置成穿过内窥镜并且向内窥镜的远端远侧地延伸。
对于上述任一实施例可替选地或附加地，光源包括在由成像设备正在检测的波长范围上的横向色差，其中处理器被配置为测量波长移位并将其与到对象的距离相关联。
确定通过单目内窥镜被观察的对象的尺寸的示例方法包括使用安装在内窥镜上的成像设备并使用设置在相对于成像设备的固定位置的至少一个光源捕获对象的图像，利用处理器分析图像，该处理器被配置为执行阴影效果分析、结构光分析、多点照明分析、飞行时间分析和横向色差分析中的一个或多个，以及基于一个或多个分析确定对象的尺寸。
对于任一上述实施例可替选地或附加地，分析是阴影效果，该方法还包括通过内窥镜将已知尺寸的工具定位到第一距离，并用至少一个光源照射该工具，以产生工具的阴影，并测量从至少一个光源到在其上可见工具的阴影的表面的第二距离，其中阴影效果分析包括确定第一距离与第二距离的比率并且使用该比率基于所测量的到对象的第三距离和到对象的阴影的第四距离来确定对象的尺寸。
对于任一上述实施例可替选地或附加地，分析是结构化光分析，该方法还包括使用至少一个光源将预定光图案投影到包括对象的成像场上并测量对象上的结果图案，并且结构化光分析包括将对象上的测量图案的尺寸和曲率与预定光图案进行比较，并基于该比较确定对象的尺寸。
对于上述任一实施例可替选地或附加地，分析是多点照明分析，至少一个光源至少包括被单独控制的第一光源和第二光源，方法还包括用第一光源和第二光源单独地照明该对象。
对于任一上述实施例可替选地或附加地，分析包括飞行时间分析，其中至少一个光源被配置为发射离散光脉冲，其中内窥镜进一步包括飞行时间传感器。
对于任一上述实施例可替选地或附加地，分析包括杠杆式光学像差(leveragedoptical aberration)分析，其中至少一个光源包括由成像设备检测的波长范围上的横向色差，其中分析图像包括测量波长偏移并将其与到对象的距离相关联。
一些实施例、方面和/或示例的上述概要并不旨在描述本公开的每个实施例或每个实施方式。下面的附图和详细描述更具体地举例说明了这些实施例。
附图说明
本公开可以在考虑以下结合附图对各种实施例的详细描述的情况下被更完全地理解，其中：
图1是示例内窥镜组件的透视图；
图2是根据本公开的一个示例的用于确定对象尺寸的***的示意图；
图3是使用阴影分析确定通过内窥镜被观察的对象的尺寸的方法的流程图；以及
图4是使用结构化照明分析确定通过内窥镜被观察的对象的尺寸的方法的流程图。
尽管本公开的方面适用于各种修改和替代形式，但其细节已经在附图中以示例的方式示出并将被详细描述。然而应当理解，意图不是将本公开的方面限制到所描述的特定实施例。相反，意图是覆盖落入本公开的精神和范围内的所有修改、等同物和替代方案。
具体实施方式
对于以下定义的术语，应当应用这些定义，除非在权利要求书中或本说明书的其它地方给出了不同的定义。
所有数值在本文中被假定为由术语“约”修改，无论是否明确指示。在数值的上下文中，术语“约”通常是指本领域技术人员将认为等同于所述值的数字范围(例如，具有相同的函数或结果)。在许多情况下，术语“约”可以包括四舍五入到最接近的有效数字的数字。术语“约”的其它用途(例如在数值以外的上下文中)可以被假定为具有一个或多个其普通和常规定义，如从说明书的上下文中理解的并且与说明书的上下文一致，除非另外规定。
由端点对数值范围的陈述包括该范围内的所有数字，包括端点(例如，1到5包括1、1.5、2、2.75、3、3.80、4、和5)。尽管公开了与各种部件、特征和/或规格有关的一些合适的尺寸、范围和/或值，但是本领域技术人员在本公开的启发下将理解期望的尺寸、范围和/或值可以偏离那些明确公开的尺寸、范围和/或值。
如在本说明书和所附权利要求书中使用的，单数形式“一”、“一个”和“该”包括复数指代物，除非内容明确地另有规定。如在本说明书和所附权利要求书中所使用的，术语“或”在其意义上通常被采用为包括“和/或”的术语，除非内容明确地另有规定。要注意的是，为了便于理解，本公开的某些特征可以以单数描述，尽管这些特征在所公开的一个或多个实施例中可以是复数或重复的。特征的每个实例可以包括一个或多个单数公开和/或被其所涵盖，除非明确相反地说明。为了简单和清楚的目的，并非本公开的所有元件都必然地被示出在每个图中或在下面被详细讨论。然而，将理解的是，下面的讨论可以同样地适用于其中存在多于一个的任何部件和/或所有部件，除非明确相反地说明。附加地，为了清楚起见，并非某些元件或特征的所有实例都可以在每个图中示出。
注意到，在说明书中对“一个实施例”、“一些实施例”、“其它实施例”等的引用表明所描述的一个或多个实施例可以包括特定的特征、结构或特性，但每个实施例不一定包括该特定的特征、结构或特性。此外，这样的短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，本领域技术人员的知识范围内将会影响与其它实施例结合的特定特征、结构或特性，无论是否明确描述，除非明确相反地说明。也就是说，下文所述的各种单独的元件，即使没有以特定的组合明确地示出，仍被设想为可彼此组合或可彼此排列以形成其它附加的实施例或补充和/或丰富所描述的一个或多个实施例，如本领域普通技术人员所理解的那样。
为了清楚的目的，可以在整个描述和/或权利要求中使用某些标识数字命名法(例如，第一、第二、第三、第四等)来命名和/或区分各种描述和/或要求保护的特征。要理解的是，数字命名法不旨在是限制性的并且仅是示例性的。在一些实施例中，为了简洁和清楚起见，可以对先前使用的数字命名法进行变更和偏离。也就是说，被标识为“第一”元件的特征稍后可以被称为“第二”元件、“第三”元件等，或者可以被完全省略，和/或不同的特征可以被称为“第一”元件。每个实例中的含义和/或指定对于熟练的从业者将是显而易见的。
详细描述旨在说明但不限制本公开。本领域技术人员将认识到，所描述的各种元件可以以各种组合和配置来布置而不背离本公开的范围。详细描述说明了本公开的示例实施例。
目前的输尿管镜***是单目的，并且因此缺乏与场景中对象深度相关的直接数据。一些***通过在屏幕上显示的图像上叠加一个简单的网格来估计对象的尺寸，并使用网格尺寸来估计对象的尺寸。然而，这样的分析没有考虑到对象距光源和成像设备的深度。即使使用视野中已知尺寸的对象来创建尺寸网格，深度仍然是未知变量，与网格相比，它可能会大大更改对象的观察到的尺寸。例如，被定位在光源和成像设备远侧5mm处的结石可能看起来明显小于被定位在距光源和成像设备1mm处的类似尺寸的结石。应用于屏幕上的图像的网格可能使两块结石看起来尺寸不同，而实际上它们是相同的物理尺寸。
内窥镜组件10的示例如图1所示。内窥镜10可以是通常由期望到达的特定解剖结构识别的多种类型的内窥镜或相关医疗设备中的任何一种。例如，内窥镜10可以是支气管镜、结肠镜、十二指肠镜、食管镜、引导管、引入器(具有或没有视觉或可视化能力)、或任何其它类型的内窥镜或相关医疗设备。内窥镜10可以包括手持件12和从手持件12向远侧延伸到远侧末端18的细长轴14。轴14可以包括限定工作通道16的管腔，工作通道16从轴14的靠近远侧末端18的远端19通过轴14延伸到可以被定位在手持件12或内窥镜10的另一部分中的接入端口20。尽管内窥镜10在图1中被描绘有单个工作通道16，可以理解，在其它实施例中，内窥镜10可以根据需要包括多个工作通道。一个或多个工作通道可以被配置用于各种外科设备的通过，包括但不限于用于冲洗、真空抽吸、活组织检查和药物递送的成像设备和工具。
手持件12可以包括一个或多个控制器22，诸如旋转旋钮，其可被用于在操作期间控制轴14的远侧末端18的移动。例如，第一旋转旋钮22a可以控制轴14的远侧末端18的上下移动或偏转，而第二旋转旋钮22b可以控制轴14的远侧末端18的侧对侧移动或偏转。手持件12还可以包括一个或多个按钮24，其可被用于激活抽吸或通过内窥镜10的内腔递送诸如空气、盐水和/或水等的流体或根据需要执行其它功能。此外，手持件12可以包括连接到外部光源(未示出)的光缆26。
图2示出了根据本公开的一个示例的用于确定对象尺寸的***100。该***可以包括可操作地耦合到显示器104的处理器102。处理器102还可以被耦合到能量源106和内窥镜10。处理器102可以总体上被配置为接受来自***和***部件的信息，并且根据各种算法处理该信息。能量源108可以包括光学能量源，诸如例如钬(Ho)激光源、二氧化碳(CO2)激光源、氩激光源、二极管激光源、或另一合适的激光源。在一些示例中，可以使用一个或多个高功率LED来代替激光源。在一些示例中，可以使用强脉冲光源来代替激光源。该光学能量源可以被安装在内窥镜10的远端19处，或者被安装在导管或其它合适的细长构件上。
在一些示例中，一个或多个光纤20可以从内窥镜10的远端19延伸通过管腔17并且被配置为将光能从能量源106递送到治疗位置。在其它示例中，光纤20可以被固定在远端19处。成像设备40也可以被设置在内窥镜10的远端19处。成像设备40可以包括被配置成将图像提供给处理器102以在显示器104上显示的任何合适的设备，包括例如CMOS成像传感器或其它固态设备或相机和一个或多个玻璃或聚合物透镜，其产生代表成像设备40前面的组织或其它对象的图像的电子图像信号。成像设备40可以是低光敏感、低噪声视频VGA、CMOS、彩色成像器或诸如SVGA、SXGA或XGA的更高分辨率传感器。在一些示例中，成像设备40和/或光源可以相对于彼此固定。
深度数据在立体***中是可用的，该立体***从不同的视角提供相同场景的多个视图，该多个视图以已知的距离间隔开。然而，单目内窥镜可能不会自动提供场景深度。可以使用五种技术来增强单目深度估计并提供类似于立体***的距离数据：阴影分析、结构化照明、多点照明、飞行时间传感器和杠杆式光学像差。
阴影分析
在阴影分析中，公认的是场景照明的源虽然非常靠近成像设备，但并不完全重合，如图2所示。当照明源相对于成像设备保持在固定位置时，在分析中可以使用到已知尺寸的对象及其阴影的距离。特别地，可以测量从照明源到视场内已知尺寸和/或深度的对象的距离D1，并且可以测量从照明源到在其上可见对象的阴影的表面的距离D2。可以预期阴影效果与D1/D2的比率成比例。然后可以直接计算阴影位置的深度。由于工具的尺寸已知，可以推断出工具(参考点)投影阴影的部分，并且可以测量该部分在场内的深度，并推断出尺寸。
工具的参考点或已知部分被定位为距光源的第一距离D1，然后测量光源到在其上看到工具的阴影的表面的距离D2。计算D1/D2的比率。D1/D2的这个比率提供了可以被用于计算视场中未知对象的尺寸的深度估计。对于未知对象测量距离D1和D2并且计算比率并使用该比率估计未知对象的尺寸。确定从光源到未知对象的第三距离以及从光源到在其上可见未知对象的阴影的表面的第四距离，并且***的处理器基于比率确定未知对象的尺寸。
在图3中示出了确定通过单目内窥镜被观察的对象的尺寸的方法200。已知尺寸的对象(诸如工具)可以相对于内窥镜被放置在已知深度处，例如工作通道中工具的边缘。在由成像设备提供的图像中识别工具(步骤202)。接下来，用户从工具边缘搜索以检测从工具投影到组织表面上的阴影边缘(步骤204)。找到工具和阴影上的对应点(步骤206)，并且测量阴影(步骤208)。使用阴影的宽度来将深度分配给阴影边缘上的点(步骤210)。如果相对深度图是可用的(步骤212)，则推断图像的深度、尺寸和其它特征(步骤214)。如果没有相对深度图可用，则推断阴影边缘处的表面特征的尺寸(步骤216)。
为了将关于工具阴影的深度的信息转换为诸如肾结石的对象的深度(并且因此转换为尺寸)，场景内的相对深度可以通过一些手段来建立，诸如使用连续的、配准的图像和其它照明线索进行对极(epipolar)测量。这些技术可以产生针对场景的深度图，但是没有任何绝对比例，因此第一参考点可以被确定为距离光源两倍远于第二参考点，但是没有精确的方法来确定这些点是4mm和2mm远，还是8mm和4mm远，或是任何这样的组合。通过可靠地测量也在相对深度图中的场景中的单个点的深度，可以确定比例尺，并且可以针对深度图中的每个其它特征推断绝对距离和尺寸。
在一些示例中，工具可以具有用于确定D1的标记，诸如增量测量标记或几何图案。参见例如2021年3月3日提交的标题为“Measurement Markings in Distal Tip ImagingField of View”的美国临时申请No.63/155,939，其全部内容通过引用被并入。
工具阴影的使用还通过工具与光源的接近来最大化深度的比率，从而最大化深度估计的信噪比(signal to noise ratio，SNR)。一些阴影可能几乎不可检测，并且可能受益于子像素分辨率下的估计，使得可以采用图像处理技术来改进半影估计(penumbraestimate)，包括具有配准的多帧采样。
结构化照明
结构化照明技术在光学测量中是已知的，并且通常包括将已知图案或光栅投影到成像场中，其中图案从距记录场景的成像设备已知偏移的位置投影，从而创建立体基线。距离和地形可以通过将测量的图案的尺寸和曲率与已知图案进行比较来计算。
在图4中示出了确定目标对象的尺寸的一个方法300。在步骤302中，将来自已知位置的照明图案投影到目标对象上。在步骤304中，检测相机图像中的投影特征。在步骤306，计算到每个特征(对极)的深度。在步骤308中，确定目标对象是否具有已知深度。如果是，则推断目标对象的尺寸(步骤310)，并且然后用尺寸信息注释相机图像(步骤312)。如果目标对象不具有已知深度(步骤308)，那么下一个问题是相对深度图是否可用(步骤314)。如果是，则该方法进行到步骤310。如果否，则图案位置和/或取向被调整(步骤316)并且方法返回到步骤302。
这种方法在输尿管镜检查中提出了独特的挑战，其中照明和成像设备***都受到严格约束并且非常接近。投影可识别图案所需的光学器件可能无法实际上直接并入到输尿管镜中。因此，可以被***在内窥镜和场景之间的附加工具(可能通过内窥镜工作通道)可以用来创建指示深度的可识别的照明模式，就像上面的阴影分析一样。例如，光纤可以被用作将预定的、可识别的照明图案投影到视场上的附加工具。***处理器通过将在未知对象上测量的图案的尺寸和曲率与预定光图案进行比较来执行结构化照明分析并且基于该比较确定未知对象的尺寸。在一些示例中，第一光纤和第二光纤可以被用于提供预定光图案。
在另一个示例中，被设置在距成像设备已知的分离距离处的具有两个已知波长的光可以充当结构化照明的源。可以使用相同或不同波长的两个或更多个发光二极管(LED)或具有激光的瞄准光束的LED、或激光的导频脉冲串。在进一步的示例中，可以使用两个光纤，第一个具有用于标准可视化的均匀照明，而第二个具有用于物理深度测量的结构化光，其中照明在内窥镜本身内生成。当使用多个LED或光纤时，它们可以被单独地和分别地控制。特别是对于LED，单独地打开它们可以为用户提供通过混合来自不同颜色LED的光来改变光的颜色以实现期望的光颜色的能力。
多点照明
结合上述技术中任何一种或两种，第二个单独可控的照明源可以被并入在内窥镜上，其具有最大的实际源分离，这将提供附加的深度信息。上述阴影效果可以针对每个光源确定。可以通过定时(通过可以以与相机帧速率同步的间隔打开和关闭光源)、或通过颜色(例如使用互补的红蓝光源可以在图像中创建可检测的彩色条纹，测量这些条纹将准许深度推断)来实现来自不同光源的阴影的区分。同样，内窥镜末端上的单个红色、绿色和蓝色(RGB)LED(诸如微型LED)可以创建具有微妙(subtle)深度提示(cue)的平衡照明，计算机可能能够在不干扰用户的情况下解释这些提示。例如，白光可以通过组合红色、绿色和蓝色LED的输出来实现。
飞行时间传感器
飞行时间原理是一种用于测量传感器和对象之间距离的方法，并且它是基于光信号的发射和其在被对象反射后返回传感器之间的时间差。飞行时间传感器需要可以发射光脉冲的光源，该光脉冲可以由激光器或LED提供。该***可以修改当前的LED或利用碎石***来生成光脉冲。传感器和光源可以被***到内窥镜和场景之间，而不是将传感器安装到内窥镜上。以这种方式，传感器和光源可以被向远侧延伸超出内窥镜的远端。
杠杆式光学像差
内窥镜成像传感器可以在平铺(典型地是Bayer)布局中使用RGB图案。然后，传感器的这些相邻部分被重新组合成表示(RGB)颜色中的单个共同位置(co-locatedposition)的单个像素。这通常工作得很好，特别是如果光学器件被设计成将可以导致图像平面***线偏移的横向色差最小化。然而，光学器件可以代替地被设计成有意地包括在被检测的波长范围上的横向色差。原始图像中的单个红色、绿色和蓝色传感器处的射线偏移可以是可测量的，并且可以与物理距离相关。色像差可以基于透镜的材料。在一些示例中，可以使用燧石玻璃。燧石玻璃具有一些铅和特定的高色差(由低于50的阿贝数描述)和高折射率(通常高于1.55)。一些类型的燧石玻璃是：F、LF、SF、KF、BaF、BaLF。无铅燧石玻璃通常在它们的名字之前有一个“N”。例如，N-SF8。如果偏移相对于像素尺寸显著，这可能会显示在原始像素中。如果与在可见光谱的这一部分中具有差异吸收的玻璃等级(例如N-SF57)配对，和/或与准直多光谱照明配对，可以想象地创建、注册和使用单个R、G和B图像来估计距离的一些差异。
可以在成像***中使用上述技术中的一个或多个，以提供对通过单目内窥镜被观察的对象的物理尺寸的更精确的估计。成像***可以包括单目内窥镜、安装在内窥镜上的成像设备、设置在相对于成像设备的固定位置的至少一个光源以及处理器，该处理器被配置为接收来自成像设备的输入并分析来自光源的阴影效果、由光源提供的结构化照明、包括光源的多点照明、涉及来自光源的光脉冲的飞行时间和来自光源的横向色差中的至少一个。该分析为被观察对象提供尺寸确定。
应当理解，本公开在许多方面仅仅是说明性的。可以在细节上进行改变，特别是在形状、尺寸和步骤的布置方面，而不超出本公开的范围。在其适当的程度上，这可以包括使用在其它实施例中正被使用的一个示例实施例的特征中的任何特征。本公开的范围当然是以所附权利要求书所表述的语言来限定的。

Claims (15)

1.一种用于确定被观察对象的尺寸的成像***，包括：
单目内窥镜；
成像设备，其被安装在所述内窥镜上；
至少一个光源，其被设置在相对于所述成像设备的固定位置；以及
处理器，其被配置为接收来自所述成像设备的输入并分析来自所述光源的阴影效果、由所述光源提供的结构化照明、包括所述光源的多点照明、涉及来自所述光源的光脉冲的飞行时间以及来自所述光源的横向色差中的至少一个；
其中，所述分析为所述被观察对象提供深度确定，从所述深度确定推断出所述对象的尺寸。
2.根据权利要求1所述的***，还包括相对于所述成像设备和所述光源可定位的工具。
3.根据权利要求2所述的***，其中，所述光源与所述成像设备间隔开并且所述处理器被配置为对从所述工具投影的阴影执行阴影效果分析。
4.根据权利要求3所述的***，其中，所述工具上的参考点被定位成距所述光源第一距离，其中，所述阴影效果分析包括确定第一距离与从所述光源到可见所述工具的阴影的表面的第二距离的比率。
5.根据权利要求4所述的***，其中，确定从所述光源到所述对象的第三距离以及从所述光源到可见所述对象的阴影的表面的第四距离，其中，所述处理器进一步被配置为基于所述比率确定所述对象的尺寸。
6.根据权利要求1-5中任一项所述的***，其中，所述至少一个光源将预定光图案投影到被观察对象上，并且所述处理器被配置为通过将所述对象上的测量图案的尺寸和曲率与所述预定光图案进行比较来执行结构化照明分析，并基于所述比较来确定所述对象的尺寸。
7.根据权利要求6所述的***，其中，投影光图案的所述至少一个光源包括被定位在所述内窥镜和所述对象之间的光纤。
8.根据权利要求7所述的***，其中，所述光纤包括提供均匀照明的第一光纤和提供所述预定光图案的第二光纤。
9.根据权利要求1-8中任一项所述的***，其中，所述至少一个光源至少包括被单独控制的第一光源和第二光源。
10.根据权利要求9所述的***，其中，所述第一光源和所述第二光源提供不同颜色的光。
11.根据权利要求10所述的***，还包括第三光源，其中，所述第一光源、所述第二光源和所述第三光源是单独控制的红色LED、绿色LED和蓝色LED。
12.根据权利要求1-11中任一项所述的***，还包括飞行时间传感器，其中所述至少一个光源被配置为发射光脉冲。
13.根据权利要求12所述的***，其中，所述传感器和光源被设置成穿过所述内窥镜并且向所述内窥镜的远端远侧地延伸。
14.根据权利要求1-13中任一项所述的***，其中，所述光源包括在由所述成像设备正在检测的波长范围上的横向色差，其中，所述处理器被配置为测量波长偏移并将其与到所述对象的距离相关联。
15.一种确定通过单目内窥镜被观察的对象的尺寸的方法，包括：
使用安装在所述内窥镜上的成像设备并使用设置在相对于所述成像设备的固定位置的至少一个光源捕获所述对象的图像；
利用处理器分析所述图像，所述处理器被配置为执行阴影效果分析、结构光分析、多点照明分析、飞行时间分析和横向色差分析中的一个或多个；以及
基于一个或多个分析确定所述对象的尺寸。
CN202280018897.3A 2021-03-03 2022-03-02 内窥镜修改以增强场景深度推断 Pending CN117062560A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163155988P 2021-03-03 2021-03-03
US63/155,988 2021-03-03
PCT/US2022/018576 WO2022187404A1 (en) 2021-03-03 2022-03-02 Scope modifications to enhance scene depth inference

Publications (1)

Publication Number Publication Date
CN117062560A true CN117062560A (zh) 2023-11-14

Family

ID=81326758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280018897.3A Pending CN117062560A (zh) 2021-03-03 2022-03-02 内窥镜修改以增强场景深度推断

Country Status (7)

Country Link
US (1) US20220283425A1 (zh)
EP (1) EP4301203A1 (zh)
JP (1) JP2024508315A (zh)
CN (1) CN117062560A (zh)
AU (1) AU2022228570A1 (zh)
CA (1) CA3212013A1 (zh)
WO (1) WO2022187404A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106535734B (zh) * 2014-09-25 2018-02-13 奥林巴斯株式会社 内窥镜***
DE112015005073B4 (de) * 2014-11-06 2020-08-06 Sony Corporation Abbildungssystem, enthaltend eine Linse mit longitudinaler chromatischer Aberration, Endoskop und Abbildungsverfahren
JP6442344B2 (ja) * 2015-03-31 2018-12-19 富士フイルム株式会社 内視鏡診断装置、プログラムおよび記録媒体
US10262453B2 (en) * 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
US10925598B2 (en) * 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems
US11213194B2 (en) * 2019-06-20 2022-01-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral, fluorescence, and laser mapping imaging

Also Published As

Publication number Publication date
US20220283425A1 (en) 2022-09-08
EP4301203A1 (en) 2024-01-10
CA3212013A1 (en) 2022-09-09
AU2022228570A1 (en) 2023-09-07
JP2024508315A (ja) 2024-02-26
WO2022187404A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
US12059126B2 (en) Endoscope system
US11529197B2 (en) Device and method for tracking the position of an endoscope within a patient's body
US11555997B2 (en) Endoscope with integrated measurement of distance to objects of interest
US10813554B2 (en) Medical imaging device and methods of use
EP3603482B1 (en) Endoscope system, processor device for operating endoscope system
US10368720B2 (en) System for stereo reconstruction from monoscopic endoscope images
JP2017513662A (ja) Ｑ３ｄ画像の３ｄ画像とのアライメント
US20190083180A1 (en) Medical image processing apparatus, medical image processing method, and program
US20130321602A1 (en) Endoscope and endoscope system
EP3278706A1 (en) Endoscopic diagnostic device, method for measuring size of lesion site, program, and recording medium
EP3737285B1 (en) Endoscopic non-contact measurement device
JP6738465B2 (ja) 内視鏡システム
US20220283425A1 (en) Scope modifications to enhance scene depth inference
US20130286407A1 (en) Apparatus
CN117677334A (zh) 内窥镜可视化装置、***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination