CN109381152A - 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备 - Google Patents

用于肠胃图像中的兴趣对象的面积或体积的方法以及设备 Download PDF

Info

Publication number
CN109381152A
CN109381152A CN201710768987.5A CN201710768987A CN109381152A CN 109381152 A CN109381152 A CN 109381152A CN 201710768987 A CN201710768987 A CN 201710768987A CN 109381152 A CN109381152 A CN 109381152A
Authority
CN
China
Prior art keywords
interest
size
image
physical
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710768987.5A
Other languages
English (en)
Other versions
CN109381152B (zh
Inventor
王康怀
M·哈德利
伍晨愉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN109381152A publication Critical patent/CN109381152A/zh
Application granted granted Critical
Publication of CN109381152B publication Critical patent/CN109381152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/07—Endoradiosondes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1073—Measuring volume, e.g. of limbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及用于肠胃图像中的兴趣对象的面积或体积的方法以及设备。本申请公开了一种估算或测量使用一内窥镜所捕获的一个或多个图像中的一兴趣对象的一物理面积或物理体积的方法以及设备。根据本方法，一个或多个图像中的一兴趣对象被确定。此外，还接收该兴趣对象相比于该内窥镜的一图像传感器的距离信息。然后基于该一个或多个图像以及该距离信息确定该兴趣对象的该物理面积大小或物理体积大小。

Description

用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
相关申请案的交互参照
本发明关联于2015年10月16日申请的第14/884,788号美国专利申请案，该美国专利申请案的全部内容纳入本文作为参考资料。
技术领域
本发明涉及以诊断为目的的用于捕捉人体胃肠道(gastrointestinal；GI)的图像的内窥镜。尤指能够估算GI图像中的一兴趣对象(object of interest)的物理面积或物理体积的内窥镜。
背景技术
用于在体内成像体腔或通道的装置是本领域所已知的，包括内窥镜以及自主封装的摄像机(camera)。内窥镜是通常通过管口或外科刀口而进入人体内部的柔韧管或刚性管，通常是通过嘴部进入食道，或通过直肠进入结肠。一个图像通过使用一镜头在远端形成，并通过透镜中继***或相干光纤束(coherent fiber-optic bundle)传输至位于身体外侧的近端。一概念上类似的仪器可以在远端电性记录一个图像，例如，使用一CCD或CMOS阵列，并通过一线缆(cable)将该图像数据作为一电信号传送到远端。内窥镜允许医生控制视野，是公认的诊断工具。
胶囊内窥镜是近年来发展起来的一种体内内窥镜。对于胶囊内窥镜而言，一摄像机被安置在一个可吞服的胶囊内，以及一无线电发射器用于将数据(主要包括通过数码摄像机记录的图像)传送到位于身体外部的一基站接收器或收发器以及数据记录器。该胶囊还可包括用于接收来自一基站发射器的指令或其他数据的一无线电接收器。可以使用低频电磁信号代替射频传输。电源可通过由一外部感应器到胶囊内部的一内部电感器的电感予以提供，或者由胶囊内部的电池予以提供。
在名称为“在制度所批准的波段内具有板上数据存储器或数字无线传送的体内自主摄像机(In Vivo Autonomous Camera with On-Board Data Storage or DigitalWireless Transmission in Regulatory Approved Band)”，于2011年7月19日授权的第7986458号美国专利案中公开了一种具有板上数据存储器的自主胶囊摄像***。具有板上存储器的该胶囊摄像机实现了在板上非易失性存储器中捕捉图像。当该胶囊摄像机从人体中取出时即可取回。存储于被取回的胶囊摄像机的非易失性存储器中的图像而后可通过该胶囊摄像机中的一输出端口进行存取。
当该内窥镜用于成像人体胃肠道时，其主要目的之一是确定任何可能的异常。如果发现任何异常，则进一步确定异常的特征，如异常的大小。例如，息肉的大小是对于结肠镜检查过程所做出的监视间隔决策(surveillance interval decision)的一个重要的临床因素。通常，大的息肉的大小与恶性肿瘤的较高的发病率相关。此外，对于恶性肿瘤而言，息肉大小会影响***浸润和转移的概率，还会实质性的影响预后(prognosis)。例如，在Warren等人所撰写的技术论文中(“Comparison of One-,Two-,and Three-DimensionalMeasurements of Childhood Brain Tumors”,Journal of National Cancer Institute,pp.141-145,Vol.93,No.18,September 19,2001)，表明了肿瘤淋巴的转移与肿瘤的面积或体积(即多维测量比一维测量)更为密切相关。类似的观察也被Kikuchi等人所指出(A newstaging system based on tumor volume in gastric cancer’,Anticancer Research,pp.2933-2936,Vol.21,No.4B,July-August2001)。
然而，在结肠镜检查的标准程序中，息肉大小总是以其最长的尺寸进行量测。例如，在Chaptini等人的一篇技术文章中(“Variation in polyp size estimation amongendoscopists and impact on surveillance intervals”,GastrointestinalEndoscopy,pp.652-659,Volume 80,No.4:2014)，息肉的大小是通过量测打印照片或一显示装置的显示图像上的开放式手术钳的大小来确定的。类似的尺寸量测技术也被Plumb等人所提到(“Terminal digit preference biases polyp size measurements atendoscopy,computed tomographic colonography,and histopathology”,Endoscopy,pp.899–908,Vol.48,October 2016)。
希望开发出一种可以方便地测量或估算一兴趣对象的物理面积或物理体积的技术。
发明内容
一种估算或测量使用一内窥镜所捕获的一个或多个图像中的一兴趣对象的一物理面积或物理体积的方法以及设备。根据本方法，一个或多个图像中的一兴趣对象被确定。而且，还接收该兴趣对象相比于该内窥镜的距离信息。然后基于该一个或多个图像以及该距离信息确定该兴趣对象的该物理面积大小或物理体积大小。
于一实施例中，该兴趣对象的该物理面积大小与该兴趣对象的一第一物理尺寸以及该兴趣对象的一第二物理尺寸的一乘积成正比。与从该兴趣对象的一端至该兴趣对象的另一端的一最长直线对齐的一第一方向被确定。基于从由与该内窥镜的该图像传感器的光学配置相关联的一放大因子(magnification factor)所缩放(scaled)的该一个或多个图像所测量的该最长直线，该兴趣对象的该第一物理尺寸被确定。基于由该放大因子所缩放的该兴趣对象在一第二方向上的一第二测得的最长长度，估算该兴趣对象的一第二物理尺寸，其中，该第二方向垂直于该第一方向。
于另一实施例中，该确定一兴趣对象包括通过一用户或一人工智能程序，或该用户与该人工智能程序的组合以勾画出该兴趣对象的一边界。例如，该勾画该兴趣对象的一边界可以通过该用户使用一输入装置于一显示装置所显示的一个或多个图像中指示该兴趣对象的该边界来完成。如果该兴趣对象跨越一当前图像的一边界进入一个或多个相邻图像中时，则在确定该兴趣对象的物理面积大小或物理体积大小之前，拼接该当前图像与该一个或多个相邻图像。在这种情况下，可在该当前图像以及该一个或多个相邻图像中勾画出该兴趣对象，以辅助拼接该当前图像以及该一个或多个相邻图像。
该确定一兴趣对象可包括由一用户通过一计算机输入装置或通过于一计算机上执行程序代码(program code)以指示该兴趣对象。此外，该指示兴趣对象可包括生成围绕该兴趣对象的一轮廓或改变该兴趣对象的一颜色或形状。该兴趣对象可对应于一病变(lesion)，有蒂息肉(pedunculated polyp)，无蒂锯齿状息肉(sessile serrated polyp)，平坦型病变(flat lesion)或克罗恩病(Crohn’s disease)的一感染区域。
在另一实施例中，通过使用与代表在代表胃肠道的一部分的一个或多个图像中的一个或多个目标兴趣对象的平均面积或百分比相对应的一聚集数，为一异常产生一记分板以作为该异常的情况的一指示，且其中，该一个或多个目标兴趣对象对应于与该异常有关的该胃肠道中的一个或多个感染区域。该胃肠道的该部分可对应于小肠的一部分、结肠的一部分、或两者。根据另一实施例，由一指数所指示的该疾病状态与一胃肠道部分中的该总图像中的感染面积的总和除以该部分中的图像的图像面积的总和成正比。
该兴趣对象的该物理体积大小可根据一异常的三维(3D)数学模型以及所测得的该兴趣对象的一维(1D)或二维(2D)尺寸信息而导出，且其中该三维数学模型用于预测该兴趣对象的一表面下方的该兴趣对象的深度。该三维数学模型可对应于一椭圆形、一卵形、一球形、一圆盘形或更复杂的D形。此外，不同类型的病变可以使用不同的数学模型。
该兴趣对象的该物理面积尺寸或该物理体积尺寸可根据该距离信息而导出，该距离信息是通过将结构光投影到该胃肠道的一内腔壁上的一组点的位置而导出的。生成三角形网格以覆盖该兴趣对象的一地形表面，该三角形网格是由使用一组点位置所生成的一组三角形所组成。识别该兴趣对象的一轮廓可被投影到该三角形网格上，且该投影轮廓内的一目标三角形集合的投影区域可被确定为该兴趣对象的该物理面积大小。计算该目标三角形集合的目标三角形的一量和(vector sum)，与各目标三角形相关联的各矢量区域对应于面积以及各目标三角形的法向量(normal vector)的一乘积。于一实施例中，三维形状模型被假定为该兴趣对象，根据该兴趣对象的一测得的一维或二维尺寸信息，估算该兴趣对象的该物理体积大小。
附图说明
图1A显示了使用一手术钳测量一肿瘤的最长维度的一实施例，其中，在图像平面与对象平面之间存在一夹角。
图1B显示了从一内窥镜图像所看到的使用一手术钳对齐该肿瘤的最长维度以测量一兴趣对象的最长维度的一实施例。
图2显示了基于对象-摄像机的距离确定对象尺寸的一简化实施例。
图3显示了由结构光点所形成的三角形网格的一实施例。
图4显示了表示将一特征投影到该三角形网格上的一自由手环。
图5显示了由剖线填充区域指示该自由手环内的三角形的一部分的一实施例。
图6为根据本发明的一实施例所示的使用一内窥镜捕获的一个或多个图像中一兴趣对象的一物理面积或物理体积的估算或测量的一实施例流程图。
具体实施方式
将很容易理解的是，如在本文的附图中总体描述和图示的本发明的部件可以以多种不同的配置来布置和设计。因此，本发明的方法和***的实施例的下列更详细的描述并不旨在限制本发明的范围，而仅仅表示本发明的目前优选的实施例。贯穿本说明书的对“一个实施例”，“实施例”，或类似语言的引用意味着结合实施例所描述的一特定特征、结构、或特性可包括在本发明的至少一实施例中。因此，贯穿于本说明书的各个地方的短语“在一个实施例中”或“在一实施例中”的出现不一定都指代相同的实施例。
此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式进行组合。然而，相关技术领域的技术人员应认识到，可以在没有一个或多个具体细节的情况下，或与其他方法、组件等一起实施本发明。在其他情况下，未示出或详细描述公知的结构或操作以避免模糊本发明的各个方面。通过参考附图将最好地理解本发明的所示实施例，其中相同的部件由相同的附图标记表示。以下描述仅旨在通过示例的方式，简单地说明与本文所述的符合本发明的装置和方法的某些选定的实施例。
内窥镜通常是通过例如口腔或***等一自然开口***人体内部。因此，内窥镜的首选是小尺寸以实现微创。如前所述，内窥镜可用于诊断人体肠胃(GI)道。可通过查看所捕获的图像序列以识别任何可能的异常。例如，息肉是医生在结肠镜检查过程中经常发现的一种异常。息肉大小是结肠镜检查过程中作出监视间隔决策的一个重要的临床因素。此外，克罗恩病(Crohn’s disease)在西方世界更为普遍。该疾病状态的诊断和随访包括内窥镜直接显示上消化道和下消化道内的粘膜表面。然而，胃肠病学家需要费力地通过复杂的人体肠道***并操纵内窥镜，以观察粘膜表面并获得疾病状况的一主观印象，例如炎症状态在胃肠道内有多普遍。另外，一吞服的胶囊内窥镜可用于检查胃肠道。
如果发现任何异常，其对于识别异常的特征具有重要的意义。在评估胃肠道中一兴趣对象的面积或体积方面存在着一个显着的未满足的需求。这种评估在当前最先进的内窥镜技术中受到了一些问题的困扰。目前的测量通常是一维的，该测量使用一个已知大小的装置(例如，一手术钳)以对齐并接近息肉。该手术钳(forcipes)对齐息肉的最长尺寸以通过与已知尺寸的手术钳进行比较来估算该息肉大小。然而，该内窥镜包括一软性的线缆，当***到一曲折的肠道中时，精确的操纵无法轻易且精准地完成。即使与最长维度的对齐是成功的，通常在肿瘤的最长维度和手术钳之间存在一个夹角。对于一吞服胶囊而言，该操纵是没有问题的。
此外，病变可能不在同一平面上。例如，结肠平坦型病变的情况下或克罗恩病(Crohn’s disease)情况下的炎症，将使得精确地测量无法成立。
图1A示出了使用一手术钳120测量一肿瘤110的最长维度的一实施例的截面图。内窥镜蛇形线缆131的远端130***胃肠道，其中，线140表示粘膜表面。部分的肿瘤(112)位于粘膜表面140的上方以及部分的肿瘤(114)位于粘膜表面的下方。此外，远端130具有一摄像机以及LED光源(未予图示)以捕获图像。另外，在远端处具有一开口以允许手术钳120伸出而进行尺寸测量。手术钳与肿瘤的最长维度对齐以估算肿瘤的大小。图1B所示的内窥镜图像180为在图1A中虚线150表示的手术钳120的钳尖对准与肿瘤的最长维度的视角。然而，图像平面160与兴趣对象平面170可能没有对齐。在图1A中，图像平面与兴趣对象平面之间存在一夹角θ。所测量的最长维度162小于物理最长维度172，如图1A所示。
为了克服一兴趣对象在传统尺寸测量中的不足，本发明的一个方面公开了一种内窥镜***，可允许用户容易地测量一异常的面积或体积。根据本发明，揭露了一种具有距离测量能力的内窥镜，限于或不限于例如一吞服胶囊，以克服上述存在于诊断中的种种问题。
在序列号为PCT/US17/15668，2017年1月30日提交的PCT专利申请案中，披露了一种由捕获图像以及距离信息来测量一兴趣对象的一維(1D)尺寸的方法。该方法根据PCT/US17/15668，解除了在传统方法中需要一手术钳的困扰。根据PCT/US17/15668，可以从捕捉图像中所测得的尺寸以及一确定的对象距离来估算一兴趣对象的真实尺寸。在一内窥镜中，焦距是通过设计而得知的。如果可以确定一对象与该摄像机之间的距离(本揭露中也称为对象距离)，则可使用几何图形来确定一对象的尺寸。
图2示出了基于对象-摄像机的距离的对象尺寸确定的一简化示例。在一摄像机***中，图像传感器被放置在透镜210后面的焦平面(focal plane)220上。摄像机可在沿一角度α延伸的视野范围内捕捉一场景。焦距f为透镜与图像传感器之间的距离。焦距通常是固定的内窥镜应用并且为已知的设计。然而，当一胶囊内窥镜通过该胃肠道时，该对象距离D依据该胶囊内窥镜的位置及其相对于所拍摄的GI壁的相对角度而变化。如果距离D是已知的，可以通过测量图像中的对象图像尺寸而由捕获的图像来确定一对象的尺寸。例如，如果具有高度H的一对象230与摄像机之间的距离为D，则可根据图像中的下列对象图像高度h来导出对象图像高度H：
在上述方程式中，h是从图像所测得的，焦距f是通过设计已知的，距离D是由如上所述的一选定的距离测量方法来确定的。因此，如果可以确定，则可以推导出对象的尺寸。该图像中的对象尺寸可以用物理尺寸来测量。然而，图像是以数字方式捕获的，根据像素的数量来实现尺寸测量可能更为方便。由于图像传感器表面以及光学足迹(footprint)的物理尺寸是已知的。另外，像素的数量也是已知的(例如320x240)。因此，图像中的对象图像大小可以通过多个像素来测量，并在图像中转换为物理对象尺寸大小。为了方便起见，D/f的比例被称为放大因子。
如上所示，图像中的对象图像的大小取决于实际对象的大小及其与摄像机之间的距离。位于一较近距离的一较小的对象与位于一较远距离的一较大的对象可能出现在图像中具有相同的尺寸。例如，较小的但接近于对象230的对象240呈现出与图像中的对象230具有相同的高度。因此，距离是确定对象大小的关键信息。所以，上述公开的距离测量方法能够基于使用一内窥镜所捕获的图像来确定对象的大小。
于本发明的一实施例中，首先界定病变的边界。基于本实施例的方法识别该第一最长维度并根据该成像器的距离信息和放大率测量其长度。由于内窥镜图像平面可能无法与病变平面很好地对准，因此可能需要来自于视野中的多个点的距离信息。
对于上述的实施例而言，本方法还提供一种工具，用于在垂直于第一最长维度的方向上找到第二最长维度。病变的二维测量值可以表示为该第一最长维度与该第二最长维度的乘积，该第一最长维度与该第二最长维度是由在此过程中的一维尺寸信息的乘积所导出的。
在其他实施例中，根据本发明的一方法提供了一种使用各种面积测量方法，例如使用网格，以精确测量实际面积的工具。
在另一个实施例中，根据本实施例的一种方法允许用户(例如医生或医疗专业人员)在计算机/软件代码或两者中实施一种算法来勾画图像中的病变。例如，一医疗专业人员可以在显示正在检查的胃肠道图像的触控屏上绘制轮廓。计算机可以运行一个经过深度学习训练的一程序(program)来自动绘制一病变的轮廓。在另一实施例中，医生可以指出图像中病变的位置，具有人工智能(AI)的计算机可以自动完成轮廓的绘制。使用深度学习或人工智能来执行各种图像处理任务(如模式识别)是本领域众所周知的技术。在此不再重复具体细节。
对于GI图像，每个图像通常覆盖有限的视野。因此，可能会发生肿瘤穿过图像边界的情况，特别是克罗恩病的炎症。整个肿瘤可能散布在许多图像上。根据本发明的一实施例，首先进行图像的拼接，然后基于拼接的图像执行面积或体积的测量。
虽然一兴趣对象的面积或体积的全自动测量是可行的，但在某种程度的人类协助下，***可能执行得更快或更为可靠。例如，多个图像之间的拼接可以通过病变的轮廓边界来辅助，其可以被指定为“特征”。该方法然后估算“特征”的大小或体积。
在基于拼接的图像估算面积或体积的处理过程中，一计分板(score board)通过使用一聚集数(aggregate number)予以保存。该聚集数可能对应于每个图像的感染面积的平均面积或百分比。该聚集数也可以针对通过胃肠道的一部分(例如小肠、会场、结肠等)所计算出的每个区域(所有图像的聚合区域)来做计算。因此，该疾病状态可以用一指数来表示，该指数为与一GI部分中的所有图像的感染面积之和除以该GI图像部分中的图像面积之和成正比。
三维尺寸(即体积)可以基于有蒂息肉(pedunculated polyp)，无蒂锯齿状息肉(sessile serrated polyp)，平坦型病变(flat lesion)等每种类型病变的数学模型进行计算。此模型可以预测表面下方的病变的深度，其对于概率转移的评估是有用的。
根据本发明的另一实施例，使用结构光(structured light)来估算三维尺寸。例如，通过使用结构光来获得三维中的多个点的位置，其中结构光的射线与内墙的腔壁相交。可以通过将三角形网格中已知的点连接在一起而形成一近似的连续的深度地图。图3示出了由结构光点形成的三角形网格的一实施例。例如，三角形310是由三个结构光点311,312,313所形成。三角形320是由三个结构光点321,322以及323所形成。三角形网格的形成类似于Delaunay三角剖分(Delaunay triangulation)。所形成的每一个三角形都是与构成三角形顶点的三个点相交的一个平面型平面。可以通过内插三个深度值找到该平面。
正常强度/色彩图像可以显示一个特征，该特征可以通过用户或软件工具予以包围。下面的算法演示了用于计算该特征的剪影区或阴影区的一实施例。
用于指示一特征的一自由手环(free hand loop)410可被投影到三角形网格上，如图4所示。可以通过简单确定三角形和投影的自由手环的二维相交面积来找到每个三角形的面积分量(area component)。
如图4所示，穿过自由手环的三角形(即320)有助于局部面积的估算。对于三角形320，仅计算自由手环410内部的部分以用于面积计算。自由手环410内部的部分由图5中的剖线填充区域510予以表示。三角形(例如三角形310)也可能完全在该自由手环的内部。在这种情况下，三角形则贡献出整体面积以用于面积大小的计算。在另一方面，三角形可能是在自由手环的外部，则没有对面积大小的计算作出贡献。
肿瘤的一投影区域Aeff可以被定义为：
A为每个三角形相交区域(即Ai)的面积的向量和乘以其法向量其中
一投影面积Aeff可由以下公式予以确定:
Aeff＝|A|
于另一实施方式中，一投影面积Aeff可以由下列公式予以确定:
相比于简单的线性(即一维)尺寸而言，由上述所导出的面积是对用于指示疾病状态的肿瘤尺寸的更好的测量。
在另一实施例中，该特征被假定为适合的形状(如椭球形、卵形、球形、圆盘形或更为复杂的三维形状)。因此，该特征的体积可以通过形状假设以及与该外形相关的参数来进行估算。
图6为根据本发明的一实施例所示的使用一内窥镜所捕获的一个或多个图像中的一兴趣对象的一物理面积或物理体积的估算或测量的一实施例流程。在步骤610中，当一内窥镜进入一人体的胃肠(GI)道时，接收使用该内窥镜所捕获的一个或多个图像。在步骤620中，确定上述一个或多个图像中的一兴趣对象。在步骤630中，还接收该兴趣对象相比于该内窥镜的距离信息。于步骤640中，根据该一个或多个图像以及该距离信息，确定该兴趣对象的物理面积大小或物理体积大小。
上述描述的呈现用于提供域的技术人员能够按照在上下文中所提供的特定应用程序及其需求而实践本发明。对本领域的技术人员来说，对所描述的实施例的各种修改将是显而易见的，并且本文所定义的一般原则可以应用于其他实施例。因此，本发明不旨在限于所示的以及所描述的特定实施例，而是将被赋予与本文所揭示的原理和新颖性特征相一致的最广泛的范围。在上述的详细说明中，说明了各种具体细节，以便对本发明提供透彻地理解。然而，本领域的技术人员应当了解，本发明可以被实践。
本发明可以在不脱离其精神或者本质特征的前提下，以其他具体形式予以体现。所描述的实施例在所有方面都只是说明性的，而非限制性的。因此，本发明的范围是通过权利要求范围而非前述的描述来表示。所有在权利要求书的含义和范围内的所有变化均应纳入其范围内。

Claims (23)

1.一种估算或测量使用一内窥镜所捕获的一个或多个图像中的一兴趣对象的一物理面积或物理体积的方法，其特征在于，该方法包括：
当该内窥镜位于一人体的胃肠(GI)道内时，使用该内窥镜接收一个或多个图像；
确定该一个或多个图像中的一兴趣对象；
接收该兴趣对象相比于该内窥镜的距离信息；以及
基于该一个或多个图像以及该距离信息，确定该兴趣对象的物理面积大小或物理体积大小。
2.根据权利要求1所述的方法，其特征在于，所述确定该兴趣对象的物理面积大小或物理体积大小包括：
确定与从该兴趣对象的一端至该兴趣对象的另一端的一最长直线对齐的一第一方向；
基于从由与该内窥镜的一图像传感器的光学配置相关联的一放大因子所缩放的该一个或多个图像所测量的该最长直线，估算该兴趣对象的一第一物理维度；以及
基于由该放大因子所缩放的该兴趣对象在一第二方向上的一第二测得的最长长度，估算该兴趣对象的一第二物理维度，其中，该第二方向垂直于该第一方向；以及
其中，该兴趣对象的该物理面积大小与该兴趣对象的该第一物理维度以及该兴趣对象的该第二物理维度的一乘积呈正比。
3.根据权利要求1所述的方法，其特征在于，所述确定一兴趣对象包括通过一用户或一人工智能程序或该用户与该人工智能程序的组合以勾画出该兴趣对象的一边界。
4.根据权利要求3所述的方法，其特征在于，所述勾画出该兴趣对象的一边界是通过该用户使用一输入装置于一显示装置所显示的该一个或多个图像中指示该兴趣对象的该边界来完成的。
5.根据权利要求3所述的方法，其特征在于，如果该兴趣对象跨越一当前图像的一边界而进入一个或多个相邻图像中时，则在确定该兴趣对象的物理面积大小或物理体积大小之前，拼接该当前图像与该一个或多个相邻图像。
6.根据权利要求5所述的方法，其特征在于，于该当前图像以及该一个或多个相邻图像中勾画出该兴趣对象，以辅助拼接该当前图像以及该一个或多个相邻图像。
7.根据权利要求1所述的方法，其特征在于，所述确定一兴趣对象包括使用图像程序以自动勾画该兴趣对象的一边界。
8.根据权利要求1所述的方法，其特征在于，所述确定该兴趣对象的物理面积大小或物理体积大小是通过在一计算机装置上执行计算机可执行代码而自动完成的。
9.根据权利要求1所述的方法，其特征在于，该兴趣对象对应于一病变，有蒂息肉，无蒂锯齿状息肉，平坦型病变或克罗恩病的一感染区域。
10.根据权利要求1所述的方法，其特征在于，通过使用与在代表胃肠道的一部分的一个或多个图像中的一个或多个目标兴趣对象的平均面积或百分比相对应的一聚集数，而为一异常产生一记分板以作为该异常的情况的一指示，且其中，该一个或多个目标兴趣对象对应于与该异常有关的该胃肠道中的一个或多个感染区域。
11.根据权利要求10所述的方法，其特征在于，该胃肠道的该部分对应小肠的一部分、结肠的一部分、或两者。
12.根据权利要求1所述的方法，其特征在于，为一异常产生一指数以作为该异常的一疾病状态的一指示，且其中，该指数为与一胃肠道部分中的该一个或多个图像中的感染面积的一总和除以该胃肠道部分中该一个或多个图像中的总图像面积的一总和成正比。
13.根据权利要求1所述的方法，其特征在于，该兴趣对象对应于一异常，该兴趣对象的该物理体积大小是根据该异常的三维数学模型以及所测量的该兴趣对象的一维或二维尺寸信息而导出，且其中，该三维数学模型用于预测一粘膜表面下方的该异常的深度或体积。
14.根据权利要求13所述的方法，其特征在于，该三维数学模型对应于一椭圆形、一卵形、一球形或一圆盘形。
15.根据权利要求1所述的方法，其特征在于，该兴趣对象的该物理面积大小或该物理体积大小是根据通过将结构光投影到该胃肠道的一内腔壁上的一组点位置而得到的该距离信息所导出。
16.根据权利要求15所述的方法，其特征在于，生成三角形网格以覆盖该兴趣对象的一地形表面，且其中，该三角形网格是由使用该组点位置所生成的一组三角形所组成。
17.根据权利要求16所述的方法，其特征在于，将识别该兴趣对象的一轮廓投影到该三角形网格上，并将投影轮廓中一目标三角形集合的投影区域确定为该兴趣对象的该物理面积大小。
18.根据权利要求17所述的方法，其特征在于，计算该目标三角形集合的目标三角形的一矢量和，且其中，各目标三角形的各矢量区域对应于各目标三角形的面积和法向量的一乘积。
19.根据权利要求16所述的方法，其特征在于，为该兴趣对象假定三维形状模型，并根据该兴趣对象的一测得的一维或二维尺寸信息估算该兴趣对象的该物理体积大小。
20.根据权利要求1所述的方法，其特征在于，所述确定该一个或多个图像中的一兴趣对象包括通过一用户借由一计算机输入装置或通过在一计算机上执行程序代码来指示该兴趣对象。
21.根据权利要求20所述的方法，其特征在于，所述指示该兴趣对象包括在该兴趣对象的周围生成一轮廓，或改变该兴趣对象的一颜色或阴影。
22.根据权利要求21所述的方法，其特征在于，该程序代码包括利用深度学习或人工智能以于该兴趣对象的周围自动生成该轮廓的例程。
23.一种用于估算或测量使用一内窥镜所捕获的一个或多个图像中的一兴趣对象的一物理面积或物理体积的设备，该设备包括一个或多电子电路或处理器经安排成：
当该内窥镜位于一人体的胃肠(GI)道内时，使用该内窥镜获取一个或多个图像；
确定该一个或多个图像中的一兴趣对象；
接收该兴趣对象相比于该内窥镜的一图像传感器的距离信息；以及
基于该一个或多个图像以及该距离信息，确定该兴趣对象的物理面积大小或物理体积大小。
CN201710768987.5A 2017-08-04 2017-08-31 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备 Active CN109381152B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/669,853 US10346978B2 (en) 2017-08-04 2017-08-04 Method and apparatus for area or volume of object of interest from gastrointestinal images
US15/669,853 2017-08-04

Publications (2)

Publication Number Publication Date
CN109381152A true CN109381152A (zh) 2019-02-26
CN109381152B CN109381152B (zh) 2021-05-04

Family

ID=65231658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710768987.5A Active CN109381152B (zh) 2017-08-04 2017-08-31 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备

Country Status (2)

Country Link
US (1) US10346978B2 (zh)
CN (1) CN109381152B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091562A (zh) * 2019-12-23 2020-05-01 山东大学齐鲁医院 一种消化道病灶大小测量方法及***
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及***
CN114419135A (zh) * 2022-03-29 2022-04-29 武汉楚精灵医疗科技有限公司 胰腺标志物尺寸量化方法、装置、终端及可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10736559B2 (en) * 2017-08-04 2020-08-11 Capsovision Inc Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
US10580157B2 (en) * 2017-08-04 2020-03-03 Capsovision Inc Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
JP7093833B2 (ja) * 2018-04-26 2022-06-30 オリンパス株式会社 移動支援システム及び移動支援方法
US11055868B2 (en) * 2018-07-19 2021-07-06 Radius Technologies, LLC Systems and methods for sizing objects via a computing device
JP7179633B2 (ja) * 2019-02-01 2022-11-29 株式会社エビデント 計測方法、計測装置、およびプログラム
US11010935B2 (en) 2019-08-28 2021-05-18 International Business Machines Corporation Context aware dynamic image augmentation
WO2022054049A1 (en) * 2020-09-08 2022-03-17 Given Imaging Ltd. Systems and methods for polyp size estimation
CN116940274A (zh) * 2021-03-12 2023-10-24 奥林巴斯株式会社 内窥镜用形状测量***及内窥镜用形状测量方法
WO2023059430A1 (en) * 2021-10-05 2023-04-13 Noah Medical Corporation Systems and methods for laser-based medical device illumination
CN114464316B (zh) * 2022-04-11 2022-07-19 武汉大学 胃部异常风险等级预测方法、装置、终端及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
US20100272318A1 (en) * 2005-05-13 2010-10-28 G.I. View Ltd Endoscopic measurement techniques
CN101902961A (zh) * 2007-10-15 2010-12-01 基文影像公司 用于估算体腔内物体大小的装置、***及方法
US20120035507A1 (en) * 2010-07-22 2012-02-09 Ivan George Device and method for measuring anatomic geometries

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL147221A (en) * 2001-12-20 2010-11-30 Given Imaging Ltd Device, system and method for image based size analysis
JP4363843B2 (ja) * 2002-03-08 2009-11-11 オリンパス株式会社 カプセル型内視鏡
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US20070255098A1 (en) * 2006-01-19 2007-11-01 Capso Vision, Inc. System and method for in vivo imager with stabilizer
WO2007136859A2 (en) * 2006-05-19 2007-11-29 Avantis Medical Systems, Inc. Device and method for reducing effects of video artifacts
JP5715372B2 (ja) * 2010-10-15 2015-05-07 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び内視鏡装置
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100272318A1 (en) * 2005-05-13 2010-10-28 G.I. View Ltd Endoscopic measurement techniques
CN101902961A (zh) * 2007-10-15 2010-12-01 基文影像公司 用于估算体腔内物体大小的装置、***及方法
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
US20120035507A1 (en) * 2010-07-22 2012-02-09 Ivan George Device and method for measuring anatomic geometries

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091562A (zh) * 2019-12-23 2020-05-01 山东大学齐鲁医院 一种消化道病灶大小测量方法及***
CN111091562B (zh) * 2019-12-23 2020-12-01 山东大学齐鲁医院 一种消化道病灶大小测量方法及***
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及***
CN114419135A (zh) * 2022-03-29 2022-04-29 武汉楚精灵医疗科技有限公司 胰腺标志物尺寸量化方法、装置、终端及可读存储介质
CN114419135B (zh) * 2022-03-29 2022-06-28 武汉楚精灵医疗科技有限公司 胰腺标志物尺寸量化方法、装置、终端及可读存储介质

Also Published As

Publication number Publication date
CN109381152B (zh) 2021-05-04
US20190043188A1 (en) 2019-02-07
US10346978B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109381152A (zh) 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
US10736559B2 (en) Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
CN107920722B (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
US7813538B2 (en) Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
CN104582559B (zh) 内窥镜***和内窥镜***的工作方法
CN105531720B (zh) 用于体内对象的大小估计的***和方法
US7995798B2 (en) Device, system and method for estimating the size of an object in a body lumen
US8939892B2 (en) Endoscopic image processing device, method and program
US10580157B2 (en) Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
US10835113B2 (en) Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
CN104883946A (zh) 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
US10402992B2 (en) Method and apparatus for endoscope with distance measuring for object scaling
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
CN106618454B (zh) 一种胶囊式内窥镜***
US20110135170A1 (en) System and method for display speed control of capsule images
US9412054B1 (en) Device and method for determining a size of in-vivo objects
CN104918534A (zh) 内窥镜***和内窥镜***的工作方法
CN105188503A (zh) 尤其用于微创手术的内窥镜
CN106535736A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN104434001A (zh) 全方位三维立体视觉的单目内窥镜***
Dimas et al. Endoscopic single-image size measurements
Furukawa et al. 2-DOF auto-calibration for a 3D endoscope system based on active stereo
CN108392165A (zh) 用于具有针对物体缩放的距离测量的内视镜的方法和器具
US20230334658A1 (en) Quantification of barrett's oesophagus
CN117224110A (zh) 用于识别胶囊摄像机在胃肠道内的位置的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant