CN116547701A - 用于识别息肉图像的***和方法 - Google Patents

用于识别息肉图像的***和方法 Download PDF

Info

Publication number
CN116547701A
CN116547701A CN202180070844.1A CN202180070844A CN116547701A CN 116547701 A CN116547701 A CN 116547701A CN 202180070844 A CN202180070844 A CN 202180070844A CN 116547701 A CN116547701 A CN 116547701A
Authority
CN
China
Prior art keywords
image
images
polyps
polyp
seed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180070844.1A
Other languages
English (en)
Inventor
D·法勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiwen Imaging Co ltd
Original Assignee
Jiwen Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiwen Imaging Co ltd filed Critical Jiwen Imaging Co ltd
Publication of CN116547701A publication Critical patent/CN116547701A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了用于识别包含息肉的图像的***和方法。用于识别图像的示例性方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的图像，其中：该图像中的每个图像疑似包括息肉并且与包含息肉的概率相关联，并且该图像包括种子图像，其中每个种子图像与该图像中的一个或多个图像相关联。与每个种子图像相关联的该图像被识别为疑似包括与该相关联的种子图像相同的息肉。该方法包括对种子图像应用息肉检测***以识别包括息肉的种子图像，其中该息肉检测***基于与该种子图像相关联的该图像和与该种子图像以及与该相关联的图像相关联的概率来应用于每个种子图像。

Description

用于识别息肉图像的***和方法
相关申请的交叉引用
本申请要求于2020年9月8日提交的美国临时申请号63/075,795的权益和优先权，该美国临时申请据此以引用方式全文并入本文。
技术领域
本公开涉及胃肠道(GIT)的体内图像的图像分析，并且更具体地涉及用于识别GIT中息肉的图像的***和方法。
背景技术
胶囊内窥镜检查(CE)允许在内窥镜下检查整个GIT。有些胶囊内窥镜检查***和方法旨在检查GIT的特定部分，诸如小肠(SB)或结肠。CE是不需要患者住院的非侵入性规程，并且患者在胶囊位于他的体内时可继续大多数日常活动。
在典型CE规程时，医师将患者转诊到规程。然后患者到达医疗设施(例如，诊所或医院)以执行该规程。卫生专业人员(例如，护士或医师)监督患者在医疗设施处吞服大约复合维生素大小的胶囊并且为患者提供可穿戴设备，例如传感器带和放在小袋中的记录器以及须环绕患者肩部放置的带子。可穿戴设备通常包括存储设备。可为患者给予指导和/或指令，然后让患者出院进行其日常活动。
胶囊在其自然地行进穿过GIT时捕获图像。然后图像和附加数据(例如，元数据)被传输到患者穿戴的记录器。胶囊通常是用后即弃的并且随着肠运动自然地排出。规程数据(例如，捕获的图像或其一部分以及附加元数据)存储在可穿戴设备的存储设备上。
患者通常将可穿戴设备连同其上存储的规程数据一起返还给医疗设施。然后将规程数据下载到通常位于医疗设施处的计算设备，该计算设备具有其上存储的引擎软件。之后该引擎将所接收的规程数据处理为编译研究(或“研究”)。通常，研究包括数千图像(约6,000张)。通常，待处理的图像的数量大约为数万并且平均为约90,000。
阅片者(其可以是规程监督医师、专属医师或转诊医师)可经由阅片者应用规程来访问研究。然后阅片者经由阅片者应用规程来复查研究，评估该规程并且提供其输入。由于阅片者需要复查数千图像，因此研究的读取时间通常可能平均需要半小时到一小时并且读取任务可能很麻烦。然后阅片者应用程序基于编制的研究和阅片者的输入来生成报告。平均需要一小时才能生成报告。该报告可包括例如由阅片者选择的感兴趣的图像，例如被识别为包括病状的图像；基于规程的数据(即，研究)和/或由阅片者提供的对随访和/或治疗的建议来评估或诊断患者的医疗状况。然后可将该报告转发给转诊医师。转诊医师可基于该报告来决定所需的随访或治疗。
发明内容
在一致的程度上，本文所详述的任何或所有方面可与本文所详述的任何或所有其它方面结合使用。本公开的各方面涉及以高度的置信度识别息肉的图像。由于高度的置信度，本公开的各方面涉及以自动方式使用所识别的图像而无需人类的提示或干预，以及/或者涉及当在人类审查期间可能遗漏了这些图像时向健康专业人员呈现所识别的图像，以及/或者涉及否决可能错误地指定了所识别图像的其他工具的决定。
根据本公开的各方面，一种用于识别包括息肉的图像的方法包括：访问在CE规程期间由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中：该多个图像中的每个图像疑似包括息肉并且与包含息肉的概率相关联，该多个图像包括种子图像并且每个种子图像与该多个图像中的一个或多个图像相关联，其中该一个或多个图像与被识别为疑似包括与相关联的种子图像相同的息肉的每个种子图像相关联；以及对这些种子图像应用息肉检测***以识别包括息肉的种子图像，其中该息肉检测***基于与种子图像相关联的一个或多个图像和与种子图像以及与该一个或多个相关联的图像相关联的概率来应用于这些种子图像中的每个种子图像。
在该方法的各种实施方案中，该方法包括识别该多个图像中包括尺寸等于或大于预定义尺寸的息肉的图像，其中该多个图像中的每个图像进一步与包含在每个图像中的疑似息肉的估计尺寸相关联，并且其中息肉检测***基于与种子图像以及与该种子图像相关联的一个或多个图像相关联的估计息肉尺寸来进一步应用于这些种子图像中的每个种子图像。
在该方法的各种实施方案中，该规程被确定为不充分并且被排除，并且至少一个种子图像被识别为包括尺寸等于或大于预定义尺寸的息肉或者包括预定义数量的尺寸等于或大于预定义尺寸的息肉，并且该方法包括否决该规程的排除。
在该方法的各种实施方案中，该息肉检测***包括以下中的至少一者：一个或多个正滤波器、一个或多个负滤波器、一个或多个经典机器学习***或它们的组合。
在该方法的各种实施方案中，该方法到该一个或多个经典机器学习***、该一个或多个正滤波器或该一个或多个负滤波器的输入包括以下中的至少一者：包含息肉的种子图像概率、与种子图像相关联的图像的数量、与具有根据预定义阈值的包含息肉的概率的种子图像相关联的图像的数量或它们的组合。
在该方法的各种实施方案中，通过在相邻图像中应用跟踪包含在每个种子图像中的疑似息肉的***、或者通过使用将所述种子图像与相邻图像进行比较的分类***来确定与每个种子图像相关联的该一个或多个图像。
在该方法的各种实施方案中，该方法所访问的胃肠道(GIT)的多个图像为CE规程研究的图像。
在该方法的各种实施方案中，该方法包括从该多个图像中选择种子图像。
在该方法的各种实施方案中，该方法包括基于被识别为包括息肉的种子图像，向CE规程转诊医师提供将CE规程受试者转诊到结肠镜检查规程的指示。
在该方法的各种实施方案中，该方法包括：对于该多个图像中的每个图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于图像的输入特征来提供该图像包含息肉的概率，以及访问对应于该图像的经典机器学习***的软间隔；以及在没有人为干预的情况下，基于该多个图像的软间隔来确定是否推荐结肠镜检查。
在该方法的各种实施方案中，该方法包括访问软间隔到包含息肉的图像的概率的映射，其中是否推荐结肠镜检查的确定还基于软间隔到包含息肉的图像的概率的该映射。
在该方法的各种实施方案中，该方法包括：对于该多个图像中的每个图像，访问图像的估计息肉尺寸，该估计息肉尺寸基于该图像而生成；以及访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，其中是否推荐结肠镜检查的确定还基于估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射。
在该方法的各种实施方案中，该方法包括显示被识别为包括息肉的种子图像。
在该方法的各种实施方案中，该方法包括基于被识别为包括息肉的种子图像来提供治疗建议。
在该方法的各种实施方案中，该方法包括显示种子图像并且指示被识别为包括息肉的种子图像。
在该方法的各种实施方案中，该方法包括：向用户显示至少种子图像；接收用户对所显示的图像中的图像的选择；确定至少一个未被选择图像，该至少一个未被选择图像未被用户选择并且在被识别为包括息肉的种子图像中；以及向该用户呈现该至少一个未被选择图像。
在该方法的各种实施方案中，该方法被用户选择的图像为被选择以包括在CE规程报告中的图像。
在该方法的各种实施方案中，该方法一旦接收到生成报告的请求，就执行向用户呈现至少一个未被选择图像。
根据本公开的各方面，一种用于识别图像的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；将至少一个滤波器应用于该多个图像，其中该至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器，或者被配置为识别图像以不指定为包含息肉的负滤波器；以及基于以下中的至少一者来提供信息：该多个图像中由该至少一个滤波器识别的至少一个图像，或者该多个图像中未由该至少一个滤波器识别的至少一个图像。
在该方法的各种实施方案中，负滤波器被配置为识别图像以基于这些图像为GIT的身体出口部分的图像而不指定为包含息肉。
在该方法的各种实施方案中，负滤波器被配置为识别图像以基于这些图像被评估为回盲瓣或痔丛中的至少一者的图像而不指定为包含息肉。
在该方法的各种实施方案中，负滤波器被配置为识别图像以基于这些图像被评估为包含估计息肉尺寸低于阈值尺寸的息肉而不指定为包含息肉。
在该方法的各种实施方案中，该方法还包括：对于该多个图像中的每个图像，访问图像的图像轨迹。
在该方法的各种实施方案中，负滤波器被配置为识别图像以基于对于只有一张图像的息肉存在概率高于阈值的图像的图像轨迹而不指定为包含息肉。
在该方法的各种实施方案中，正滤波器被配置为识别图像以基于图像轨迹来指定为包含息肉。
在该方法的各种实施方案中，正滤波器被配置为识别图像以基于对于至少阈值数量的图像的息肉存在概率高于阈值的图像的图像轨迹来指定为包含息肉。
根据本公开的各方面，一种用于识别图像的***包括一个或多个处理器以及存储指令的至少一个存储器。这些指令在由该一个或多个处理器执行时使得该***：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；将至少一个滤波器应用于该多个图像，其中该至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器，或者被配置为识别图像以不指定为包含息肉的负滤波器；以及基于以下中的至少一者来提供信息：该多个图像中由该至少一个滤波器识别的至少一个图像，或者该多个图像中未由该至少一个滤波器识别的至少一个图像。
在该***的各种实施方案中，负滤波器被配置为识别图像以基于这些图像为GIT的身体出口部分的图像而不指定为包含息肉。
在该***的各种实施方案中，负滤波器被配置为识别图像以基于这些图像被评估为回盲瓣或痔丛中的至少一者的图像而不指定为包含息肉。
在***的各种实施方案中，负滤波器被配置为识别图像以基于这些图像被评估为包含估计息肉尺寸低于阈值尺寸的息肉而不指定为包含息肉。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时进一步使得***对于该多个图像中的每个图像访问图像的图像轨迹。
在该***的各种实施方案中，负滤波器被配置为识别图像以基于对于只有一张图像的息肉存在概率高于阈值的图像的图像轨迹而不指定为包含息肉。
在该***的各种实施方案中，正滤波器被配置为识别图像以基于图像轨迹来指定为包含息肉。
在该***的各种实施方案中，正滤波器被配置为识别图像以基于对于至少阈值数量的图像的息肉存在概率高于阈值的图像的图像轨迹来指定为包含息肉。
根据本公开的各方面，一种用于识别图像的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；对于该多个图像中的每个图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于图像的输入特征来提供该图像是否包含息肉的指示；以及基于该多个图像中的至少一个图像呈现信息，该信息具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示。
在该方法的各种实施方案中，该方法还包括：对于该多个图像中的每个图像：访问图像的图像轨迹。
在该方法的各种实施方案中，对应于图像的输入特征包括以下中的至少一者：图像轨迹的轨迹长度，或者图像轨迹中具有高于阈值的息肉存在分数的图像数量。
在该方法的各种实施方案中，对应于图像的输入特征包括图像的索引与回盲瓣的图像的索引之间的索引差。
在该方法的各种实施方案中，对应于图像的输入特征包括在其中捕获了图像的结肠段的段号。
在该方法的各种实施方案中，该经典机器学习分类器为多项式支持向量机。
根据本公开的各方面，一种用于识别图像的***包括一个或多个处理器以及存储指令的至少一个存储器。这些指令在由该一个或多个处理器执行时使得该***：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；对于该多个图像中的每个图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于图像的输入特征来提供该图像是否包含息肉的指示；以及基于该多个图像中的至少一个图像呈现信息，该信息具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时进一步使得***对于该多个图像中的每个图像访问图像的图像轨迹。
在该***的各种实施方案中，对应于图像的输入特征包括以下中的至少一者：图像轨迹的轨迹长度，或者图像轨迹中具有高于阈值的息肉存在分数的图像数量。
在该***的各种实施方案中，对应于图像的输入特征包括图像的索引与回盲瓣的图像的索引之间的索引差。
在该***的各种实施方案中，对应于图像的输入特征包括在其中捕获了图像的结肠段的段号。
在该***的各种实施方案中，该经典机器学习分类器为多项式支持向量机。
根据本公开的各方面，一种用于识别图像的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；将至少一个滤波器应用于该多个图像，其中该至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；通过从该多个图像中选择未由该至少一个滤波器识别的至少一个图像来提供至少一个未经滤波的图像；对于该至少一个未经滤波的图像中的每个未经滤波的图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于未经滤波的图像的输入特征来提供该未经滤波的图像是否包含息肉的指示；以及基于该至少一个未经滤波的图像中的至少一个图像呈现信息，该信息具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示。
在该方法的各种实施方案中，该方法还包括：在没有人为干预的情况下生成胶囊内窥镜检查报告以呈现给临床医生，该胶囊内窥镜检查报告包括以下中的至少一者：该至少一个未经滤波的图像中具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示的至少一个图像，或者由正滤波器识别的至少一个图像。
在该方法的各种实施方案中，该方法还包括：接收用户对该多个图像中的图像的选择；确定未被用户选择并且在该至少一个未经滤波的图像中具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示的该至少一个图像之中的至少一个未被选择图像；以及向该用户呈现该至少一个未被选择图像。
根据本公开的各方面，一种用于识别图像的***包括一个或多个处理器以及存储指令的至少一个存储器。这些指令在由该一个或多个处理器执行时使得该***：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；将至少一个滤波器应用于该多个图像，其中该至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；通过从该多个图像中选择未由该至少一个滤波器识别的至少一个图像来提供至少一个未经滤波的图像；对于该至少一个未经滤波的图像中的每个未经滤波的图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于未经滤波的图像的输入特征来提供该未经滤波的图像是否包含息肉的指示；以及基于该至少一个未经滤波的图像中的至少一个图像呈现信息，该信息具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时进一步使得***：在没有人为干预的情况下生成胶囊内窥镜检查报告以呈现给临床医生，其中该胶囊内窥镜检查报告包括以下中的至少一者：该至少一个未经滤波的图像中具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示的至少一个图像，或者由正滤波器识别的至少一个图像。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时进一步使得该***：接收用户对该多个图像中的图像的选择；确定未被用户选择并且在该至少一个未经滤波的图像中具有由该经典机器学习***提供的包含满足置信度阈值的息肉的指示的该至少一个图像之中的至少一个未被选择图像；以及向该用户呈现该至少一个未被选择图像。
根据本公开的方面，一种用于推荐结肠镜检查的计算机实现的方法包括：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；对于该多个图像中的每个图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于图像的输入特征来提供该图像是否包含息肉的指示，以及访问对应于该图像的经典机器学习***的软间隔；以及在没有人为干预的情况下，基于该多个图像的软间隔来确定是否推荐结肠镜检查。
在该方法的各种实施方案中，该方法还包括访问软间隔到包含息肉的图像的概率的映射，其中是否推荐结肠镜检查的确定还基于软间隔到包含息肉的图像的概率的该映射。
在该方法的各种实施方案中，该方法还包括：对于该多个图像中的每个图像，访问图像的估计息肉尺寸，其中该估计息肉尺寸基于该图像而生成；以及访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，其中是否推荐结肠镜检查的确定还基于估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射。
根据本公开的方面，一种用于推荐结肠镜检查的***包括一个或多个处理器和至少一个存储指令的存储器。这些指令在由该一个或多个处理器执行时使得该***：访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中该多个图像具有包含息肉的可能性；对于该多个图像中的每个图像：应用经典机器学习***，该经典机器学习***被配置为基于对应于图像的输入特征来提供该图像是否包含息肉的指示，以及访问对应于该图像的经典机器学习***的软间隔；以及在没有人为干预的情况下，基于该多个图像的软间隔来确定是否推荐结肠镜检查。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时，进一步使得***访问软间隔到包含息肉的图像的概率的映射，其中是否推荐结肠镜检查的确定还基于软间隔到包含息肉的图像的概率的该映射。
在该***的各种实施方案中，这些指令在由该一个或多个处理器执行时进一步使得***：对于该多个图像中的每个图像，访问图像的估计息肉尺寸，其中该估计息肉尺寸基于该图像而生成；以及访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，其中是否推荐结肠镜检查的确定还基于估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射。
附图说明
当结合附图考虑时，鉴于下述具体实施方式，本公开的上述和其他方面和特征将变得更显而易见，其中类似的附图标号标识相似或相同的元件。
图1为示出胃肠道(GIT)的图；
图2为根据本公开的各方面的用于分析经由胶囊内窥镜检查(CE)规程在体内捕获的医学图像的示例性***的框图；
图3为可与本公开的***一起使用的示例性计算***的框图；
图4为示出结肠的图；
图5为根据本公开的各方面的示例性深度学习神经网络的图；
图6为根据本公开的各方面的用于以高度的置信度选择包含结肠息肉的结肠图像的示例性操作的框图；
图7为根据本公开的各方面的所选种子图像的图；
图8为根据本公开的各方面的用于选择包含息肉的结肠图像的示例性操作的框图；
图9为根据本公开的各方面的用于选择包含息肉的结肠图像的另一示例性操作的框图；
图10为根据本公开的各方面的种子图像的示例性图像轨迹的图；
图11为根据本公开的各方面的由正滤波器处理的示例性图像轨迹的图；
图12为根据本公开的各方面的供临床医生查看和/或选择可能包含结肠息肉的结肠图像的示例性显示屏幕和用户界面；
图13为根据本公开的各方面的用于向临床医生呈现包含息肉的建议图像的示例性显示屏幕和用户界面；
图14为根据本公开的各方面的用于呈现包含息肉的所选结肠图像的全自动过程的示例性显示屏幕；
图15为根据本公开的各方面的用于基于软间隔来确定图像包含息肉的概率的曲线图；
图16为根据本公开的各方面的用于确定图像包含尺寸至少6mm的息肉的概率的曲线图；并且
图17为根据本公开的各方面的用于以高度的置信度选择包含结肠息肉的结肠图像的另一示例性操作的框图。
具体实施方式
本公开涉及用于以高度的置信度识别由胶囊内窥镜检查(CE)设备在体内捕获的息肉图像的***和方法。由于高度的置信度，本公开的各方面涉及以自动方式使用所识别的图像而无需人类的提示或干预，和/或涉及当在人类审查期间可能遗漏了这些图像时向健康专业人员呈现所识别的图像，和/或涉及否决可能错误地指定了所识别图像的其他工具的决定。在各种方面，对受试者图像的决策使用与受试者图像相关的图像的信息，例如图像“轨迹”的信息，这将在下文中更详细地论述。在各种方面，对受试者图像的决策使用权重，使得并非所有图像都被同等地考虑。本公开的各方面涉及分类/检测中的深度机器学习以获得相对高的灵敏度和特异性，并且本公开的各方面使用启发式和/或“经典”机器学习(稍后定义)来优化结果并增加灵敏度和/或特异性。
在以下具体实施方式中，阐述了特定细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解，可在没有这些特定细节的情况下实践本公开。在其他情况下，没有详细描述熟知的方法、规程和部件，以免模糊本公开。相对于一个***描述的一些特征或元件可与相对于其他***描述的特征或元件组合。为清楚起见，可能不会重复相同或类似特征或元件的讨论。
尽管本公开在该方面不受限制，但利用术语诸如例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“确立”、“分析”、“检查”等的讨论可指计算机、计算平台、计算***或其他电子计算设备的操作和/或过程，该操作和/或过程将表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或变换成类似地表示为计算机的寄存器和/或存储器或可存储执行操作和/或过程的指令的其他信息非暂态存储介质内的物理量的其他数据。尽管本公开在该方面不受限制，但如本文所用的术语“多个”和“多种”可包括例如“多重”或“两个或更多个”。术语“多个”或“多种”可在整个说明书中用于描述两个或更多个部件、设备、元件、单元、参数等。该术语集在本文中使用时可包括一项或多项。除非明确说明，否则本文所述的方法不限于特定次序或序列。另外，所述方法或其元素中的一些可以同时地、在相同时间点或并行地发生或执行。
如本文相对于图像所提及的术语“位置”及其派生词可指胶囊在捕获图像时沿着GIT(例如，结肠)的估计位置或图像中沿着GIT示出的GIT的部分的估计位置。
一种类型的CE规程可尤其基于感兴趣且待成像的GIT的部分(例如，结肠)或基于特定用途(例如，用于检查GI疾病诸如克罗恩病的状态，或用于结肠癌筛查)来确定。
术语屏幕、视图和显示可在本文中互换使用并且可根据特定上下文来理解。
除非另外明确指明，否则如本文相对于图像(例如，在另一个图像周围或与其他图像相邻的图像)所提及的术语“周围”或“相邻”可涉及空间和/或时间特性。例如，在其他图像周围或与其他图像相邻的图像可为这样的图像，其估计位置邻近沿着GIT的其他图像和/或在另一个图像的捕获时间附近、在一定阈值内例如在一厘米或两厘米内或在一秒、五秒或十秒内捕获的图像。
根据其上下文，术语“GIT”和“GIT的一部分”可彼此互指或相互包括。因此，术语“GIT的一部分”也可指整个GIT，并且术语“GIT”也可仅指GIT的一部分。
术语“图像”和“帧”可各自指代或包括另一者，并且可在本公开中互换使用以指代由成像设备进行的单一俘获。为了方便起见，在本公开中可更频繁地使用术语“图像”，但是将理解，对图像的引用也应适用于帧。
术语“经典机器学习”是指涉及对于机器学习的输入的特征选择或特征工程的机器学习。
术语“软间隔”可指分类器(例如，经典机器学***面/分类边界之间的距离有关。可使用软间隔来评估分类器在其决策中的确信程度。软间隔的绝对值越高，则离分类边界越远，并且其决策越有把握。术语“硬间隔”可指对软间隔应用阈值(例如，0)并且决定每个示例属于哪个类别所产生的分类决策。
术语“临床医生”可指任何保健提供者或从业者，包括任何医师，诸如消化内科医师、初级护理医师或转诊医师。
参考图1，示出了GIT 100的图示。GIT 100是人类和其他动物的器官***。GIT 100通常包括用于摄取食物的口腔102、用于产生唾液的唾液腺104、食物在收缩的帮助下通过的食道106、用于分泌酶和胃酸以帮助消化食物的胃108、肝脏110、胆囊112、胰腺114、用于吸收营养物质的小肠116(“SB”)，以及用于在排便之前储存水分和作为粪便的废物的结肠400(例如，大肠)。结肠400通常包括阑尾402、直肠428和***430。通过口腔摄取的食物被GIT消化以摄取营养物，并且剩余的废物作为粪便通过***430排出。
GIT 100的不同部分(例如，结肠400、食道106和/或胃108)的研究可经由合适的用户界面来呈现。如本文所用，术语“研究”是指并包括从CE成像设备(例如，图2的212)在针对特定患者执行的单个CE规程期间以及在特定时间捕获的图像中选择的至少一组图像，并且也可任选地包括除图像之外的信息。所执行的规程类型可确定GIT 100的哪个部分为感兴趣的部分。所执行的规程类型的示例包括但不限于小肠规程、结肠规程、小肠和结肠规程、旨在特异性展示或检查小肠的规程、旨在特异性展示或检查结肠的规程、旨在特异性展示或检查结肠和小肠的规程、或展示或检查整个GIT(食道、胃、SB和结肠)的规程。
图2示出了用于分析经由CE规程在体内捕获的医学图像的***的框图。该***通常包括被配置为捕获GIT的图像的胶囊***210和被配置为处理所捕获的图像的计算***300(例如，本地***和/或云***)。
胶囊***210可包括可吞服CE成像设备212(例如，胶囊)，其被配置为当CE成像设备212行进通过GIT时捕获GIT的图像。这些图像可存储在CE成像设备212上和/或传输到接收设备214(通常包括天线)。在一些胶囊***210中，接收设备214可位于吞服了CE成像设备212的患者身上，并且可例如采取由患者佩戴的带或固定到患者的贴片的形式。
胶囊***210可与计算***300通信地耦接，并且可将捕获的图像传送到计算***300。计算***300可使用图像处理技术、机器学***台、或者本地计算设备和云计算平台的组合。
在计算***300包括云计算平台的情况下，由胶囊***210捕获的图像可在线传输到云计算平台。在各种实施方案中，可经由由患者佩戴或携带的接收设备214来传输图像。在各种实施方案中，图像可经由患者的智能电话或经由连接到因特网并且可与CE成像设备212或接收设备214耦接的任何其他设备传输。
图3示出了可与本公开的图像分析***一起使用的示例性计算***300的框图。计算***300可包括处理器或控制器305，该处理器或控制器可为或包括例如一个或多个中央处理单元处理器(CPU)、一个或多个图形处理单元(GPU或GPGPU)、芯片或任何合适的计算或运算设备、操作***215、存储器320、存储装置330、输入设备335和输出设备340。对CE成像设备212(图2)收集的医学图像进行收集或接收的模块或装备(例如，佩戴在患者身上的接收器)或进行显示或选择来显示的模块或装备(例如，工作站)可为或包括图3中所示的计算***300，或可由该计算***执行。计算***300的通信部件322可允许例如经由因特网或另一网络、经由无线电或经由合适的网络协议(诸如文件传输协议(FTP)等)与远程或外部设备通信。
计算***300包括操作***315，该操作***可为或可包括被设计和/或被配置为执行涉及协调、调度、仲裁、监督、控制或以其他方式管理计算***300的操作(例如，调度程序的执行)的任务的任何代码段。存储器320可为或可包括例如随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双倍数据速率(DDR)存储器芯片、闪速存储器、易失性存储器、非易失性存储器、高速缓存存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适的存储器单元或存储单元。存储器320可为或可包括多个可能不同的存储器单元。存储器320可存储例如执行方法的指令(例如，可执行代码325)和/或诸如用户响应、中断等数据。
可执行代码325可为任何可执行代码，例如应用、程序、过程、任务或脚本。可执行代码325可由控制器305可能在操作***315的控制下执行。例如，可执行代码325的执行可引起如本文所述的医学图像的显示或选择来显示。在一些***中，多于一个计算***300或计算***300的部件可用于本文所述的多个功能。对于本文所述的各种模块和功能而言，可使用一个或多个计算***300或计算***300的部件。可使用包括与计算***300中包括的那些类似或不同的部件的设备，并且可将这些设备连接到网络并用作***。一个或多个处理器305可被配置为通过例如执行软件或代码来执行本公开的方法。存储装置330可为或可包括例如硬盘驱动器、软盘驱动器、压缩盘(CD)驱动器、CD可记录(CD-R)驱动器、通用串行总线(USB)设备或其他合适的可移除和/或固定存储单元。数据诸如指令、代码、医学图像、图像流等可存储在存储装置330中，并且可从存储装置330加载到存储器320中，其可在该存储器处由控制器305处理。在一些实施方案中，可省略图3中所示部件中的一些部件。
输入设备335可包括例如鼠标、键盘、触摸屏或触摸板或任何合适的输入设备。应当认识到，任何合适数量的输入设备都可操作地耦接到计算***300。输出设备340可包括一个或多个监视器、屏幕、显示器、扬声器和/或任何其他合适的输出设备。应当认识到，任何合适数量的输出设备都可操作地耦接到计算***300，如框340所示。任何适用的输入/输出(I/O)设备都可操作地耦接到计算***300，例如有线或无线网络接口卡(NIC)、调制解调器、打印机或传真机、通用串行总线(USB)设备或外部硬盘驱动器可包括在输入设备335和/或输出设备340中。
包括图3中所示部件中的一些或全部部件的多个计算机***300可与所述的***和方法一起使用。例如，CE成像设备212、接收器、基于云的***和/或用于显示图像的工作站或便携式计算设备可包括图3的计算机***的部件中的一些或全部部件。包括诸如图3的计算***300的云平台(例如，远程服务器)可接收规程数据诸如图像和元数据，处理并生成研究，并且还可显示所生成的究以供医生复查(例如，在工作站或便携式计算机上执行的网页浏览器上)。“内部部署(on-premise)”选项可使用医疗设施的工作站或本地服务器来存储、处理和显示图像和/或研究。
根据本公开的一些方面，用户(例如，医师)可通过复查研究例如自动地选择为可能感兴趣的图像的图像(例如，由CE成像设备212捕获)的显示来建立他或她对案例的理解。在本公开的一些***中，按照案例显示来自所捕获的图像的相对较小数量的图像以供用户复查。所谓“相对较小数量”意指与当前方法相反，最多大约数百或至少处于平均值，该当前方法显示通常按照案例包括数千个图像(例如，约6,000张图像)的图像视频流。在一些***中，仅显示至多几百张图像以供用户复查。在一些***中，为供用户复查而显示的图像的数量至多为约1,000张。不同于观看或复查数千张图像，浏览相对较少数的静态图像可显著减轻用户的复查过程，减少按照案例的读取时间并且可得出更佳的诊断。在名称为“Systemsand Methods for Generating and Displaying a Study of a Stream of In-VivoImages”的共同未决的国际专利申请公开号WO/2020/079696中描述了用于显示研究的示例性用户界面的各方面，其全部内容以引用方式并入本文。在名称为“Systems and MethodsFor Capsule Endoscopy Procedure”的共同未决的美国临时申请号62/867,050中描述了计算***300和胶囊***(210，图2)的其他方面，其全部内容以引用方式并入本文。
参考图4，示出了结肠400的图示。结肠400吸收水，并且任何剩余的废物在通过排便排出之前作为粪便储存。例如，可将结肠400分成五个解剖段：盲肠404、右或升结肠410、横结肠416、左或降结肠422(例如，左结肠-乙状结肠424)和直肠428。
回肠408是小肠的最后一部分，通向盲肠404，并通过称为回盲瓣(ICV)406的肌肉瓣与盲肠404分开。盲肠404是结肠400的第一部分。盲肠404包括附件402。结肠400的下一部分是升结肠410。升结肠410通过盲肠404与小肠连接。升结肠410通过腹腔朝向横结肠416向上延伸。
横结肠416是结肠400从肝曲(也称为右结肠曲414)(通过肝脏的结肠400的转弯)到脾曲(也称为左结肠曲418)(通过脾的结肠400的转弯)的部分。横结肠416悬挂在胃上，通过称为大网膜的大的腹膜褶附着在胃上。在后侧，横结肠416通过称为横向中结肠的肠系膜连接到后腹壁。
降结肠422是从左结肠弯曲部分418到乙状结肠426开始的结肠400的部分。消化***中的降结肠422的一个作用是储存将被排空到直肠中的粪便。降结肠422也被称为远端肠，因为它沿着胃肠道比近端肠更远。肠道菌群通常在该区域非常密集。乙状结肠426是在降结肠422之后并且在直肠428之前的结肠400的部分。名称乙状意味着S形。乙状结肠426的壁是肌肉发达的，并且收缩以增加结肠400内部的气压，使得粪便移动到直肠428中。乙状结肠426由乙状结肠动脉的若干分支(通常在2个和6个之间)供应血液。
直肠428是结肠400的最后一部分。直肠428容纳所形成的粪便，等待通过排便排出。
CE成像设备212(图2)可用于对结肠400的内部进行成像。从小肠进入结肠400是通过ICV 406发生的。通常，在通过ICV 406进入结肠400之后，CE成像设备212进入盲肠404。然而，有时，CE成像设备212错过盲肠404并直接进入升结肠410。结肠400可足够宽以实现几乎不受限制的CE成像设备212移动。CE成像设备212可旋转和滚动。CE成像设备212可长时间停留在一个地方，或者它可非常快速地移动通过结肠400。
通常，可例如基于识别CE成像设备212已经在不同解剖段之间穿行来执行GIT向多个解剖段的划分。可例如基于机器学习技术来执行这种识别。在共同未决的美国临时申请号63/018,890中解决了将GIT图像划分为捕获图像的GIT部分，并且在共同未决的美国临时申请号63/018,878中解决了将结肠图像划分为捕获图像的结肠部分。这两个共同未决的专利申请中的每一者的全部内容以引用方式并入本文。本领域技术人员将理解用于将GIT图像划分为捕获图像的GIT部分或结肠部分的其他技术。
以下描述涉及由胶囊内窥镜检查设备捕获的结肠的图像。这样的结肠图像可为GIT图像流的一部分，并且可使用共同未决的申请的技术或使用本领域技术人员将理解的其他方法从GIT图像流中挑选出来。
参考图5，示出了用于提供图像的分类分数的深度学习神经网络500的框图。图像502为结肠图像。在本公开中，术语“分类分数”或“分数”可用于描述由机器学习***/模型针对适用于图像/帧的类别或类别集合生成的值或值的向量。术语“分类概率”或“概率”可用于描述分类分数到反映类别集合中的每个类别应用于图像/帧的概率的值的变换。
在一些***中，深度学习神经网络500可包括具有“长-短期记忆”(LSTM)的卷积神经网络(CNN)和/或递归神经网络，这将在下文中更详细地描述。在机器学习中，CNN是一类最常用于分析图像的人工神经网络。CNN的卷积方面涉及将矩阵处理操作(称为“内核”或“滤波器”)应用于图像的局部部分。在CNN的监督训练期间对内核/滤波器进行计算调整，以识别可用于对图像进行分类的输入图像的特性。CNN通常包括卷积层、激活函数层和池化(通常为最大池化)层，以在不丢失太多信息的情况下降低维度。
深度学习神经网络500可使用一个或多个CNN来为由CE成像设备212(见图2)拍摄的一个或多个结肠图像提供一个或多个特征点、结肠特性、结肠病状或结肠内容物(例如、气泡等)的存在的分类分数。例如，深度学习神经网络500可针对结肠息肉510的存在、回盲瓣512的存在、痔丛514的存在或其他特征点、特性、病状或内容物516的存在(例如，结肠出血)来生成图像的分类分数。深度学习神经网络500可在计算***300(图3)上执行。本领域技术人员将理解深度学习神经网络500以及如何实现它。可使用各种深度学习神经网络，包括但不限于MobileNet或Inception。
可基于标记的训练图像来训练深度学习神经网络500。例如，图像可具有指示特征点、病状、特性或内容物的存在的标签504，诸如结肠息肉、回盲瓣或痔丛的存在等。标签504用虚线示出以指示其仅用于训练深度学习神经网络500，并且当在训练之外，即，操作深度学习神经网络500以用于推断时不使用。该训练可包括增强训练图像以包括添加噪声、改变颜色、隐藏训练图像的部分、缩放训练图像、旋转训练图像、镜像翻转训练图像和/或拉伸训练图像。本领域技术人员将理解训练深度学习神经网络500以及如何实现该训练。
用于提供分类分数的图5的例示性实施方案为示例性的，并且可设想提供分类分数的其他方式在本公开的范围内。例如，两个或更多个深度学习神经网络(未示出)可工作以提供结肠图像502的分类分数510-516。例如，一个深度学习神经网络可被配置为提供针对息肉510的存在的分类分数，另一深度学习神经网络可被配置为提供针对回盲瓣512的存在的分类分数，并且第三深度学习神经网络可被配置为提供针对痔丛514的存在的分类分数。分类分数510-516可由处于不同配置的两个或更多个深度学习神经网络提供。
再如，在各种实施方案中，可使用无监督学习或另一类型的学习。在各种实施方案中，可通过神经网络的各种配置、通过不是神经网络的机器学习***(例如，涉及特征选择的经典机器学习***)和/或通过本领域技术人员将认识到的分类技术来提供分类分数。在各种实施方案中，机器学习***或分类***可提供分类概率而不是分类分数或除分类分数之外还提供分类概率。在各种实施方案中，可使用技术诸如Platt缩放、SoftMax等或本领域技术人员将认识到的其他技术将分类分数转换为分类概率。可以设想此类变型形式在本公开的范围内。
参考图6，示出了用于识别包含息肉的图像的示例性操作的流程图。图6的操作可由计算***诸如图2和图3的计算***来执行。图6的一些或所有框可称为息肉检测***。在框610处，操作访问由胶囊内窥镜检查设备(诸如图2的CE成像设备212)捕获的各种结肠图像。在框620处，将初始图像选择过程应用于结肠图像以选择各种图像作为种子图像。选择过程访问息肉存在分数或概率622，诸如由图5的深度学习神经网络提供的分数/概率。
通常，种子图像选择过程620选择具有最高息肉存在分数的图像，并且可以各种方式执行该选择。在国际申请公开号WO2017199258和美国临时申请号63/018,870中描述了示例性选择过程，这些申请的全部内容通过引用并入本文，并且可应用于框620的初始选择过程。例如，并且作为简要描述，初始选择过程可为迭代过程。在每次迭代时，该过程选择对于息肉的存在具有最高分数/概率的图像，并且所选择的图像在本文中被称为“种子图像”。降低种子图像周围的图像的分数/概率，以降低在后续迭代中选择相同息肉的图像的几率。重复该过程直到满足一个或多个停止标准。例如，当没有剩余图像分数满足分数/概率阈值时，迭代图像选择过程可终止。再如，迭代图像选择过程可在已经选择特定数量的种子图像(诸如六十张种子图像或一百张种子图像)时终止。图7以曲线图示出了迭代选择过程的结果，其中x轴表示图像的索引/ID号，并且y轴表示图像的息肉存在分数。由迭代过程选择的图像在曲线图的顶部由圆圈示出。初始图像选择过程620的结果是具有高息肉存在分数或概率的一组种子图像。如上文所提及，所述的图像选择过程是示例性的，并且可设想其他图像选择方法和技术在本公开的范围内。
框620的结果是具有高息肉存在分数或概率的种子图像。下文描述了框630-650的操作，并且这些框可基于灵敏度与特异性之间的折衷来执行，这是本领域技术人员将理解的。在框620的操作中，重点可为灵敏度，即使它需要降低特异性。在框630-650的操作中，重点可为特异性，即使它需要降低灵敏度。
继续参考图6，在框630处，由初始图像选择过程产生的种子图像由负滤波器和/或正滤波器处理。如本文所用，正滤波是将满足一个或多个标准的种子图像正向地指定为包含息肉的种子图像的操作。另一方面，负滤波是将满足一个或多个标准的种子图像识别为不应当正向地指定为包含息肉的种子图像的操作。在各种实施方案中，负滤波器不将种子图像指定为不包含息肉。在各种实施方案中，负滤波器可将种子图像指定为不包含息肉。框630可应用一个或多个正滤波器和/或一个或多个负滤波器，这将在下文更详细地描述。现在，需要注意的是，各种滤波器可使用分数或概率632，诸如由图5的深度学习神经网络提供的分类分数或概率。另外，各种滤波器可使用图像轨迹634，这将结合图10和图11进行描述。可使用启发式或使用机器学习***(诸如深度学习神经网络或经典机器学习***等)来实现滤波器。框630的结果可包括已经由正滤波器指定为包含息肉的种子图像的种子图像、已经由负滤波器识别的种子图像，以及既未由正滤波器指定也未由负滤波器识别的种子图像。最后一组种子图像(其既未由正滤波器指定也未由负滤波器识别)在本文中将被称为“未经滤波的”种子图像。未经滤波的种子图像由框640处理。
在框640处，由机器学习***处理从框630产生的未经滤波的种子图像，该机器学习***工作以提供指示未经滤波的种子图像是否包含息肉的分类分数或概率。机器学习***访问与未经滤波的种子图像相关联的输入特征642，这将在下文更详细地描述。在各种实施方案中，机器学习***可为经典机器学习***，并且可通过监督学习、无监督学习或另一类型的学习来训练。在各种实施方案中，机器学习***可为具有维度n的软间隔多项式支持向量机，其可为维度2、维度3或另一维度。如上文所提及，机器学习***的输出是指示未经滤波的种子图像是否包含息肉的分类分数或概率。本领域技术人员将理解如何实现这样的机器学习***并且基于输入特征训练这样的机器学习***。
在框650处，该过程基于由机器学习***提供的分类分数或概率来识别具有包含息肉的高度的置信度的图像。可将各种阈值应用于分类分数或概率。例如，在各种实施方案中，可在框650中选择具有大于99％的包含息肉的分类概率的图像。框650的结果是未被正滤波器指定为包含息肉的图像但基于机器学习分类分数或概率具有包含息肉的高度的置信度的图像。由框650选择的此类图像可以下文将描述的各种方式来使用。在各种实施方案中，还可以各种方式使用在框630中由正滤波器指定为包含息肉的图像，如下文所述。
图6的实施方案是示例性的，并且可设想变型形式在本公开的范围内。例如，在各种实施方案中，该过程不需要执行框640和650，而是可在框630处结束，如图8所示。在图8的实施方案中，框630的结果可为由正滤波器指定为包含息肉的种子图像和/或未经滤波的种子图像。作为图6的另一变型形式，在各种实施方案中，可不执行框630，如图9所示。在图9的实施方案中，机器学习***将被应用于所有种子图像640并且将访问与种子图像642相关联的输入特征。可设想此类变型形式和其他变型形式在本公开的范围内。
下面将描述可在图6和图8的框630中应用的各种正滤波器和负滤波器。
如图6和图8所示，各种滤波器访问和使用种子图像632的图像轨迹。如本文所用，“轨迹”是指连续图像的集合，在该集合中，连续图像***跟踪了种子图像中的息肉。如上文所提及，短语“连续图像”是指当按顺序排列时在序列中彼此相邻的图像。“连续图像***”是指对象跟踪技术，其被设计成识别连续图像/帧之间的对象中的小变化，并且其可识别彼此接近的种子图像是否可包含相同的息肉。例如，这种跟踪技术包括光流技术。本领域技术人员将理解如何实现光流技术。可设想用于跟踪连续图像中的对象的其他技术在本公开的范围内。
图10示出了将连续图像***应用于种子图像以识别种子图像的轨迹的示例。从种子图像1010开始，连续图像***处理相邻图像以跟踪息肉1012。在例示的示例中，息肉1012在跨种子图像1010之前的五个帧和跨种子图像1010之后的三个帧被跟踪。在种子图像1010之后的第四帧1020处，通过跟踪技术的操作来结束跟踪。跟踪技术的图形表示1030示出了息肉的预期位置1032偏离了息肉的实际位置1034。因此，息肉1012没有被跟踪到该帧1020。种子图像1010的轨迹是图10中的连续帧的集合(没有帧1020)，种子图像1010中的息肉1012被连续图像***跨该连续帧跟踪。该轨迹包括种子图像1010。因此，在图6和图8中，针对每个种子图像632访问轨迹，并且该轨迹可由各种正和/或负滤波器使用。图10的实施方案是示例性的。在各种实施方案中，可使用用于比较两个图像的其他技术来识别“轨迹”，诸如使用分类***来比较两个图像的技术，其描述于2020年9月2日提交的共同未决的美国临时申请号63/073,544中。该临时申请的全部内容通过引用并入本文。
如上所述，正滤波是将满足一个或多个标准的种子图像正向地指定为包含息肉的种子图像的操作。根据本公开的各方面，正滤波可具有如下标准：具有大于或等于阈值的息肉存在分数或概率622的种子图像将被指定为包含息肉的种子图像。在各种实施方案中，息肉存在分数可被归一化到介于0和1之间的值。息肉存在概率自然介于0和1之间。在各种实施方案中，阈值可为0.999999或0.9999999或提供种子图像包含息肉的高度确定性的另一值。
在各种实施方案中，正滤波可具有另外的标准：种子图像的轨迹包括其息肉存在分数或概率大于或等于阈值的至少特定数量的连续图像。在各种实施方案中，种子图像和轨迹中图像的阈值可为相同的值。在各种实施方案中，种子图像和轨迹中图像的阈值可为不同的值。作为示例，当种子图像具有至少0.99999的息肉存在分数/概率并且与种子图像相邻的至少五个连续帧也具有至少0.9999的息肉存在分数/概率时，正滤波器可将种子图像指定为包含息肉。图11示出了这样的种子图像和轨迹的示例，其中种子图像由帧编号171571标识。种子图像具有0.99999的息肉存在分数，并且与种子图像相邻的五个连续帧具有至少0.9999的息肉存在分数。因此，图11的种子图像由正滤波器指定为包含息肉。
上述正滤波器是示例性的。可设想用于正向地将图像指定为包含息肉的其他正滤波器在本公开的范围内。例如，可以其他方式使用轨迹信息来形成正滤波器。如上所述，轨迹包括图像的集合，并且这样的图像随时间由胶囊内窥镜检查设备(例如，212，图2)捕获。可使用长-短期记忆(LSTM)来处理时间性质的信息。深度学习神经网络(诸如图5的深度学习神经网络500)可被配置为接收图像轨迹作为输入。深度学习神经网络可被训练以基于由深度学习神经网络接收的图像轨迹来提供种子图像的分类分数或概率。分类分数或概率可为例如种子图像包含息肉的概率分数。
如上所述，负滤波是将满足一个或多个标准的种子图像识别为不应当正向地指定为包含息肉的种子图像的操作。在各种实施方案中，负滤波器不将种子图像指定为不包含息肉。在各种实施方案中，负滤波器可将种子图像指定为不包含息肉。
如图6和图8所示，负滤波器可访问分类分数或概率632，诸如由图5的机器学习***提供的分类分数或概率。根据本公开的各方面，负滤波器可访问回盲瓣(ICV)存在分数或概率(例如，512，图5)，并且可工作以识别具有高于阈值的ICV分数或概率的种子图像，例如，高于0.99999或高于另一阈值的ICV概率。回盲瓣是从小肠到结肠的过渡处的解剖特征点，并且在外观上可类似于大的结肠息肉，使得种子图像可具有足够高的息肉存在分数或成为种子图像的概率，同时还具有高于预先确定的阈值的ICV存在分数。这样的种子图像可由负滤波器识别为满足标准。负滤波器可将种子图像指定为不包含息肉。
根据本公开的各方面，负滤波器可访问痔丛存在分数或概率(例如，514，图5)。痔丛是在结肠末端围绕直肠的解剖特征点，并且在外观上可能类似于结肠息肉。在各种实施方案中，负滤波器可工作以识别具有高于阈值的痔丛分数或概率的种子图像，例如，高于0.99999或高于另一阈值的痔丛概率。种子图像可具有足够高的息肉存在分数或成为种子图像的概率，同时还具有高于预先确定的阈值的痔丛存在分数。这样的种子图像可由负滤波器识别为满足标准。负滤波器可将种子图像指定为不包含息肉。
在各种实施方案中，不是访问痔丛存在分数或概率，而是负滤波器可工作以确定种子图像与身体出口/胃肠道出口的接近度。可以各种方式确定种子图像与身体出口的接近度。例如，负滤波器可访问结肠图像(例如，在图6的框610中访问的结肠图像)并且可通过种子图像是否在结肠图像的最后部分内来确定种子图像与身体出口的接近度，诸如种子图像是否在结肠图像的最后0.5％内或者在结肠图像的另一最后百分比内。如果种子图像在结肠图像的最后部分内，则负滤波器可将种子图像识别为满足标准。在各种实施方案中，负滤波器可将种子图像指定为不包含息肉。在各种实施方案中，负滤波器可将种子图像识别为满足标准，但是可不将种子图像指定为不包含息肉。
根据本公开的各方面，负滤波器可访问种子图像的图像轨迹，诸如结合图10描述的图像轨迹。负滤波器可具有当种子图像是轨迹中具有高于阈值的息肉存在分数或概率的唯一图像时识别种子图像的标准。例如，当图像轨迹的种子图像具有至少0.998的息肉存在概率并且图像轨迹中每隔一个图像具有小于0.998的息肉存在概率时，可将种子图像识别为满足标准。可使用其他阈值。在各种实施方案中，负滤波器可将种子图像指定为不包含息肉。在各种实施方案中，负滤波器可将种子图像识别为满足标准，但是可不将种子图像指定为不包含息肉。
根据本公开的方面，负滤波器可访问种子图像的估计息肉尺寸。当种子图像的估计息肉尺寸小于阈值时，例如当估计息肉尺寸小于3.5mm或小于另一阈值时，负滤波器可具有识别种子图像的标准。可使用各种技术来生成由负滤波器访问的估计息肉尺寸。在具有案卷号A0004997US01(2851-17PRO)的共同未决的美国专利申请中公开了技术的示例，该美国专利申请的全部内容通过引用并入本文。本领域技术人员将理解用于估计图像中的息肉的息肉尺寸的其他技术。可设想这样的其他技术在本公开的范围内。
因此，上文已经描述了各种正滤波器和负滤波器。这样的滤波器可应用于图6和图8的框630中。在图6的操作中，既未由正滤波器指定也未由负滤波器识别的种子图像(即，未经滤波的种子图像)可由框640的机器学习***处理，如上文所述。在图8的操作中，框630是操作的结束，并且可提供由正滤波器指定的种子图像，并且在一些实施方案中还可提供未经滤波的种子图像。
下面将描述在图6和图9的框642中访问的机器学习***的示例性输入特征。如上所述，机器学习***基于输入特征工作以提供指示未经滤波的种子图像是否包含息肉分类分数或概率。在各种实施方案中，机器学习***可为具有维度n的软间隔多项式支持向量机。在各种实施方案中，机器学习***可基于本领域技术人员将认识到的另一经典机器学习模型，诸如决策树、朴素贝叶斯或逻辑回归等。如下所述，一些输入特征可基于种子图像的图像轨迹，诸如图10和图11中所示的图像轨迹。
根据本公开的各方面，到机器学习***的输入特征中的一者可为由息肉检测器(诸如图5中所示的检测器)提供的种子息肉分数/概率。
根据本公开的各方面，到机器学习***的输入特征中的一者可为种子息肉分数/概率，该种子息肉分数/概率基于对由息肉检测器集合(例如，图5)提供的息肉分数/概率的投票或操作来确定，该息肉检测器集合的输入为图像并且其输出为该图像包含息肉的概率。例如，种子息肉分数可为由息肉检测器集合提供的息肉分数/概率的均值，或者可由另一操作(诸如取中值)来提供。
根据本公开的各方面，到机器学习***的输入特征中的一者可为种子图像的图像轨迹中的图像数量，其可被称为轨迹长度。
根据本公开的各方面，到机器学习***的输入特征中的一者可为种子图像的图像轨迹中具有大于阈值的息肉存在分数或概率(诸如大于0.998或大于另一阈值的息肉存在概率)的图像数量。
根据本公开的各方面，到机器学习***的输入特征中的一者可为种子图像的索引/ID号与结肠起点的图像的索引/ID号之间的图像索引/ID号的差。在各种实施方案中，结肠起点的图像可为ICV的图像。可以各种方式确定结肠起点的图像。例如，ICV存在分数或概率(例如，512，图5)可被用于确定ICV的图像。再如，并且如上文所提及，在共同未决的美国临时申请号63/018,890中解决了将GIT图像划分为捕获图像的GIT部分，并且在共同未决的美国临时申请号63/018,878中解决了将结肠图像划分为捕获图像的结肠部分。这种用于将GIT图像划分为多个部分的技术可用于识别结肠起点的图像。可设想用于识别结肠起点的图像的其他技术在本公开的范围内。
根据本公开的各方面，到机器学习***的输入特征中的一者可为关于在其中捕获了种子图像的结肠段的定位信息(表示为数字)。如结合图4所述，结肠400包括五个解剖段：盲肠、右或升结肠、横结肠、左或降结肠以及直肠。这五个段可分别编号为1至5。在其中捕获了种子图像的结肠段的段号可为到机器学习***的输入特征。如上文所提及，在共同未决的美国临时申请号63/018,878中解决了将结肠图像划分为捕获图像的结肠部分。这种用于将结肠图像按图像被捕获的结肠部分划分的技术可用于识别在其中捕获了种子图像的结肠段的数量。用于识别在其中捕获了种子图像的结肠段的数量的其他技术将被本领域技术人员理解并且可设想在本公开的范围内。
因此，已经描述了到机器学习***的输入的各种输入特征。本领域技术人员将理解如何基于这样的输入特征来训练和实现机器学习***。在各种实施方案中，不需要使用所有所述的输入特征，并且可使用这些输入特征的各种组合。在各种实施方案中，可使用所有所述的输入特征。这些输入特征中的一些或全部输入特征可以各种方式被归一化。所述的输入特征是示例性的，并且可设想其他输入特征在本公开的范围内。
再次参考图6和图8，框640的机器学习***处理输入特征并提供指示每个种子图像是否包含息肉的分类分数或概率。可直接使用分类概率来确定哪些种子图像具有被选择为包含息肉的种子图像的足够高的概率。可以各种方式将分类分数转换为分类概率，诸如通过Platt缩放、SoftMax或本领域技术人员将认识到的其他技术。可以各种方式使用被指定为包含息肉的种子图像，如以下结合图12所解释的。
根据本公开内容的方面，可以各种方式来增强图6、图8和图9的操作。例如，可添加基于息肉尺寸估计的附加规则(例如，调整的息肉检测器分数阈值)，例如以符合与息肉尺寸相关的本地医疗指南/实践/策略。例如，美国医疗实践通常基于至少一个特定尺寸或以上的息肉，而欧洲医疗实践通常基于任何尺寸的多个息肉。其他国家/地区可具有不同的医疗实践，并且可能会根据特定国家/地区的医疗实践制定附加的规则。
因此，以上描述提供了用于以高度的置信度识别包含息肉的图像的***和方法。下文描述了所识别的图像的示例性使用。
现在参考图12，示出了用于向临床医生呈现息肉图像的示例性显示屏幕。GUI(或研究查看应用程序)可用于显示供用户复查并且生成研究报告(或CE规程报告)的研究。图12的屏幕显示了包括在该研究中的一组静态图像。这些图像可为例如在图6、图8或图9的框620中选择的种子图像。用户可复查图像并且选择感兴趣(例如，显示一个或多个息肉)的一个或多个图像。这些研究图像根据它们在结肠中的位置来显示。该位置可为以下五个解剖结肠段中的任一者：盲肠、升结肠、横结肠、降结肠-乙状结肠和直肠。该屏幕示出了识别为位于降结肠-乙状结肠中的研究图像。用户可在位于不同段中的图像的显示之间切换。用户(例如，临床医生)可使用所示显示屏来选择要包括在研究报告中的图像。在一些实施方案中，研究还可包括与种子图像(即，研究种子图像)相关联的轨迹。在这种情况下，用户可请求(经由用户输入)显示与所显示的图像相关的轨迹(未示出)。通过复查相关联的轨迹，临床医生可接收与种子图像相关的另外信息，这可帮助临床医生确定该种子图像(或任选地任何其他轨迹图像)是否为感兴趣的。
继续参考图12，临床医生可在图像中观察到的息肉周围添加边界框。由用户添加的边界框1210可以特定颜色出现，诸如绿色或另一颜色。根据本公开的方面，包含由本公开的***和方法识别的息肉的图像可被呈现给临床医生，并且边界框1220可被自动添加到这样的图像以显示息肉的位置。由本公开的***和方法添加的边界框1220可以与由用户添加的边界框不同的颜色出现，诸如红色或另一颜色。以这种方式，用户可容易地看到哪些边界框被用户添加以及哪些边界框被自动添加。
现在参考图13，示出了用于向临床医生建议息肉图像的示例性显示屏幕。显示屏幕显示图像1310、1312，这些图像已经被临床医生选择为包含息肉，并且临床医生想要将其包括在最终的胶囊内窥镜检查规程报告中。在临床医生完成选择之前，本公开的***和方法可显示临床医生可能错过或未选择的息肉1320的建议图像。建议图像1320可为由正滤波器指定为包含息肉的图像(例如，框630，图6和图8)的图像或在框650(图6和图9)处选择为具有包含息肉的足够高的分类分数或概率的图像。在各种实施方案中，建议图像1320也可包括未经滤波的种子图像。在各种实施方案中，建议息肉图像1320可限于不包含由临床医生选择的任何息肉帧的GIT段，或者限于临床医生仅识别出较小尺寸的息肉(例如，小于6mm)的GIT段。在各种实施方案中，如果GIT段包括由临床医生选择的息肉(例如，6mm)的图像并且本公开的***识别较小的息肉(例如，5mm)的图像，则本公开的***可能不向临床医生建议该较小的息肉。因此，在各种实施方案中，可建议提供了附加临床值(例如，根据医疗实践指南)的图像，而可能不会建议不提供附加临床值的图像。
参考图14，示出了可在没有任何人为干预或输入的情况下由本公开的***和方法自动生成的示例性显示屏幕。与图13的显示屏幕(其包含由用户选择的图像1310、1312)相比，图14中的息肉的图像可被自动选择而无需人为输入。自动选择的图像可为由正滤波器指定为包含息肉的图像(例如，框630，图6和图8)的图像或在框650(图6和图9)处选择为具有包含息肉的足够高的分类分数或概率的图像。在各种实施方案中，显示屏幕可总是显示所有建议息肉的页面，而不管任何临床医生选择或决策，并且这样的显示屏可在临床医生查看任何图像之前或之后对用户或临床医生可用。在各种实施方案中，图14的自动选择可不选择未经滤波的种子图像。在各种实施方案中，本公开的***和方法可跳过图14的显示屏幕，并且可在没有临床医生的任何输入或干预的情况下自动生成并最终确定胶囊内窥镜检查规程报告。
图12至图14示出了由图6、图8和图9的过程选择的图像的可能用途。图12至图14的实施方案是示例性的，并且这样的显示屏幕不限制本公开的范围。可设想其他用途。在各种实施方案中，本公开的***和方法可用于否决其他工具的决策以排除CE规程，诸如在具有案卷号A0003746US01(2851-7PRO)的共同未决的美国临时申请中描述的工具，该美国临时申请以全文引用方式并入本文。这样的工具提供了充分性度量，其指示在捕获多个图像中的预定义事件时CE规程的有效性的度量。在各种实施方案中，基于特性度量来确定该规程的充分性度量，该特性度量可包括指示捕获或未捕获预定义事件中的至少一者的概率的多个度量。该多个度量可包括：(i)基于乘以以下中的至少两者的段充分性概率：运动分数、每段的清洁水平或通行时间，(ii)基于以下中的至少一者的全局充分性度量：所有段上的平均清洁分数、患者的人口统计、CE设备到达的GIT的最后一段或CE设备在GIT的该部分中花费的绝对时间，和/或(iii)以下中的至少一者：与图像相关联的解剖结肠段、CE设备的通行模式、CE设备通信错误、多个图像中的解剖特征点或多个图像中的GIT组织的覆盖。可设想这样的用途和其他用途在本公开的范围内。
尽管本公开提供了用于以高度的置信度识别息肉图像的***和方法，但是并非所有出现的息肉都需要后续规程。特别地，息肉的尺寸对于确定是否需要后续规程非常重要。如果息肉足够大，诸如尺寸至少为6mm，则临床医生通常希望通过结肠镜检查规程检查息肉。根据本公开的方面，本公开的***和方法可确定在特定的月数或年数内是否推荐结肠镜检查或推荐后续规程。这样的确定可由计算***(例如，图3的计算***)执行。
参考图15和图16，可基于存在至少一个尺寸为6mm或更大的息肉的概率来进行该确定。该确定使用由图6、图8和图9的过程识别的图像，这些图像可为由正滤波器指定为包含息肉的种子图像(框630)或者为具有足够高的分类分数或包含息肉的概率的种子图像(框640、650)。假设存在n个这样的图像，Pi(TP&尺寸≥6[mm])表示图像i包括息肉并且息肉的尺寸至少为6mm的概率。该概率包括两个要素图像(是否包括息肉，以及息肉的尺寸是否为至少6mm)。假设这两个元素是独立的，则概率可表示为：
Pi(TP&尺寸≥6[mm])＝Pi(TP)Pi(尺寸≥6[mm])。
Pi(TP)表示图像i包括息肉的概率。Pi(尺寸≥6[mm])表示在图像i中，息肉的尺寸为6mm或更大的概率。为了确定是否推荐结肠镜检查规程，仅一个候选图像需要具有包括尺寸为至少6mm的息肉的足够高的概率。
图15示出了可用于确定Pi(TP)的曲线图。x轴表示机器学***面/分类边界之间的距离有关。软间隔可指示机器学习***如何确信它已经正确地将图像分类为包含息肉。软间隔的绝对值越高，则离分类边界越远，并且其决策越有把握。通过访问与标记的训练集合相关联的软间隔，可凭经验导出图15的曲线图。
作为示例，图15的x轴可被划分有0.1的区间或另一尺寸的区间。对于每个软间隔区间，可对对应于息肉的存在并且在该区间内具有软间隔的训练输入的数量进行计数，并且可对对应于不存在息肉并且在该区间内具有软间隔的训练输入的数量进行计数。这两个计数可用于凭经验计算在该区间内具有息肉和具有软间隔的输入的百分比。如果输入的软间隔落入该区间内，则该百分比可用作输入出现息肉的概率的替代。图15示出了这种计算的示例性结果。这些概率相当嘈杂，因为它们是根据经验确定的。可执行回归分析以将曲线1502拟合到经验概率，以提供用于基于软间隔确定Pi(TP)的平滑估计器1502。上文关于图15描述的实施方案是示例性的，并且可设想用于确定Pi(TP)的其他方法。
图16示出了可用于确定Pi(尺寸≥6[mm])的曲线图。x轴表示针对胶囊内窥镜检查(CE)图像确定的息肉尺寸估计。如上所述，息肉尺寸可以案卷号为A0004997US01(2851-17PRO)的共同未决的美国专利申请中描述的方式来估计，或者通过本领域技术人员将理解的其他技术来估计。实际息肉尺寸已知(例如，至少6mm或小于6mm)的每个训练CE图像可被处理以确定其估计息肉尺寸。x轴可被划分为估计息肉尺寸的区间，诸如0.1mm的区间或另一尺寸的区间。可对具有落入区间内的估计息肉尺寸的训练输入进行计数。区间中的计数可用于计算针对该区间的具有6mm或更大的实际息肉尺寸的训练输入的百分比，并且经验百分比可用作该区间中输入具有6mm或更大的息肉的概率的替代。图16示出了这种计算的示例性结果。这些概率相当嘈杂，因为它们是根据经验确定的。可执行回归分析以将曲线1602拟合到经验概率，以提供用于基于估计息肉尺寸确定Pi(尺寸≥6[mm])的平滑估计器1602。上文关于图16描述的实施方案是示例性的，并且可设想用于确定Pi(尺寸≥6[mm])的其他方法。
如上文所提及，种子图像具有息肉并且息肉至少为6mm的概率可由下式确定：Pi(TP)Pi(尺寸≥6[mm])。如果由计算产生的任何概率大于阈值，诸如0.999或另一阈值，则计算可确定存在6mm或更大的息肉的图像，并且可基于此推荐结肠镜检查。
所述的使用6mm作为息肉尺寸边界的实施方案可应用于另一息肉尺寸边界，诸如5mm或7mm或另一息肉尺寸边界。
上文关于图15和图16描述的实施方案是示例性的。可设想用于确定是否推荐结肠镜检查的其他方法。可设想这样的变型形式和其他变型形式在本公开的范围内。
参考图17，示出了可使用图15和图16的***和方法的示例性操作。在框1710处，操作涉及访问在CE规程期间由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像。该多个图像中的每个图像疑似包括息肉，并且与包含息肉的概率相关联。另外，该多个图像包括种子图像，其中每个种子图像与该多个图像中的一个或多个图像相关联，并且与每个种子图像相关联的该一个或多个图像被识别为疑似包括与相关联的种子图像相同的息肉。在框1720处，操作涉及对种子图像应用息肉检测***以识别包括息肉的种子图像。该息肉检测***基于与种子图像相关联的该一个或多个图像和与种子图像以及与该一个或多个相关联的图像相关联的概率来应用于这些种子图像中的每个种子图像。在框1730处，操作涉及识别该多个图像中包括尺寸等于或大于预定义尺寸的息肉的图像。该多个图像中的每个图像进一步与包含在每个图像中的疑似息肉的估计尺寸相关联，并且该息肉检测***基于与种子图像以及与该种子图像相关联的该一个或多个图像相关联的估计息肉尺寸来进一步应用于这些种子图像中的每个种子图像。在框1740处，当至少一个种子图像被识别为包括尺寸等于或大于预定义尺寸的息肉或者包括预定义数量的尺寸等于或大于预定义尺寸的息肉时，如果规程被确定为不充分并且被排除，则操作涉及否决规程的排除。
关于框1740，并且如上文所提及，在具有案卷号A0003746US01(2851-7PRO)的共同未决的美国临时申请中公开了用于确定规程不充分的技术。如上所述，这种工具提供了充分性度量，其指示在捕获多个图像中的预定义事件时CE规程的有效性的度量，并且可基于特性度量来确定该规程的充分性度量，该特性测量可包括指示捕获或未捕获预定义事件中的至少一者的概率的多个度量。
继续参考框1740，否决规程的排除的操作可基于启发式，诸如息肉检测概率的阈值和/或任选地息肉尺寸或最少数量的图像等。在各种实施方案中，否决操作可基于(例如，基于种子图像集合中的图像包括至少预定义尺寸的息肉的)每个规程的概率(例如，图15和图16)。图17的操作是示例性的，并且可设想变型形式在本公开的范围内。
因此，以上描述提供用于以高度的置信度识别包含息肉的图像的***和方法，并且提供了这样识别的图像的各种用途。本文所述的方面和实施方案是示例性的并且不限制本公开的范围。
虽然已经在附图中示出了本公开的若干实施方案，但并不希望将本公开限于此，因为希望使本公开与所属领域所允许的范围一样广泛并且应以同样的方式阅读本说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。

Claims (59)

1.一种用于识别包括息肉的图像的方法，包括：
访问在CE规程期间由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，其中：
所述多个图像中的每个图像疑似包括息肉并且与包含所述息肉的概率相关联，并且
所述多个图像包括种子图像，每个种子图像与所述多个图像中的一个或多个图像相关联，与每个种子图像相关联的所述一个或多个图像被识别为疑似包括与所述相关联的种子图像相同的息肉；以及
对所述种子图像应用息肉检测***以识别包括息肉的种子图像，其中所述息肉检测***基于与所述种子图像相关联的所述一个或多个图像和与所述种子图像以及与所述一个或多个相关联的图像相关联的所述概率来应用于所述种子图像中的每个种子图像。
2.根据权利要求1所述的方法，还包括识别所述多个图像中包括尺寸等于或大于预定义尺寸的息肉的图像，其中所述多个图像中的每个图像进一步与包含在所述每个图像中的所述疑似息肉的估计尺寸相关联，并且其中所述息肉检测***基于与所述种子图像以及与所述种子图像相关联的所述一个或多个图像相关联的所述估计息肉尺寸来进一步应用于所述种子图像中的每个种子图像。
3.根据权利要求2所述的方法，其中所述规程被确定为不充分并且被排除，并且其中至少一个种子图像被识别为包括尺寸等于或大于所述预定义尺寸的息肉或者包括预定义数量的尺寸等于或大于所述预定义尺寸的息肉，所述方法还包括否决所述规程的所述排除。
4.根据权利要求1所述的方法，其中所述息肉检测***包括以下中的至少一者：一个或多个正滤波器、一个或多个负滤波器、一个或多个经典机器学习***或它们的组合。
5.根据权利要求4所述的方法，其中到所述一个或多个经典机器学习***、所述一个或多个正滤波器或所述一个或多个负滤波器的输入包括以下中的至少一者：包含息肉的种子图像概率、与种子图像相关联的图像的数量、与具有根据预定义阈值的包含息肉的概率的种子图像相关联的图像的数量或它们的组合。
6.根据权利要求1所述的方法，其中通过在相邻图像中应用跟踪包含在每个种子图像中的所述疑似息肉的***、或者通过使用将所述种子图像与相邻图像进行比较的分类***来确定与每个种子图像相关联的所述一个或多个图像。
7.根据权利要求1所述的方法，其中所访问的所述胃肠道(GIT)的多个图像为CE规程研究的图像。
8.根据权利要求1所述的方法，还包括从所述多个图像中选择所述种子图像。
9.根据权利要求1所述的方法，还包括基于被识别为包括息肉的所述种子图像，向所述CE规程的转诊医师提供指示以将所述CE规程的受试者转诊到结肠镜检查规程。
10.根据权利要求9所述的方法，还包括：
对于所述多个图像中的每个图像：
应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述图像的输入特征来提供所述图像包含所述息肉的所述概率，以及
访问对应于所述图像的所述经典机器学习***的软间隔；以及
在没有人为干预的情况下，基于所述多个图像的所述软间隔来确定是否推荐结肠镜检查。
11.根据权利要求10所述的方法，还包括访问软间隔到图像包含息肉的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于软间隔到图像包含息肉的概率的所述映射。
12.根据权利要求10所述的方法，还包括：
对于所述多个图像中的每个图像，访问所述图像的估计息肉尺寸，所述估计息肉尺寸基于所述图像而生成；以及
访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于所述估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的所述映射。
13.根据权利要求1所述的方法，还包括显示被识别为包括息肉的所述种子图像。
14.根据权利要求1所述的方法，还包括基于被识别为包括息肉的所述种子图像来提供治疗建议。
15.根据权利要求1所述的方法，还包括显示所述种子图像并且指示被识别为包括息肉的所述种子图像。
16.根据权利要求1所述的方法，还包括：
向用户显示至少所述种子图像；
接收用户对所显示的图像中的图像的选择；
确定至少一个未被选择图像，所述至少一个未被选择图像未被所述用户选择并且在被识别为包括息肉的所述种子图像中；以及
向所述用户呈现所述至少一个未被选择图像。
17.根据权利要求16所述的方法，其中被所述用户选择的所述图像为被选择为包括在所述CE规程报告中的图像。
18.根据权利要求17所述的方法，其中一旦接收到生成报告的请求，就执行所述向所述用户呈现所述至少一个未被选择图像。
19.一种用于识别图像的方法，包括：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
将至少一个滤波器应用于所述多个图像，所述至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；以及
基于以下中的至少一者提供信息：所述多个图像中由所述至少一个滤波器识别的至少一个图像，或者所述多个图像中未由所述至少一个滤波器识别的至少一个图像。
20.根据权利要求19所述的方法，其中所述负滤波器被配置为识别图像以基于所述图像为所述GIT的身体出口部分的图像而不指定为包含息肉。
21.根据权利要求19所述的方法，其中所述负滤波器被配置为识别图像以基于所述图像被评估为回盲瓣或痔丛中的至少一者的图像而不指定为包含息肉。
22.根据权利要求19所述的方法，其中所述负滤波器被配置为识别图像以基于所述图像被评估为包含估计息肉尺寸低于阈值尺寸的息肉而不指定为包含息肉。
23.根据权利要求19所述的方法，还包括：对于所述多个图像中的每个图像：访问所述图像的图像轨迹。
24.根据权利要求23所述的方法，其中所述负滤波器被配置为识别图像以基于对于只有一张图像的息肉存在概率高于阈值的图像的所述图像轨迹而不指定为包含息肉。
25.根据权利要求23所述的方法，其中所述正滤波器被配置为识别图像以基于所述图像轨迹来指定为包含息肉。
26.根据权利要求25所述的方法，其中所述正滤波器被配置为识别图像以基于对于至少阈值数量的图像的息肉存在概率高于阈值的图像的所述图像轨迹来指定为包含息肉。
27.一种用于识别图像的***，包括：
一个或多个处理器；和
至少一个存储指令的存储器，所述指令在由所述一个或多个处理器执行时使得所述***：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
将至少一个滤波器应用于所述多个图像，所述至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；以及
基于以下中的至少一者提供信息：所述多个图像中由所述至少一个滤波器识别的至少一个图像，或者所述多个图像中未由所述至少一个滤波器识别的至少一个图像。
28.根据权利要求27所述的***，其中所述负滤波器被配置为识别图像以基于所述图像为所述GIT的身体出口部分的图像而不指定为包含息肉。
29.根据权利要求27所述的***，其中所述负滤波器被配置为识别图像以基于所述图像被评估为回盲瓣或痔丛中的至少一者的图像而不指定为包含息肉。
30.根据权利要求27所述的***，其中所述负滤波器被配置为识别图像以基于所述图像被评估为包含估计息肉尺寸低于阈值尺寸的息肉而不指定为包含息肉。
31.根据权利要求27所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***对于所述多个图像中的每个图像访问所述图像的图像轨迹。
32.根据权利要求31所述的方法，其中所述负滤波器被配置为识别图像以基于对于只有一张图像的息肉存在概率高于阈值的图像的所述图像轨迹而不指定为包含息肉。
33.根据权利要求31所述的***，其中所述正滤波器被配置为识别图像以基于所述图像轨迹来指定为包含息肉。
34.根据权利要求33所述的***，其中所述正滤波器被配置为识别图像以基于对于至少阈值数量的图像的息肉存在概率高于阈值的图像的所述图像轨迹来指定为包含息肉。
35.一种用于识别图像的方法，包括：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
对于所述多个图像中的每个图像：应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述图像的输入特征来提供所述图像是否包含息肉的指示；以及
基于所述多个图像中的至少一个图像呈现信息，所述信息具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示。
36.根据权利要求35所述的方法，还包括：对于所述多个图像中的每个图像：访问所述图像的图像轨迹。
37.根据权利要求36所述的方法，其中对应于所述图像的所述输入特征包括以下中的至少一者：所述图像轨迹的轨迹长度，或者所述图像轨迹中具有高于阈值的息肉存在分数的图像数量。
38.根据权利要求35所述的方法，其中对应于所述图像的所述输入特征包括所述图像的索引与回盲瓣的图像的索引之间的索引差。
39.根据权利要求35所述的方法，其中对应于所述图像的所述输入特征包括在其中捕获了所述图像的结肠段的段号。
40.根据权利要求35所述的方法，其中所述经典机器学习分类器为多项式支持向量机。
41.一种用于识别图像的***，包括：
一个或多个处理器；和
至少一个存储指令的存储器，所述指令在由所述一个或多个处理器执行时使得所述***：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
对于所述多个图像中的每个图像：应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述图像的输入特征来提供所述图像是否包含息肉的指示；以及
基于所述多个图像中的至少一个图像呈现信息，所述信息具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示。
42.根据权利要求41所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***对于所述多个图像中的每个图像访问所述图像的图像轨迹。
43.根据权利要求42所述的***，其中对应于所述图像的所述输入特征包括以下中的至少一者：所述图像轨迹的轨迹长度，或者所述图像轨迹中具有高于阈值的息肉存在分数的图像数量。
44.根据权利要求41所述的***，其中对应于所述图像的所述输入特征包括所述图像的索引与回盲瓣的图像的索引之间的索引差。
45.根据权利要求41所述的***，其中对应于所述图像的所述输入特征包括在其中捕获了所述图像的结肠段的段号。
46.根据权利要求41所述的***，其中所述经典机器学习分类器为多项式支持向量机。
47.一种用于识别图像的方法，包括：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
将至少一个滤波器应用于所述多个图像，所述至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；
通过从所述多个图像中选择未由所述至少一个滤波器识别的至少一个图像来提供至少一个未经滤波的图像；
对于所述至少一个未经滤波的图像中的每个未经滤波的图像：应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述未经滤波的图像的输入特征来提供所述未经滤波的图像是否包含息肉的指示；以及
基于所述至少一个未经滤波的图像中的至少一个图像呈现信息，所述信息具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示。
48.根据权利要求47所述的方法，还包括在没有人为干预的情况下生成胶囊内窥镜检查报告以呈现给临床医生，所述胶囊内窥镜检查报告包括以下中的至少一者：所述至少一个未经滤波的图像中具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示的所述至少一个图像，或者由正滤波器识别的至少一个图像。
49.根据权利要求47所述的方法，还包括：
接收用户对所述多个图像中的图像的选择；
确定未被用户选择并且在所述至少一个未经滤波的图像中具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示的所述至少一个图像之中的至少一个未被选择图像；以及
向所述用户呈现所述至少一个未被选择图像。
50.根据权利要求47所述的方法，还包括：
通过访问所述至少一个未经滤波的图像中具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示的所述至少一个图像中的每个图像来提供至少一个息肉图像；
识别所述至少一个息肉图像中未被另一计算机实现的工具指定为包含息肉的息肉图像；以及
否决所述另一计算机实现的工具以将所述息肉图像指定为包含息肉。
51.一种用于识别图像的***，包括：
一个或多个处理器；和
至少一个存储指令的存储器，所述指令在由所述一个或多个处理器执行时使得所述***：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
将至少一个滤波器应用于所述多个图像，所述至少一个滤波器包括以下中的至少一者：被配置为识别图像以指定为包含息肉的正滤波器；或者被配置为识别图像以不指定为包含息肉的负滤波器；
通过从所述多个图像中选择未由所述至少一个滤波器识别的至少一个图像来提供至少一个未经滤波的图像；
对于所述至少一个未经滤波的图像中的每个未经滤波的图像：应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述未经滤波的图像的输入特征来提供所述未经滤波的图像是否包含息肉的指示；以及
基于所述至少一个未经滤波的图像中的至少一个图像呈现信息，所述信息具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示。
52.根据权利要求51所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***：
在没有人为干预的情况下生成胶囊内窥镜检查报告以呈现给临床医生，所述胶囊内窥镜检查报告包括以下中的至少一者：所述至少一个未经滤波的图像中具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示的所述至少一个图像，或者由正滤波器识别的至少一个图像。
53.根据权利要求51所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***：
接收用户对所述多个图像中的图像的选择；
确定未被用户选择并且在所述至少一个未经滤波的图像中具有由所述经典机器学习***提供的包含满足置信度阈值的息肉的指示的所述至少一个图像之中的至少一个未被选择图像；以及
向所述用户呈现所述至少一个未被选择图像。
54.一种用于推荐结肠镜检查的计算机实现的方法，包括：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
对于所述多个图像中的每个图像：
应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述图像的输入特征来提供所述图像是否包含息肉的指示，以及
访问对应于所述图像的所述经典机器学习***的软间隔；以及
在没有人为干预的情况下，基于所述多个图像的所述软间隔来确定是否推荐结肠镜检查。
55.根据权利要求54所述的计算机实现的方法，还包括访问软间隔到图像包含息肉的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于软间隔到图像包含息肉的概率的所述映射。
56.根据权利要求54所述的计算机实现的方法，还包括：
对于所述多个图像中的每个图像，访问所述图像的估计息肉尺寸，所述估计息肉尺寸基于所述图像而生成；以及
访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于所述估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的所述映射。
57.一种用于推荐结肠镜检查的***，包括：
一个或多个处理器；和
至少一个存储指令的存储器，所述指令在由所述一个或多个处理器执行时使得所述***：
访问由胶囊内窥镜检查设备捕获的胃肠道(GIT)的多个图像，所述多个图像具有包含息肉的可能性；
对于所述多个图像中的每个图像：
应用经典机器学习***，所述经典机器学习***被配置为基于对应于所述图像的输入特征来提供所述图像是否包含息肉的指示，以及
访问对应于所述图像的所述经典机器学习***的软间隔；以及
在没有人为干预的情况下，基于所述多个图像的所述软间隔来确定是否推荐结肠镜检查。
58.根据权利要求57所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***访问软间隔到图像包含息肉的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于软间隔到图像包含息肉的概率的所述映射。
59.根据权利要求57所述的***，其中所述指令在由所述一个或多个处理器执行时进一步使得所述***：
对于所述多个图像中的每个图像，访问所述图像的估计息肉尺寸，所述估计息肉尺寸基于所述图像而生成；以及
访问估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的映射，
其中是否推荐结肠镜检查的所述确定还基于所述估计息肉尺寸和估计息肉尺寸到实际息肉尺寸为至少预定义尺寸的概率的所述映射。
CN202180070844.1A 2020-09-08 2021-09-03 用于识别息肉图像的***和方法 Pending CN116547701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063075795P 2020-09-08 2020-09-08
US63/075,795 2020-09-08
PCT/IL2021/051083 WO2022054046A2 (en) 2020-09-08 2021-09-03 Systems and methods for identifying images of polyps

Publications (1)

Publication Number Publication Date
CN116547701A true CN116547701A (zh) 2023-08-04

Family

ID=78078319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180070844.1A Pending CN116547701A (zh) 2020-09-08 2021-09-03 用于识别息肉图像的***和方法

Country Status (5)

Country Link
US (1) US20230274422A1 (zh)
EP (1) EP4211649A2 (zh)
JP (1) JP2023540579A (zh)
CN (1) CN116547701A (zh)
WO (1) WO2022054046A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4064214B1 (en) * 2021-03-26 2024-04-10 Tata Consultancy Services Limited Integrated deep learning model for co-operative and cascaded inference on edge

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430706B1 (en) * 2013-10-02 2016-08-30 Given Imaging Ltd. System and method for detection of in-vivo pathology sequences
WO2017199258A1 (en) 2016-05-18 2017-11-23 Given Imaging Ltd. Systems and methods for selecting for display images captured in vivo
WO2019008941A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
CN113015476A (zh) 2018-10-19 2021-06-22 吉温成象有限公司 用于生成和显示体内图像流的研究的***和方法

Also Published As

Publication number Publication date
WO2022054046A3 (en) 2022-06-23
WO2022054046A2 (en) 2022-03-17
EP4211649A2 (en) 2023-07-19
US20230274422A1 (en) 2023-08-31
JP2023540579A (ja) 2023-09-25

Similar Documents

Publication Publication Date Title
Jha et al. Real-time polyp detection, localization and segmentation in colonoscopy using deep learning
US20210345865A1 (en) Systems and methods for generating and displaying a study of a stream of in-vivo images
US8934722B2 (en) System and method for classification of image data items based on indirect user input
Goel et al. Dilated CNN for abnormality detection in wireless capsule endoscopy images
Su et al. Deep convolutional neural networks with ensemble learning and transfer learning for automated detection of gastrointestinal diseases
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Sharma et al. Deep learning-based prediction model for diagnosing gastrointestinal diseases using endoscopy images
US20230274422A1 (en) Systems and methods for identifying images of polyps
US20220028547A1 (en) Systems and methods for analysis of medical images for scoring of inflammatory bowel disease
US20230148834A1 (en) Systems and methods for analyzing a stream of images
WO2022049577A1 (en) Systems and methods for comparing images of event indicators
US11934491B1 (en) Systems and methods for image classification and stream of images segmentation
US20230134603A1 (en) Systems and methods for selecting images of event indicators
US20230320562A1 (en) Estimating the adequacy of a procedure
US20230397794A1 (en) Analysis of in-vivo images using connected graph components
Tamhane et al. Colonoscopy landmark detection using vision transformers
JP2023549571A (ja) セリアック病様疾患の指標を含む画像を識別するためのシステム及び方法
Liao et al. Exploration of the possibility of early diagnosis for digestive diseases using deep learning techniques
EP4360102A1 (en) Systems and methods for assessing gastrointestinal cleansing
US20230122280A1 (en) Systems and methods for providing visual indicators during colonoscopy
EP4211652A1 (en) Systems and methods for polyp size estimation
Yao Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure
US20240156337A1 (en) Image inpainting of in-vivo images
KR20220056710A (ko) 의료 영상 제공 방법 및 이를 이용한 디바이스
KR20240047900A (ko) 캡슐내시경 영상을 이용한 위장관 분류 및 전환 영역 식별을 수행하는 전자장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination