CN113808137A - 上消化道内镜影像图的筛选方法、装置、设备及存储介质 - Google Patents

上消化道内镜影像图的筛选方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113808137A
CN113808137A CN202111375055.7A CN202111375055A CN113808137A CN 113808137 A CN113808137 A CN 113808137A CN 202111375055 A CN202111375055 A CN 202111375055A CN 113808137 A CN113808137 A CN 113808137A
Authority
CN
China
Prior art keywords
endoscope
image
target
screening
endoscope image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111375055.7A
Other languages
English (en)
Inventor
杨振宇
胡珊
张阔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202111375055.7A priority Critical patent/CN113808137A/zh
Publication of CN113808137A publication Critical patent/CN113808137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种上消化道内镜影像图的筛选方法、装置、设备及存储介质。该方法包括：将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。本发明基于人工智能技术，降低了对内镜影像图的筛选难度，节省了内镜影像图的筛选时间，提高了后续生成内镜报告的质量和准确度。

Description

上消化道内镜影像图的筛选方法、装置、设备及存储介质
技术领域
本发明涉及医疗辅助技术领域，尤其涉及一种上消化道内镜影像图的筛选方法、装置、设备及存储介质。
背景技术
食管胃十二指肠镜是一种通过直接观察上消化道粘膜的状况来辅助医师进行上消化道检查和诊断。随着电子内窥镜数字成像***的普及，通过食管胃十二指肠镜进行上消化道检查而生成的含有精准检查信息的图像文档是内窥镜检查报告的必要因素。
现有技术中，内镜报告的生成通常是检查医师操作食管胃十二指肠镜来采集内镜报告的图像并存储在内镜报告的图库中，检查结束后由报告医师在图库中进行筛选以得到符合患者当前症状的图片来生成内镜报告。但是由于同一病灶可能会在进镜与退镜过程中反复暴露，造成机器多次识别并形成同一病灶的重复采图，进而使得食管胃十二指肠镜采集的图片较多，且图片采集极易受检查医师的主观性影响，导致报告医师在图库中选取图片的难度增大，极易选取质量较差的图像，进而增加了生成的内镜报告的难度，降低了内镜报告的准确度。
发明内容
本发明实施例提供了一种上消化道内镜影像图的筛选方法、装置、设备及存储介质，用于解决现有技术中筛选上消化道内镜影像图的难度较差、质量较低的技术问题。
第一方面，本发明实施例提供了一种上消化道内镜影像图的筛选方法，其包括：
将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；
将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；
根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；
根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
第二方面，本发明实施例提供了一种上消化道内镜影像图的筛选装置，其包括：
第一输入单元，用于将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；
第二输入单元，用于将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；
第一分类单元，用于根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；
第一筛选单元，用于根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述第一方面所述的上消化道内镜影像图的筛选方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的上消化道内镜影像图的筛选方法。
本发明实施例提供了一种上消化道内镜影像图的筛选方法、装置、设备及存储介质。该方法预先对内镜影像图集中的每张影像图进行部位类别的分类并对每个部位的内镜影像图集中的每张内镜影像图进行目标检测，以得到每个部位的目标影像图集，最后对每个部位的目标影像图集进行分类筛选，以完成对内镜影像图集中的影像图的筛选，降低了对内镜影像图的筛选难度，节省了内镜影像图的筛选时间，提高了后续生成内镜报告的质量和准确度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的上消化道内镜影像图的筛选方法的流程示意图；
图2为本发明实施例提供的上消化道内镜影像图的筛选方法的一流程示意图；
图3为本发明实施例提供的上消化道内镜影像图的筛选方法的另一流程示意图；
图4为本发明实施例提供的上消化道内镜影像图的筛选方法的另一流程示意图；
图5为本发明实施例提供的上消化道内镜影像图的筛选方法的另一流程示意图；
图6为本发明实施例提供的上消化道内镜影像图的筛选方法的另一流程示意图；
图7为本发明实施例提供的上消化道内镜影像图的筛选方法的另一流程示意图；
图8为本发明实施例提供的上消化道内镜影像图的筛选装置的示意图；
图9为本发明实施例提供的计算机设备的示意性框图；
图10为本发明实施例提供的具体应用的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的上消化道内镜影像图的筛选方法的流程示意图。本发明实施例的所述的上消化道内镜影像图的筛选方法应用于终端设备中，该方法通过安装于终端设备中的应用软件进行执行。其中，终端设备为具备接入互联网功能的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等终端设备。
下面对所述的上消化道内镜影像图的筛选方法进行详细说明。
如图1所示，该方法包括以下步骤S110~S140。
S110、将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别。
在本实施例中，所述内镜影像图集为内镜检查医师通过食管胃十二指肠镜在患者的上消化道中采集的影像图集，所述部位分类模型为预先训练好且用于对所述内镜影像图集中每张内镜影像图进行部位分类。其中，内镜检查医师通过食管胃十二指肠镜在患者的上消化道中进行图像采集时，需对患者的上消化道上的26个部位进行图像采集，每个部位采集了多张图像。其中，上消化道上的26个部位分别为：食管、贲门、胃窦大弯、胃窦后壁、胃窦前壁、胃窦小弯、十二指肠球部、十二指肠降部、正镜胃体下部大弯、正镜胃体下部后壁、正镜胃体下部前壁、正镜胃体下部小弯、正镜胃体中上部大弯、正镜胃体中上部后壁、正镜胃体中上部前壁、正镜胃体中上部小弯、倒镜胃底大弯、倒镜胃底后壁、倒镜胃底前壁、倒镜胃底小弯、倒镜胃体中上部后壁、倒镜胃体中上部前壁、倒镜胃体中上部小弯、倒镜胃角后壁、倒镜胃角前壁、倒镜胃角小弯。
具体的，所述部位分类模型由ResNet50神经网络构建得到，所述部位分类模型在进行训练的过程中，预先将标注有部位类型标签的图像输入至所述部位分类模型中，然后所述部位分类模型输出一个多维列向量，所述多维列向量中每个维度对应一个部位的概率，然后根据最大概率值对所述部位分类模型的网络参数进行调整，直至所述部位分类模型达到收敛状态，便可完成对所述部位分类模型的训练。
在其他发明实施例中，如图2所示，步骤S110之前，还包括步骤S210和S220。
S210、接收所述上消化道的内镜视频；
S220、对所述内镜视频进行预处理，得到所述内镜影像图集。
具体的，所述内镜影像图集为内镜检查医师通过食管胃十二指肠镜在患者的上消化道中拍摄的视频中获取，设备在接收到所述内镜影像图集的内镜视频后，对内镜视频进行解码以得到所述内镜视频的图像集，然后对图像集中每张图像进行尺寸归一化处理，便可得到所述内镜影像图集。其中，图像尺寸归一化处理主要是便于后续对每张图像执行统一标准的目标检测和分类，进而更好的筛选出符合生成内镜报告的图像。
在其他发明实施例中，如图3所示，步骤S110包括子步骤S111和S112。
S111、将每张所述内镜影像图输入至所述部位分类模型中，得到每张所述内镜影像图的第一多维列向量；
S112、根据所述第一多维列向量确定每张所述内镜影像图的部位类别。
具体的，所述部位分类模型由ResNet50神经网络构建得到，其中ResNet是残差网络（Residual Network）的缩写，该网络广泛用于目标分类等领域以及作为计算机视觉任务主干神经网络的一部分。内镜影像图输入至所述部位分类模型中后，所述部位分类模型输出内镜影像图的一个多维列向量，每个维度的代表该内镜影像图所属部位的概率，概率值越大表示该内镜影像图越有可能属于概率值最大的这一类别。例如[1，0，0，…，0]代表该内镜影像图被分类成为上消化道中的第一部位类别。所述内镜影像图集中的每张内镜影像图进行部位分类后，根据内镜影像图的部位类别将内镜影像图存储至对应类别的文件夹中，以便于后续对每个部位类别的文件夹中所有的内镜影像图进行目标检测，从而筛选出存在目标区域的内镜影像图。
S120、将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集。
具体的，所述目标检测模型为预先训练好且用于对每个部位的内镜影像图进行病灶检测以得到内镜影像图中是否存在病灶区域，所述目标检测模型由Yolov3网络构建得到，每个部位的内镜影像图的输入至目标检测模型中的尺寸为352*352，内镜影像图输入至所述目标检测模型中后，通过Yolov3网络中的Darknet-53特征网络进行特征提取，最终输出3个通道的预测值，其中，3个通道的预测值分别对应预测大中小三中不同尺度的目标，若3个通道的预测值均为0，则可得出该内镜影像图不存在病灶区域。
在其他发明实施例中，如图4所示，步骤S120之前，还包括步骤S310和S320。
S310、将预设的训练集输入至所述目标检测模型中，得到所述目标检测模型的坐标损失、置信度损失以及类别损失；
S320、根据所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
在本实施例中，所述目标检测模型的损失有三部分组成，即坐标损失、置信度损失以及类别损失，其中，所述坐标损失为所述目标检测模型生成含有内镜影像图的病灶区域的候选框时生成含有病灶区域的候选框的坐标信息而产生的误差，置信度为每个候选框中存在病灶的概率，所述置信度损失为计算每个候选框存在病灶的概率的误差，所述类别损失为内镜影像图中是否存在病灶的误差。所述目标检测模型的损失表示为： Loss=lbox+lobj+lcls，其中，lbox为坐标损失，lobj为置信度损失，lcls为类别损失；
坐标损失函数为：
Figure 337200DEST_PATH_IMAGE001
置信度损失函数为：
Figure 519920DEST_PATH_IMAGE002
类别损失函数为：
Figure 640935DEST_PATH_IMAGE003
其中，S×S是网格大小，每个网格产生的候选框个数为B，
Figure 832882DEST_PATH_IMAGE004
表示第i个网格 的第j个Anchor Box是否负责这个Object，若负责则为1，否则为0。
另外，所述训练集由标注有病灶区域标签的图像集组成，图像集中的图像在进行病灶区域标注前，需将图像统一缩放至符合所述目标检测模型所需的尺寸，所述训练集中的每张图像输入至所述目标检测模型中后，通过计算所述目标检测模型的坐标损失、置信度损失以及类别损失，然后根据坐标损失、置信度损失以及类别损失来调整目标检测模型的网络参数，直至目标检测模型达到收敛状态，便可完成对所述目标检测模型的训练。
在其他发明实施例中，如图5所示，步骤S320包括子步骤S321和S322。
S321、计算所述目标检测模型的交并比损失；
S322、根据所述交并比损失、所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
具体的，交并比损失为所述目标检测模型生成图像的候选框之间的交并比损失，通过计算目标检测模型生成的交并比损失进一步对目标检测模型的网络参数进行更新调整，进而更好提高目标检测模型的目标检测的精确度。其中，IoU即交并比是目标检测中使用的一个概念，表示的是候选框与原标记框的交叠率或者说重叠度，即候选框与原标记框的交集与并集的比值，IoU用来度量目标检测中预测框与真实框的重叠程度。
在本实施例中，为了考虑目标与Anchor之间的距离、重叠率以及尺度，需将交并比（IoU）损失改进为Complete-IoU损失，该函数为：
Figure 116096DEST_PATH_IMAGE005
其中，α是权重函数，v是度量长宽比的相似性参数，ρ表示欧氏距离，b表示中心点，c表示最小外接矩形的对角线距离，A、B分别为两个交叉的候选框。
S130、根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果。
具体的，所述分类模型为预先训练好且用于对含有病灶的内镜影像图进行病灶类型分类，所述分类模型的训练所需的训练集为预先标注有病灶具体类型的图像组成，其中病灶具体类型包括：黄斑瘤、息肉、糜烂、***、巴雷特食管、胃黏膜异位、反流性食管炎等，所述分类模型由ResNet50神经网络构建得到，所述分类模型在进行训练的过程中，预先将标注有病灶具体类型标签的图像输入至所述分类模型中，然后所述分类模型输出一个多维列向量，所述多维列向量中每个维度对应一个部位的概率，然后根据最大概率值对所述分类模型的网络参数进行调整，直至所述分类模型达到收敛状态，便可完成对所述分类模型的训练，所述分类模型训练完成后，将目标影像图集中的每张目标影像图输入至训练好的分类模型中，然后分类模型输出目标影像图的一个多维列向量，最后通过多维列向量中每个维度对应的概率便可得到该目标影像图的类别。
在其他发明实施例中，如图6所示，步骤S130包括子步骤S131、S132和S133。
S131、获取每张所述目标影像图中检测目标的最小外接矩形框；
S132、将所述最小外接矩形框输入至所述分类模型中，得到每张所述目标影像图的第二多维列向量；
S133、根据所述第二多维列向量确定每张所述目标影像图的类型。
在本实施例中，所述分类模型由ResNet50神经网络构建，所述目标影像图中检测目标的最小外接矩形框通过凸包算法和旋转卡尺算法得到。
其中，凸包算法的核心思想为：通过给定的一些点形成一个多边形，该多边形恰好将给定的点框住，同时该多边形中所有的顶点都是由给定的部分点组成。旋转卡尺算法为将通过凸包算法形成的多边形的两个顶点卡住进行旋转以得到多边形中两个顶点的最大距离和最小距离以生成该多边形的最小矩形。
S140、根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
具体的，所述分类结果为目标影像图中的病灶为识别出的病种类型的概率，通过对同一部位中同一病种类型的多个目标影像图中每个目标影像图的概率进行排列，然后从中选取最大概率的目标影像图，该目标影像图便可作为筛选后的内镜影像图。其中，同一部位且同一病种的多个目标影像图只保留更易生成高质量内镜报告的目标影像图，该目标影像图即为最终筛选后的内镜影像图。
在其他发明实施例中，如图7所示，步骤S140包括子步骤S141和S142。
S141、根据所述第二多维列向量获取每个所述部位中相同类型的多个目标影像图的置信度；
S142、根据所述置信度对所述多个目标影像进行筛选，得到所述筛选后的内镜影像图。
具体的，通过获取所述疾病检测模型对每张目标影像图输出的多个候选框的置信度，然后选取同一病种类型且置信度高于预设阈值的多个目标影像图并获取分类模型对该多个目标影像图输出的概率，最后从中选取最大概率的目标影像图，该目标影像图便可作为筛选后的内镜影像图，进而保证最终生成高质量的内镜报告，减少了医师的工作负担，提高了内镜报告的生成效率。
在本发明实施例所提供的上消化道内镜影像图的筛选方法中，通过将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。本发明预先对内镜影像图集中的每张影像图进行部位类别的分类并对每个部位的内镜影像图集中的每张影像图进行目标检测，以得到每个部位的目标影像图集，最后对每个部位的目标影像图集进行分类筛选，以完成对内镜影像图集中的影像图的筛选，降低了对内镜影像图的筛选难度，节省了内镜影像图的筛选时间，缩短了医师书写报告工作中选择图片的时间，提高诊疗效率，提高了后续生成内镜报告的质量和准确度。
如图10所示，本发明所述的上消化道内镜影像图的筛选方法在具体应用的过程中，将上消化道内镜影像的视频进行预处理以得到内镜影像图集，然后通过预先训练好的部位分类模型对每张内镜影像图进行部位分类，以得到每张内镜影像图的部位类别，然后将每个部位中的每张影像图输入到目标检测模型中进行目标检测以得到每个部位的目标影像图集，然后对目标影像图集中每张目标影像图进行分类以得到每张目标影像图的类别并根据类别来进行图像筛选，进而达到内镜图像影像集的精简。其中，所述目标检测模型即为图10中的病灶检测模型。
本发明实施例还提供了一种上消化道内镜影像图的筛选装置100，该装置用于执行前述上消化道内镜影像图的筛选方法的任一实施例。
具体地，请参阅图8，图8是本发明实施例提供的上消化道内镜影像图的筛选装置100的示意性框图。
如图8所示，所述的上消化道内镜影像图的筛选装置100，该装置包括：第一输入单元110、第二输入单元120、第一分类单元130和第一筛选单元140。
第一输入单元110，用于将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别。
在另一实施例中，所述的上消化道内镜影像图的筛选装置100还包括：接收单元和预处理单元。
接收单元，用于接收所述上消化道的内镜视频。
预处理单元，用于对所述内镜视频进行预处理，得到所述内镜影像图集。
在另一实施例中，所述第一输入单元110包括：第三输入单元和第一确定单元。
第三输入单元，用于将每张所述内镜影像图输入至所述部位分类模型中，得到每张所述内镜影像图的第一多维列向量；第一确定单元，用于根据所述第一多维列向量确定每张所述内镜影像图的部位类别。
第二输入单元120，用于将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集。
在另一实施例中，所述的上消化道内镜影像图的筛选装置100还包括：第四输入单元和第一更新单元。
第四输入单元，用于将预设的训练集输入至所述目标检测模型中，得到所述目标检测模型的坐标损失、置信度损失以及类别损失。
第一更新单元，用于根据所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
在另一实施例中，所述第一更新单元包括：计算单元和第二更新单元。
计算单元，用于计算所述目标检测模型的交并比损失；第二更新单元，用于根据所述交并比损失、所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
第一分类单元130，用于根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果。
在另一实施例中，所述第一分类单元130包括：第一获取单元、第五输入单元和第二确定单元。
第一获取单元，用于获取每张所述目标影像图中检测目标的最小外接矩形框；第五输入单元，用于将所述最小外接矩形框输入至所述分类模型中，得到每张所述目标影像图的第二多维列向量；第二确定单元，用于根据所述第二多维列向量确定每张所述目标影像图的类型。
第一筛选单元140，用于根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
在另一实施例中，所述第一筛选单元140包括：第二获取单元和第二筛选单元。
第二获取单元，用于根据所述第二多维列向量获取每个所述部位中相同类型的多个目标影像图的置信度；第二筛选单元，用于根据所述置信度对所述多个目标影像进行筛选，得到所述筛选后的内镜影像图。
本发明实施例所提供的上消化道内镜影像图的筛选装置100用于执行上述将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。
参阅图9，该设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行上消化道内镜影像图的筛选方法。
该处理器502用于提供计算和控制能力，支撑整个设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行上消化道内镜影像图的筛选方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
本领域技术人员可以理解，图9中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。
在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种上消化道内镜影像图的筛选方法，其特征在于，包括：
将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；
将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；
根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；
根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
2.根据权利要求1所述的上消化道内镜影像图的筛选方法，其特征在于，在所述将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别之前，还包括：
接收所述上消化道的内镜视频；
对所述内镜视频进行预处理，得到所述内镜影像图集。
3.根据权利要求1所述的上消化道内镜影像图的筛选方法，其特征在于，所述将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别，包括：
将每张所述内镜影像图输入至所述部位分类模型中，得到每张所述内镜影像图的第一多维列向量；
根据所述第一多维列向量确定每张所述内镜影像图的部位类别。
4.根据权利要求1所述的上消化道内镜影像图的筛选方法，其特征在于，在所述将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集之前，还包括：
将预设的训练集输入至所述目标检测模型中，得到所述目标检测模型的坐标损失、置信度损失以及类别损失；
根据所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
5.根据权利要求4所述的上消化道内镜影像图的筛选方法，其特征在于，所述根据所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新，包括：
计算所述目标检测模型的交并比损失；
根据所述交并比损失、所述坐标损失、所述置信度损失以及所述类别损失对所述目标检测模型的网络参数进行更新。
6.根据权利要求1所述的上消化道内镜影像图的筛选方法，其特征在于，所述根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果，包括：
获取每张所述目标影像图中检测目标的最小外接矩形框；
将所述最小外接矩形框输入至所述分类模型中，得到每张所述目标影像图的第二多维列向量；
根据所述第二多维列向量确定每张所述目标影像图的类型。
7.根据权利要求6所述的上消化道内镜影像图的筛选方法，其特征在于，所述根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图，包括：
根据所述第二多维列向量获取每个所述部位中相同类型的多个目标影像图的置信度；
根据所述置信度对所述多个目标影像进行筛选，得到所述筛选后的内镜影像图。
8.一种上消化道内镜影像图的筛选装置，其特征在于，包括：
第一输入单元，用于将上消化道的内镜影像图集中的每张内镜影像图输入至预先训练好的部位分类模型中，得到每张所述内镜影像图的部位类别；
第二输入单元，用于将每个部位所有的内镜影像图输入至预先训练的目标检测模型中，得到每个所述部位的目标影像图集；
第一分类单元，用于根据预先训练的分类模型对所述目标影像图集中每张目标影像图进行分类，得到每张所述目标影像图的分类结果；
第一筛选单元，用于根据所述分类结果在每个所述部位的目标影像图集中进行内镜影像图的筛选，得到筛选后的内镜影像图。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的上消化道内镜影像图的筛选方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的上消化道内镜影像图的筛选方法。
CN202111375055.7A 2021-11-19 2021-11-19 上消化道内镜影像图的筛选方法、装置、设备及存储介质 Pending CN113808137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111375055.7A CN113808137A (zh) 2021-11-19 2021-11-19 上消化道内镜影像图的筛选方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111375055.7A CN113808137A (zh) 2021-11-19 2021-11-19 上消化道内镜影像图的筛选方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113808137A true CN113808137A (zh) 2021-12-17

Family

ID=78937484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111375055.7A Pending CN113808137A (zh) 2021-11-19 2021-11-19 上消化道内镜影像图的筛选方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113808137A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN117438056A (zh) * 2023-12-20 2024-01-23 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1909640A2 (en) * 2005-07-30 2008-04-16 The University Hospital of North Staffordshire NHS Improvements in and relating to optical coherence tomography
CN103593655A (zh) * 2013-11-20 2014-02-19 深圳先进技术研究院 无线胶囊内窥镜图像识别方法及***
WO2015073871A2 (en) * 2013-11-14 2015-05-21 The George Washington University Systems and methods for determining lesion depth using fluorescence imaging
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN108171692A (zh) * 2017-12-26 2018-06-15 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
CN109933680A (zh) * 2019-03-19 2019-06-25 北京大学深圳医院 图像数据筛选方法、装置、计算机设备及其存储介质
CN110443799A (zh) * 2019-08-15 2019-11-12 重庆金山医疗技术研究院有限公司 病灶检测识别模型的建立***
CN110867242A (zh) * 2019-10-16 2020-03-06 昆明灵智科技有限公司 一种胶囊内镜影像智能筛查***
CN112735554A (zh) * 2021-01-06 2021-04-30 重庆金山医疗器械有限公司 一种内镜报告生成装置、方法、电子设备及可读存储介质
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1909640A2 (en) * 2005-07-30 2008-04-16 The University Hospital of North Staffordshire NHS Improvements in and relating to optical coherence tomography
WO2015073871A2 (en) * 2013-11-14 2015-05-21 The George Washington University Systems and methods for determining lesion depth using fluorescence imaging
CN103593655A (zh) * 2013-11-20 2014-02-19 深圳先进技术研究院 无线胶囊内窥镜图像识别方法及***
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN108171692A (zh) * 2017-12-26 2018-06-15 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
CN109933680A (zh) * 2019-03-19 2019-06-25 北京大学深圳医院 图像数据筛选方法、装置、计算机设备及其存储介质
CN110443799A (zh) * 2019-08-15 2019-11-12 重庆金山医疗技术研究院有限公司 病灶检测识别模型的建立***
CN110867242A (zh) * 2019-10-16 2020-03-06 昆明灵智科技有限公司 一种胶囊内镜影像智能筛查***
CN112735554A (zh) * 2021-01-06 2021-04-30 重庆金山医疗器械有限公司 一种内镜报告生成装置、方法、电子设备及可读存储介质
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丘昌涛: "《现代工程数学及应用》", 31 January 2001, 北京：中国电力出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN113989125B (zh) * 2021-12-27 2022-04-12 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN117438056A (zh) * 2023-12-20 2024-01-23 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和***

Similar Documents

Publication Publication Date Title
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2022057078A1 (zh) 基于集成知识蒸馏的实时肠镜影像分割方法及装置
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
JP6657132B2 (ja) 画像分類装置、方法およびプログラム
US7672497B2 (en) Computer aided disease detection system for multiple organ systems
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
EP3095376B1 (en) Endoscopic image diagnosis support system
Shi et al. Survey on neural networks used for medical image processing
CN113808137A (zh) 上消化道内镜影像图的筛选方法、装置、设备及存储介质
CN110246109B (zh) 融合ct影像和个性化信息的分析***、方法、装置及介质
WO2006126384A1 (ja) 異常陰影候補の表示方法及び医用画像処理システム
CN110766735B (zh) 一种图像的匹配方法、装置、设备及存储介质
CN113989125B (zh) 内镜图像的拼接方法、装置、计算机设备及存储介质
JP2007151645A (ja) 医用画像診断支援システム
CN110838114A (zh) 肺结节检测方法、装置及计算机存储介质
Cao et al. A robust shape-aware rib fracture detection and segmentation framework with contrastive learning
Huang et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise
CN107590806B (zh) 一种基于大脑医学成像的检测方法和***
Shen et al. Multicontext multitask learning networks for mass detection in mammogram
CN112132981A (zh) 图像处理的方法及装置，电子设备及存储介质
Mahapatra Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation
CN115690486A (zh) 识别图像中病灶方法、装置、设备及存储介质
Apostolopoulos et al. Computer aided classification of mammographic tissue using shapelets and support vector machines
JP6737491B1 (ja) Ａｉを用いる診断装置、診断システム、及び、プログラム
Keshtkar Convolutional Neural Networks in Computer-Aided Diagnosis of Colorectal Polyps and Cancer: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211217