CN116977253A - 用于内窥镜的清洁度检测方法及装置、电子设备和介质 - Google Patents

用于内窥镜的清洁度检测方法及装置、电子设备和介质 Download PDF

Info

Publication number
CN116977253A
CN116977253A CN202211707166.8A CN202211707166A CN116977253A CN 116977253 A CN116977253 A CN 116977253A CN 202211707166 A CN202211707166 A CN 202211707166A CN 116977253 A CN116977253 A CN 116977253A
Authority
CN
China
Prior art keywords
image
cleanliness
classification
detected
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211707166.8A
Other languages
English (en)
Other versions
CN116977253B (zh
Inventor
江代民
周国义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opening Of Biomedical Technology Wuhan Co ltd
Original Assignee
Opening Of Biomedical Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opening Of Biomedical Technology Wuhan Co ltd filed Critical Opening Of Biomedical Technology Wuhan Co ltd
Priority to CN202211707166.8A priority Critical patent/CN116977253B/zh
Publication of CN116977253A publication Critical patent/CN116977253A/zh
Application granted granted Critical
Publication of CN116977253B publication Critical patent/CN116977253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于内窥镜的清洁度检测方法及装置、电子设备和介质。方法包括清洁度检测操作，清洁度检测操作包括：获取内窥镜采集的待测图像；将待测图像输入清洁度评价模型，获得待测图像对应的分类结果和分割结果，分类结果用于指示待测图像是可评分图像还是不可评分图像，分割结果用于指示待测图像中内容物所在的位置；如果分类结果指示待测图像是可评分图像，则基于分割结果确定待测图像的清洁度评分。避免人工判断的主观性和偶然性，有利于提高评分的准确性。分类和分割融合的方案可以进一步提高清洁度评分的准确性。

Description

用于内窥镜的清洁度检测方法及装置、电子设备和介质
技术领域
本发明属于内窥镜技术领域，具体涉及一种用于内窥镜的清洁度检测方法及装置、电子设备和存储介质。
背景技术
电子内窥镜(endoscopy)是一种可***人体体腔和脏器内腔进行直接观察、诊断、治疗的医用电子光学仪器。电子内窥镜可以包括胃镜、肠镜等，在电子内窥镜采集特定区域的内窥镜图像时，内窥镜检查区域的清洁度对内窥镜图像的成像质量影响较大。
内窥镜检查区域的清洁度一般按照预定评分标准进行评分。例如，肠道图像可以通过波士顿评分标准进行评分标记。但是这种评分通常依赖医生根据其工作经验进行手动标注，在标记时过于主观且具有一定的偶然性。比如，一个有少量粪便的肠道图像，在标记时，有的医生可能会给出2分，但有的可能会给3分，甚至同一个医生在不同时间标注同一个图像也可能会给出不同的得分。因此，这种现有评分方法难以客观准确地反映肠镜图像的清洁度得分和干净程度。
因此，亟需一种新的用于内窥镜的清洁度检测方案，以解决上述问题。
发明内容
为了至少部分地解决现有技术中存在的问题，提供一种用于内窥镜的清洁度检测方法及装置、电子设备和存储介质。
根据本发明的一个方面，提供了一种用于内窥镜的清洁度检测方法，所述方法包括清洁度检测操作，所述清洁度检测操作包括：获取所述内窥镜采集的待测图像；将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，所述分类结果用于指示所述待测图像是可评分图像还是不可评分图像，所述分割结果用于指示所述待测图像中内容物所在的位置；如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分。
示例性地，所述清洁度评价模型包括编码器模块、解码器模块和分类头，所述将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，包括：将所述待测图像输入所述编码器模块，获得至少一组编码特征；将所述至少一组编码特征输入所述解码器模块，获得所述分割结果；将所述至少一组编码特征中的至少部分组编码特征输入所述分类头，获得所述分类结果。
示例性地，所述编码器模块和所述分类头构成残差网络，所述编码器模块包括所述残差网络中的多个卷积模块，所述分类头包括所述残差网络中的全连接层，所述解码器模块采用U型网络中的解码器模块实现。
示例性地，所述清洁度评价模型通过以下方式训练获得：获取第一样本图像和对应的标注信息，所述标注信息包括分类标签，并且在所述分类标签指示所述第一样本图像是可评分图像的情况下，所述标注信息还包括第一分割标签，所述分类标签用于指示所述第一样本图像是可评分图像还是不可评分图像，所述第一分割标签用于指示所述待测图像中内容物所在的位置；将所述第一样本图像输入所述清洁度评价模型，获得所述第一样本图像对应的预测分类结果和预测分割结果，所述预测分类结果用于指示所述第一样本图像是可评分图像还是不可评分图像，所述预测分割结果用于指示所述待测图像中内容物所在的位置；在所述分类标签指示所述第一样本图像是可评分图像的情况下，基于所述分类标签和所述预测分类结果计算第一分类损失，基于所述第一分割标签和所述预测分割结果计算分割损失，并基于所述第一分类损失和所述分割损失对所述清洁度评价模型的参数进行优化；在所述分类标签指示所述第一样本图像是不可评分图像的情况下，基于所述分类标签和所述预测分类结果计算第二分类损失，并基于所述第二分类损失对所述清洁度评价模型的参数进行优化。
示例性地，所述基于所述第一分类损失和所述分割损失对所述清洁度评价模型的参数进行优化，包括：基于预设权重对所述第一分类损失和所述分割损失进行加权求和或加权平均，获得总损失；基于所述总损失对所述清洁度评价模型的参数进行优化。
示例性地，所述基于所述分割结果确定所述待测图像的清洁度评分，包括：基于所述分割结果确定所述待测图像中内容物的面积；计算所述待测图像中内容物的面积与所述待测图像的总面积之间的第一比例；判断所述第一比例落入多种预设比例范围中的何种预设比例范围，其中，所述多种预设比例范围与多个预设清洁度评分一一对应；基于所述第一比例落入的特定预设比例范围，并基于预设比例范围与预设清洁度评分之间的对应关系，确定与所述特定预设比例范围对应的预设清洁度评分为所述待测图像的清洁度评分。
示例性地，所述预设比例范围与预设清洁度评分之间的对应关系通过以下方式获得：获取多个第二样本图像各自对应的第二分割标签以及预设清晰度评分，其中，所述第二分割标签用于指示对应的第二样本图像中内容物所在的位置，所述多个第二样本图像所对应的预设清晰度评分包括所述多个预设清洁度评分；对于所述多个第二样本图像中的每个第二样本图像，基于该第二样本图像所对应的第二分割标签确定该第二样本图像中内容物的面积；计算该第二样本图像中内容物的面积与该第二样本图像的总面积之间的第二比例；基于所述多个第二样本图像各自对应的第二比例，确定所述预设比例范围与预设清洁度评分之间的对应关系。
示例性地，所述待测图像为所述内窥镜针对目标检查区域实时采集得到的图像；则，在所述如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分之后，所述方法还包括：将所述清洁度评分与清洁度阈值进行比较；如果所述清洁度评分低于所述清洁度阈值，则对所述目标检查区域进行清洗。
示例性地，所述方法还包括：如果所述分类结果指示所述待测图像是不可评分图像，则执行对应的无评分反馈操作。
示例性地，所述无评分反馈操作包括：执行不宜评分操作，所述不宜评分操作包括以下一项或多项：删除所述待测图像；删除所述分割结果；输出提示信息。
示例性地，在所述待测图像的数目未达到预设数目时，任一当前待测图像所对应的所述无评分反馈操作包括：返回所述获取所述内窥镜采集的待测图像的步骤，并针对位于所述当前待测图像之后的下一待测图像执行所述清洁度检测操作；在所述待测图像的数目达到所述预设数目时，当前待测图像所对应的所述无评分反馈操作包括：如果所述预设数目的待测图像均是不可评分图像，则执行不宜评分操作，所述不宜评分操作包括以下一项或多项：删除所述预设数目的所述待测图像；删除所述预设数目的所述待测图像所对应的分割结果；输出提示信息。
根据本发明的另一方面，提供了一种用于内窥镜的清洁度检测装置，所述装置包括清洁度检测模块，所述清洁度检测模块包括：获取子模块，用于获取所述内窥镜采集的待测图像；输入子模块，用于将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，所述分类结果用于指示所述待测图像是可评分图像还是不可评分图像，所述分割结果用于指示所述待测图像中内容物所在的位置；确定子模块，用于如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分。
根据本发明的又一方面，提供了一种电子设备，包括处理器和存储器，存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现上述的用于内窥镜的清洁度检测方法。
根据本发明的再一方面，提供了一种存储介质，存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的用于内窥镜的清洁度检测方法。
根据本发明实施例的技术方案，基于待测图像获得分类结果和分割结果，并利用分类结果和分割结果确定清洁度评分，这种方案能够自动判断内窥镜当前采集区域内的清洁情况，避免人工判断的主观性和偶然性，有利于提高评分的准确性。此外，这种方案能够同步对待测图像进行分类和分割，基于分类结果，仅对有评分价值的图像(即可评分图像)进行清洁度评分，可以去除冲水、贴壁过近、视野丢失、视野过暗或过曝等场景对清洁度评分的干扰，进一步提高清洁度评分的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施方式及其描述，用来解释本发明的原理。在附图中，
图1示出了根据本申请一个实施例的清洁度检测操作的示意性流程图；
图2示出了根据本发明一个实施例的对待测图像进行分类和分割的示意性流程图；
图3示出了根据本申请一个实施例的清洁度检测模块的示意性框图；以及
图4示出了根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了至少部分地解决上述技术问题，本发明实施例提供一种用于内窥镜的清洁度检测方法，该方法包括清洁度检测操作100。图1示出了根据本发明一个实施例的清洁度检测操作100的示意性流程图。如图1所示，该清洁度检测操作100可以包括以下步骤S110、步骤S120和步骤S130。
步骤S110，获取内窥镜采集的待测图像。
示例性地，待测图像可以是电子内窥镜直接采集到的原始图像，例如，可以是电子内窥镜直接采集的胃镜图像或肠镜图像。待测图像也可以是对原始图像进行预处理后得到的图像。该预处理操作可以包括为了增强图像的可检测性，或者消除图像中的无关信息等便于图像识别、特征提取的所有操作。例如，预处理操作可以包括均值滤波、高斯滤波等去噪操作，也可以包括图像锐化、图像增强等操作。待测图像可以是包含目标检查区域的图像。目标检查区域可以是任意生物组织区域，包括但不限于胃部、肠道部位、食管等。
示例性地，待测图像可以为内窥镜所采集的针对目标检查区域的单个图像，也可以为多个图像。该多个图像可以是内窥镜在一定时间内、以一定的时间间隔连续对目标检查区域采集得到的。在一个实施例中，采集多个图像后，可以对多个图像进行筛选，并按照图像的清晰度进行排序，将其中部分不清晰的图像去掉，剩下的相对清晰的图像作为待测图像。例如采集十个图像，将这十个图像按照清晰度排序后，去除清晰度较差的七个图像，将剩下的三个图像作为待测图像。
步骤S120，将待测图像输入清洁度评价模型，获得待测图像对应的分类结果和分割结果，分类结果用于指示待测图像是可评分图像还是不可评分图像，分割结果用于指示待测图像中内容物所在的位置。
示例性地，不可评分图像可以表示当前图像存在异常，即根据图像上的信息不能够准确判断目标检查区域的清洁状态。例如，不可评分图像可以是在干扰过多的情况下采集的图像，例如在镜头上水花过多、内窥镜贴壁过近、视野模糊、视野丢失或视野过暗等场景下采集的图像。可评分图像可以表示根据当前图像能够相对准确地判断目标检查区域的清洁状态。即，可评分图像中的干扰较少，不影响对清洁状态的评价。
可评分图像主要根据图像中的内容物判断目标检查区域的清洁状态。其中，内容物为附着在目标检查区域中、影响内窥镜检查质量的物质。例如，在肠镜检查过程中，肠道中的内容物可以包括不透明液体、残留粪便、粪便以及固体粪便等；在胃镜检查过程中，胃部中的内容物可以包括食物残渣、气泡等。
示例性地，清洁度评价模型可以是能够同时实现对内窥镜图像(包括上述待测图像)的分类和分割的神经网络模型。例如，清洁度评价模型可以包括以下一种或多种神经网络模型的至少部分网络结构：U型网络(U-Net)、全卷积神经网络(Fully ConvolutionalNetworks,FCN)、用于图像分割的深度卷积编码器-解码器结构(SegNet)、金字塔场景解析网络(pyramid scene parsing network,PSPNet)、残差网络(Residual Network,ResNet)等。当然，上述神经网络模型仅是示例，清洁度评价模型还可以采用其他合适的网络结构实现。在一个实施例中，可以通过ResNet神经网络和U-Net神经网络分别构建图像分类模型和语义分割模型，利用ResNet神经网络对待测图像进行分类，并利用U-Net神经网络分割以得到待测图像中内容物所在的位置。示例性地，可以将ResNet神经网络中除全连接模块以外的部分作为清洁度评价模型的骨干网络(backbone)，并将ResNet神经网络的全连接模块连接在backbone后面作为分类头进行图像分类。此外，还可以将U-Net神经网络的解码器部分(包含多个上采样模块)作为解码器模块与backbone相连，以通过解码器模块实现图像分割。替代地，可以将ResNet网络结构中的批归一化(Batch Normalization,BN)层用倒置瓶颈(Inverted Bottleneck,IBN)结构进行替换，采用ResNet融合IBN结构ResNet_ibn作为清洁度评价模型的backbone。在backbone后接全连接模块实现图像分类，在backbone后接解码器模块实现图像分割。可以理解，在获得具有初始参数的清洁度评价模型后，经过多次机器学习，可以得到准确度较高的清洁度评价模型。
示例性地，清洁度评价模型可以包括编码器模块、解码器模块和分类头。该编码器模块可以利用任意下采样模块来实现，下采样模块可以包括诸如卷积层、池化层等，由此，编码器模块可以逐渐缩小特征的尺寸以获得深层的语义特征。解码器模块可以利用任意上采样模块来实现，上采样模块可以包括反卷积层等。解码器模块能够逐步恢复图像的细节和相应的空间维度。编码器模块和解码器模块之间可以利用跳跃连接方式连接。此外，分类头可以采用全连接模块实现，全连接模块可以包括一个或多个全连接层、激活函数层等。激活函数层可以是诸如softmax层。
步骤S130，如果分类结果指示待测图像是可评分图像，则基于分割结果确定待测图像的清洁度评分。
示例性地，分类结果可以是概率值，用于表示待测图像是可评分图像的概率有多大。分类结果的值越大，表示待测图像是可评分图像的概率越大。可以将分类结果的值与预设阈值相比较，如果大于预设阈值，则确定待测图像是可评分图像，反之则确定待测图像是不可评分图像。当然，分类结果也可以是用于表示待测图像是不可评分图像的概率有多大的概率值。
示例性地，在通过分类结果确认待测图像为可评分图像后，可以根据分割结果得到的待测图像中内容物所在的位置对待测图像的清洁度评分。
示例性地，可以利用清洁度评价模型将待测图像分割形成掩码(mask)图像。可以在掩码图像上利用像素值为255的白色区域表示掩膜，即内容物所在的位置。并且可以在掩码图像上利用像素值为0的黑色区域表示背景，即内容物外的其余区域。在一个实施例中，可以通过计算掩码图像白色区域的面积来作为内容物的面积，并根据内容物的面积占待测图像面积的图像比例作为清洁度评分的依据。图像比例越大，说明内容物在目标检查区域中所占面积越大，即目标检查区域清洁度越差，清洁度评分越低。图像比例越小，说明内容物在目标检查区域中所占面积越小，即目标检查区域清洁度越好，清洁度评分越高。例如，可根据不同清洁度评分设定不同的面积阈值范围，根据不同的面积阈值范围映射为清洁度评分。
示例性地，清洁度评分可采用波士顿评分标准。以肠镜图像为例，0分代表完全没有准备的结肠，即由于固体粪便没有清除，无法看清肠黏膜。1分代表由于染色、剩余粪便或不透明液体，结肠段部分肠粘膜可见。2分代表有一部分染色、少量小块粪便或不透明液体，结肠段粘膜大部分可见良好。3分代表无染色、残留小块粪便和不透明液体，整段结肠黏膜可见良好。替代地，还可选用渥太华评分标准进行评分。
当图像为不可评分图像时，表示根据图像上的信息不能够准确判断目标检查区域的清洁状态，因此无需对这类图像进行评分。当图像为不可评分图像时，可以不执行任何操作，或者执行无评分反馈操作。无评分反馈操作的示例将在下文描述。
根据上述技术方案，基于待测图像获得分类结果和分割结果，并利用分类结果和分割结果确定清洁度评分，这种方案能够自动判断内窥镜当前采集区域内的清洁情况，避免人工判断的主观性和偶然性，有利于提高评分的准确性。此外，这种方案能够同步对待测图像进行分类和分割，基于分类结果，仅对有评分价值的图像(即可评分图像)进行清洁度评分，可以去除冲水、贴壁过近、视野丢失、视野过暗或过曝等场景对清洁度评分的干扰，进一步提高清洁度评分的准确性。
示例性地，清洁度评价模型包括编码器模块、解码器模块和分类头。步骤S120，将待测图像输入清洁度评价模型，获得待测图像对应的分类结果和分割结果可以包括步骤S121、步骤S122和步骤S123。
步骤S121，将待测图像输入编码器模块，获得至少一组编码特征。
编码器模块可以视为清洁度评价模型的backbone。如上所述，示例性地，编码器模块可以利用任意下采样模块来实现，下采样模块可以包括诸如卷积层、池化层等，由此，编码器模块可以逐渐缩小特征的尺寸以获得深层的语义特征。在一个实施例中，编码器模块可采用ResNet神经网络中除全连接模块以外的网络结构实现，例如采用ResNet50中的多个卷积模块实现。首先，将待测图像输入ResNet中。然后，利用ResNet的各卷积模块中不同大小卷积核的卷积，对待测图像中不同尺度的信息进行提取。所提取的特征即为编码特征。
示例性地，编码特征可以包括颜色信息、亮度信息、纹理信息和边界信息。编码特征可以通过一个高维的矩阵来表示。该编码特征通过编码器模块对待测图像进行特征提取得到。
步骤S122，将至少一组编码特征输入解码器模块，获得分割结果。
如上所述，示例性地，解码器模块可以利用任意上采样模块来实现，上采样模块可以包括反卷积层等。解码器模块能够逐步恢复图像的细节和相应的空间维度。编码器模块和解码器模块之间可以利用跳跃连接方式连接。在一个实施例中，解码器模块可以利用U-Net神经网络中的解码器模块实现。例如，可以将上述编码器模块中每一个卷积模块提取的特征通过跳跃连接输入到解码器模块中。然后，解码器模块对这些特征依次进行上采样操作后进行特征融合，并在通道上整体拼接形成整体特征图。该整体特征图可以通过二值化的掩码图像表示，从而利用该掩码图像对分割结果进行表达。
步骤S123，将至少一组编码特征中的至少部分组编码特征输入分类头，获得分类结果。
示例性地，分类头是用于根据编码特征对待测图像进行分类，从而区分待测图像属于可评分图像或者不可评分图像的网络结构。分类头可选择全连接(可以称为FC或classify)模块实现分类功能。在一个实施例中，可以选择编码器模块其中一个或多个卷积模块提取的特征输入到分类头中。例如，将第一卷积模块提取的特征输入到分类头中，并利用该特征进行分类。替代地，可以选择编码器模块中的多个卷积模块提取的特征分别输入到分类头中。例如，将第一卷积模块、第二卷积模块和第三卷积模块提取的特征一起输入到分类头中，并利用该特征进行分类。又替代地，可以选择编码器模块最后一个卷积模块的特征输入到分类头中，并利用该特征进行分类。编码器模块最后一个卷积模块的特征可以代表待测图像最深层的全图特征，基于该特征能够得到最准确的分类结果。因此，优选采用编码器模块最后一个卷积模块的特征对待测图像进行分类。
根据上述技术方案，在清洁度评价模型中，以编码器模块作为backbone，解码器模块和分类头共享编码器模块提取的特征，这种方案所需的参数量少，有助于提高清洁度评价模型的训练和推理效率。
示例性地，编码器模块和分类头构成残差网络，编码器模块包括残差网络中的多个卷积模块，分类头包括残差网络中的全连接层，解码器模块采用U型网络中的解码器模块实现。
示例性地，可以在编码器模块的最后一个卷积模块后接入分类头构成残差网络，从而将提取到的图像特征输入到分类头中进行分类。在一个实施例中，编码器模块采用ResNet50神经网络中除全连接模块以外的网络结构实现。分类头可采用ResNet50神经网络中的全连接模块实现。ResNet50神经网络具有五个阶段(stage)，即stage0、stage1、stage2、stage3和stage4。每个stage可以视为是一个卷积模块。可以将stage4提取到的特征输入到后续的全连接层Classify中做二分类，从而对待测图像是否可评分进行判定。
示例性地，分割网络由编码器模块和解码器模块配合构成。编码器模块每一卷积模块提取的特征输入到解码器模块中，解码器模块对这些特征进行逐步的上采样操作，使各个特征图逐步恢复为与待测图像大小相同的特征图。然后，解码器模块对这些特征图进行反卷积，并将反卷积后的特征图在通道上拼接得到整体特征图。在一个实施例中，采用ResNet50神经网络替换U-Net神经网络的下采样部分。首先，利用ResNet50神经网络的stage0、stage1、stage2、stage3和stage4分别提取特征图。然后，将特征图通过跳跃连接输入到U-Net神经网络的上采样部分。U-Net神经网络对这些特征图进行反卷积，并将反卷积后的特征图在通道上拼接融合得到整体特征图。该整体特征图上的掩膜区域即表示内容物所在的区域。
残差网络容易训练，结构灵活，可以通过简单地增加网络深度来提高网络精度。同时，U-Net本身也是一种简单高效的网络模型。因此，根据上述技术方案，通过保留残差网络中的全连接层作为分类头，将残差网络的卷积模块、分类头与U-Net的解码器模块相结合，不仅能够利用一个模型实现待测图像是否可评分和内容物的识别，同时还可以结合残差网络与U-Net的优势，获得一种简单高效、准确率高、训练方便的清洁度评价模型。
图2示出了根据本发明一个实施例的对待测图像进行分类和分割的示意性流程图。如图2所示，采用ResNet50神经网络替换U-Net神经网络的下采样部分。其包括两个部分，即分类部分和分割部分。其中，分类部分用来区分图像是否可以评分，分割部分对可评分图像的不清洁物(内容物)部分进行识别，得到不清洁物的掩膜(mask)。分类部分的步骤为，图像输入ResNet50神经网络中，分别经stage0、stage1、stage2、stage3和stage4提取特征。stage4提取到的特征输入到全连接层(Full connect)Classify中做二分类，以区分待测图像是否为可评分图像。分割部分的步骤为，将分类过程中stage0、stage1、stage2、stage3和stage4分别提取的特征经跳跃连接(copy)输入到U-Net神经网络的解码器模块中。其中，每一个stage对应的特征在输入U-Net神经网络后均进行反卷积转换，转换后的特征经上采样进入上一级stage对应的通道，与上一级stage的特征融合。例如，stage4提取的特征经conv3*3转换后接Relu函数输出。输出后的特征经Up-conv 2*2上采样，与stage3提取的特征融合。在上采样至最后一级时，融合后的特征经conv1*1转换后输出，所输出图像上的mask即为内容物所在位置。
示例性地，清洁度检测操作100还可以包括训练步骤S150，用于训练清洁度评价模型。其中清洁度评价模型的训练步骤可以包括步骤S151、步骤S152、步骤S153和步骤S154。
步骤S151，获取第一样本图像和对应的标注信息，标注信息包括分类标签，并且在分类标签指示第一样本图像是可评分图像的情况下，标注信息还包括第一分割标签，分类标签用于指示第一样本图像是可评分图像还是不可评分图像，第一分割标签用于指示待测图像中内容物所在的位置。
可以理解，第一样本图像的数量可以是一个或多个。比较可取的是，第一样本图像与待测图像的类型一致，例如同属于肠镜图像或胃镜图像等。当然，这也仅是示例，例如待测图像可以是肠镜图像，而第一样本图像可以是胃镜图像等。分类标签可以包括用于表示第一样本图像是可评分图像还是不可评分图像的类别信息。第一分割标签可以包括用于指示待测区域中内容物所在位置的位置信息。该类别信息和位置信息可以通过设备识别获得，也可以通过标注人员手动标注获得。例如，可以由标注人员以描迹的形式将粪便或者不透明液体等内容物的区域标注出来。标注人员所标注的可以是内容物的包络。可以将内容物的包络作为第一分割标签。可选地，还可以基于标注人员对内容物位置的标注结果自动生成二值化掩码图像，其中内容物所在区域的像素值设定为255，其他区域的像素值设定为0。可以将二值化掩膜图像作为第一分割标签。
步骤S152，将第一样本图像输入清洁度评价模型，获得第一样本图像对应的预测分类结果和预测分割结果，预测分类结果用于指示第一样本图像是可评分图像还是不可评分图像，预测分割结果用于指示待测图像中内容物所在的位置。
示例性地，初始的清洁度评价模型可采用采用ResNet50神经网络和U-Net神经网络融合得到。具体的融合方式在上述实施例中已详细叙述，此处不再赘述。将第一样本图像输入到清洁度评价模型中，清洁度评价模型对该样本图像进行特征提取，并基于特征对第一样本图像进行分类和图像分割，从而得到预测分类结果和预测分割结果。第一样本图像所对应的预测分类结果和预测分割结果与待测图像所对应的分类结果和分割结果的意义及其获得方式是类似的，可以参照上文理解步骤S152的实现方式，此处不再赘述。
步骤S153，在分类标签指示第一样本图像是可评分图像的情况下，基于分类标签和预测分类结果计算第一分类损失，基于第一分割标签和预测分割结果计算分割损失，并基于第一分类损失和分割损失对清洁度评价模型的参数进行优化。
示例性地，本文所述的分类损失(包括第一分类损失和第二分类损失)用于表示分类误差，该分类损失可以基于预测分类结果和分类标签间的差异得到。在第一样本图像是可评分图像时，对应的分类损失是第一分类损失，在第一样本图像是不可评分图像时，对应的分类损失是第二分类损失。本文采用的术语“第一”和“第二”主要是为了区分，并不具有顺序等其他特殊含义。第一分类损失和第二分类损失可以基于同样的损失函数计算，也可以基于不同的损失函数计算，但是二者都是用于表示预测分类结果与分类标签间的误差。
在一个实施例中，第一样本图像为多个，利用多个第一样本图像重复训练。例如，第一样本图像数量为100个，且100个第一样本图像的分类标签指示均为可评分图像(正样本)。将这100个第一样本图像输入到清洁度评价模型，获得的预测分类结果显示存在8个第一样本图像为不可评分图像，预测分类结果与分类标签间存在误差，根据误差即可得到第一分类损失。
示例性地，第一分类损失可采用二值交叉熵损失函数计算。其中ygt表示分类标签，ypre表示预测分类结果，Losscls1表示第一分类损失。
Losscls1＝-(ygtlog(ypre)+(1-ygt)log(1-ypre))。
示例性地，分割损失表示对内容所在位置的识别结果的误差。同样的，该分割损失也可以基于第一分割标签和预测分割结果的差异得到。在一个实施例中，可以采用diceloss损失函数计算分割损失，如下：
其中，Lossseg表示分割损失，pred∩true表示第一分割标签和预测分割结果之间交集元素的个数，pred∪true表示第一分割标签和预测分割结果的总的元素个数。
示例性地，在得到上述第一分类损失和分割损失后，可以利用两个损失得到总损失(第一总损失)。随后可以根据该第一总损失，利用反向传播和梯度下降算法对初始的清洁度评价模型中的参数进行优化。参数的优化可以迭代执行直至清洁度评价模型达到收敛状态。
示例性地，在得到第一分类损失后，可以基于第一分类损失Losscls1和分割损失Lossseg得到总损失Losssum。示例性地，总损失Losssum可以按照以下公式计算：
Losssum＝Losscls1+Lossseg。
步骤S154，在分类标签指示第一样本图像是不可评分图像的情况下，基于分类标签和预测分类结果计算第二分类损失，并基于第二分类损失对清洁度评价模型的参数进行优化。
示例性地，第二分类损失可以基于预测分类结果和分类标签间的差异得到。在一个实施例中，第一样本图像为多个，利用多个第一样本图像重复训练。例如，第一样本图像数量为100个，且100个第一样本图像的分类标签指示均为不可评分图像(负样本)。将这100个第一样本图像输入到清洁度评价模型，获得的预测分类结果显示存在8个第一样本图像为可评分图像，预测分类结果与分类标签间存在误差，根据误差即可得到第二分类损失。
示例性地，该第二分类损失可采用二值交叉熵损失函数计算。第二分类损失的计算方式与第一分类损失类似，此处不再赘述。
在得到第二分类损失之后，可以将第二分类损失作为总损失(第二总损失)。随后可以根据该第二总损失，利用反向传播和梯度下降算法对初始的清洁度评价模型中的参数进行优化。参数的优化可以迭代执行直至清洁度评价模型达到收敛状态。
示例性地，在基于多个第一样本图像进行损失计算和优化，且其中同时包含正样本和负样本的情况下，还可以将第一分类损失、第二分类损失和分割损失综合在一起得到总损失(第三总损失)。综合方式可以包括求和等。根据第三总损失，也可以利用反向传播和梯度下降算法对初始的清洁度评价模型中的参数进行优化。
当训练结束后，所获得的清洁度评价模型即可用于后续的图像清洁度评价，该阶段可以称为模型的推理阶段。
根据上述方案，在训练过程中，当图像的分类标签是“不可评分图像”时，不对分割损失Lossseg做计算，此时Losssum＝Losscls。当图像分类标签是“可评分图像”时，可以分别计算分类损失和分割损失然后求和，即Losssum＝Losscls+Lossseg。
示例性地，在后续推理阶段，可以先判断分类结果，如果分类结果是“不可评分图像”则直接返回。如果分类结果是“可评分图像”，则进一步处理分割结果，例如判断内容物的面积占比，并根据内容物的面积占比映射得到相应的清洁度评分。
根据上述技术方案，可以通过不同的分类标签对损失函数进行调整，从而提高了清洁度评价模型的效果。同时，通过基于第一分类损失、第二分类损失和分割损失，能够显著提高清洁度评价模型对图像的分类结果和分割结果准确性，从而能够利用准确的分割结果得到准确的清洁度评价结果。
示例性地，基于第一分类损失和分割损失对清洁度评价模型的参数进行优化，包括：基于预设权重对第一分类损失和分割损失进行加权求和或加权平均，获得总损失；基于总损失对清洁度评价模型的参数进行优化。
在一个实施例中，可根据第一分类损失和分割损失对清洁度评价模型的影响程度分配不同的权重。例如，设置第一分类损失Losscls1的权重为λ，分割损失的权重为γ，则损失函数Losssum可以表示为：
Losssum＝λLosscls1+γLossseg。
根据上述技术方案，通过对不同的损失设置预设权重，能够提高得到的总损失的准确度，从而能够利用该损失提高清洁度评价模型的准确度。
示例性地，第一分类损失和第二分类损失为交叉熵损失，分割损失为diceloss。具体的表示方式在上述实施例中已详细描述，为了简洁，此处不再赘述。
根据上述技术方案，通过利用交叉熵损失和diceloss分别表示分类损失和分割损失，能够提高分类损失和分割损失的准确性，进而利用分类损失和分割损失提高清洁度评价模型的准确度。
示例性地，基于分割结果确定待测图像的清洁度评分，包括：基于分割结果确定待测图像中内容物的面积；计算待测图像中内容物的面积与待测图像的总面积之间的第一比例；判断第一比例落入多种预设比例范围中的何种预设比例范围，其中，多种预设比例范围与多个预设清洁度评分一一对应；基于第一比例落入的特定预设比例范围，并基于预设比例范围与预设清洁度评分之间的对应关系，确定与特定预设比例范围对应的预设清洁度评分为待测图像的清洁度评分。
在上述通过掩码图像表示分割结果的实施例中，可以通过统计白色区域的面积来作为掩膜的面积，即内容物面积。然后计算内容物面积占待测图像的总面积的第一比例，并根据该比例作为清洁度评分的依据。
在一个实施例中，采用波士顿评分标准对肠镜图像进行评分。预设比例范围为多个，分别与清洁度评分0-3分相对应。例如，以r表示第一比例。r≤r1对应3分，r1＜r≤r2对应2分，r2＜r≤r3对应1分，r＞r3对应0分。此时，即可根据分割结果得到的内容物面积所占比例与各评分的对应关系确定待测图像的清洁度评分。具体例如，r1＝0.1，r2＝0.4，r3＝0.9。当第一比例r＜0.1时，清洁度评分为3分，当0.1≤r＜0.4时，清洁度评分为2分，当0.4≤r＜0.9时，清洁度评分为1分，当r≥0.9时，清洁度评分为0分。
根据上述技术方案，通过基于待测图像中内容物所占区域的比例确定清洁度的评价结果，能够避免人工评价的误差。因此上述技术方案能够显著提高对内窥镜所采集图像的清洁度评价的准确性。
示例性地，预设比例范围与预设清洁度评分之间的对应关系通过以下方式获得：获取多个第二样本图像各自对应的第二分割标签以及预设清晰度评分，其中，第二分割标签用于指示对应的第二样本图像中内容物所在的位置，多个第二样本图像所对应的预设清晰度评分包括多个预设清洁度评分；对于多个第二样本图像中的每个第二样本图像，基于该第二样本图像所对应的第二分割标签确定该第二样本图像中内容物的面积；计算该第二样本图像中内容物的面积与该第二样本图像的总面积之间的第二比例；基于多个第二样本图像各自对应的第二比例，确定预设比例范围与预设清洁度评分之间的对应关系。
示例性地，第二样本图像可以通过单独采集获得，也可以直接采用第一样本图像作为第二样本图像。与第一分割标签类似，第二分割标签也可以通过设备识别或者标注人员手动标注获得。
示例性地，该预设清晰度评分可采用波士顿评分标准或渥太华评分标准，也可根据需要自行确定。在一个实施例中，首先，获取多个第二样本图像，多个第二样本图像上均标注有各自的第二分割标签以及预设清洁度评分。其中，多个预设清洁度评分中的每个预设清洁度评分对应于至少一个第二样本图像。
针对获取的每个第二样本图像，可以基于对应的分割标签计算内容物的面积及在图像总面积中所占的第二比例。进而确定预设比例范围与预设清洁度评分之间的对应关系。例如，采用波士顿评分标准对肠镜图像评分。此时评分等级有四级，即0、1、2、3分，分数越高，第二比例越小。第二样本图像可采集例如10个，其对应的预设清晰度评分依次为3、3、2、2、1、1、1、1、0、0分。基于各第二样本图像的第二分割标签确定内容物的面积，并根据内容物面积确定第二比例。假设第二比例依次为1％、10％、27％、35％、40％、60％、70％、80％、90％、95％。最后根据上述第二比例与预设清晰度评分得到预设比例范围与预设清洁度评分之间的对应关系。即0分对应第二分割标签所确定的内容物面积所占比例为90％～100％，1分对应第二分割标签所确定的内容物面积所占比例为40％～90％，2分对应第二分割标签所确定的内容物面积所占比例为10％～40％，3分对应第二分割标签所确定的内容物面积所占比例为0～10％。
根据上述技术方案，能够得到预设比例范围与预设清洁度评分之间准确的对应关系，从而基于该对应关系提高对待测图像清洁度评价的准确性。
示例性地，待测图像的数目是多个，多个待测图像属于多种不同检查区域，方法还包括：将与多种不同检查区域分别对应的清洁度评分加权求和或加权求平均，获得总清洁度评分。
示例性地，以肠镜为例，可将检查区域分为直肠-乙状结肠、横结肠-降结肠、升结肠-盲肠三段区域，分别利用对应三段区域的三个待测图像获得对应的清洁度评分，并根据三个待测图像的三个清洁度评分进行加权求和或加权求平均，得到肠道总清洁度评分。
示例性地，可以根据不同的检查区域设置不同的权重。在一个实施例中，根据上述在肠镜检查中分为三段区域检查的实施例，可以设定如下标准：总清洁度评分大于2分，清洁度检测结果为清洁；总清洁度评分小于或等于2分，清洁度检测结果为不清洁。对直肠-乙状结肠段的权重值设置为30％，对横结肠-降结肠的权重值设置为50％，升结肠-盲肠的权重值设置为20％。若直肠-乙状结肠段的清洁度评分为2分，横结肠-降结肠的清洁度评分为3分，升结肠-盲肠的清洁度评分为1分，则总清洁度评分＝2*30％+3*50％+1*20％＝2.3分，此时可以判定肠道整体的清洁度检测结果为清洁。
根据上述技术方案，通过对不同检查区域的清洁度评分加权求和或加权求平均，提高了对待检查对象的总体清洁度评价的准确度。
示例性地，在待测图像为所述内窥镜针对目标检查区域实时采集得到的图像的情况下，在步骤S130，如果分类结果指示待测图像是可评分图像，则基于分割结果确定待测图像的清洁度评分之后，清洁度检测操作100还可以包括以下步骤：将清洁度评分与清洁度阈值进行比较；如果清洁度评分低于清洁度阈值，则对目标检查区域进行清洗。
清洁度阈值可以根据内窥镜检查时的精度确定。清洁度阈值越高，检查精度越高；清洁度阈值越低，检查精度越低。在上述采用波士顿评分标准对肠镜图像进行评分的实施例中，清洁度阈值可以设置为2分。当清洁度评分低于2分时，则对目标检查区域进行清洗。例如，可以直接通过内窥镜***对目标检查区域喷水，或者经内窥镜的器械通道伸入其他医疗器械对目标检查区域进行清洗。
根据上述技术方案，通过设置清洁度阈值，能够在目标检查区域清洁度评分过低时及时对目标检查区域进行清洗，从而能够使目标检查区域的清洁度满足要求，进而保证内窥镜检查的质量。
示例性地，清洁度检测方法还可以包括以下步骤。如果分类结果指示待测图像是不可评分图像，则执行对应的无评分反馈操作。
根据上述实施例，当待测图像为不可评分图像时，说明当前待测图像存在异常，此时可以执行对应的无评分反馈操作。示例性地，无评分反馈操作可以包括根据异常原因对内窥镜进行检查，如提示用户擦拭镜头、提示用户调整检测位置等措施。
根据上述技术方案，当待测图像是不可评分图像时，能够及时采取对应的无评分反馈操作。这样，可以在干扰过多无法准确评分时及时做出应对。
示例性地，无评分反馈操作包括：执行不宜评分操作，不宜评分操作可以包括以下一项或多项：删除待测图像；删除分割结果；输出提示信息。
示例性地，当确定待测图像为不可评分图像后，可以将当前图像删除，也可以删除当前的分割结果，从而减少计算机资源的占用。还可以通过提示信息提醒用户调整内窥镜的拍摄角度。提示信息可以为文字信息、图像信息或视频信息中的一种或多种，也可以为音频信息和/或灯光信息等。音频信息可以是诸如蜂鸣声等。灯光信息可以是诸如高频闪光灯信号等。当然，提示信息的形式都仅是示例，这些信息均可以采用其他合适的信息形式实现。替代地，还可以对内窥镜***本身进行检查，排除***故障。可以理解，上述操作没有顺序先后的限制，在执行时可以只执行其中一项，也可以同时执行多项。在上述方案中，在待测图像是不可评分图像的情况下，可以及时执行不宜评分操作。
根据上述技术方案，通过采用不宜评分操作，能够及时对清洁度检测异常的情况进行处理。
示例性地，在待测图像的数目未达到预设数目时，任一当前待测图像所对应的无评分反馈操作包括：返回获取内窥镜采集的待测图像的步骤，并针对位于当前待测图像之后的下一待测图像执行清洁度检测操作；
在待测图像的数目达到预设数目时，当前待测图像所对应的无评分反馈操作包括：如果预设数目的待测图像均是不可评分图像，则执行不宜评分操作，不宜评分操作可以包括执行以下一项或多项：删除预设数目的待测图像；删除预设数目的待测图像所对应的分割结果；输出提示信息。
在一个实施例中，可以根据需要设置执行不宜评分操作之前所需累积的属于不可评分图像的待测图像的数量。例如，假设预设数目为三个，若第一个待测图像为不可评分图像，则可以继续获取下一待测图像，即第二待测图像，针对第二个待测图像执行上述清洁度检测操作100。若第二个待测图像仍为不可评分图像，则可以继续获取下一待测图像，即第三个待测图像，针对第三个待测图像执行上述清洁度检测操作100。若第三个待测图像仍为不可评分图像，即可以执行以上不宜评分操作。换言之，若三个待测图像中存在至少一个待测图像为可评分图像，则可以不执行不宜评分操作。不宜评分操作的执行方式与上述实施例流程相同，为了简洁，此处不再赘述。
在上述技术方案中，考虑不可评分图像的累积数量。一开始不可评分图像少，则可以无需执行不宜评分操作，继续检测后续图像，如果累积多次之后待测图像仍然为不可评分图像，则可以执行不宜评分操作，以进行输出提示信息或检查内窥镜***等操作。这样，可以避免因单次检测的误差而频繁触发不宜评分操作的执行，减少***误操作或误提示等情况。
根据本发明的又一方面，还提供一种用于内窥镜的清洁度检测装置，该装置包括清洁度检测模块。图3示出了根据本发明一个实施例的清洁度检测模块300的示意性框图。如图3所示，该清洁度检测模块300可以包括：获取子模块310、输入子模块320和确定子模块330。
获取子模块310，用于获取内窥镜采集的待测图像。
输入子模块320，用于将待测图像输入清洁度评价模型，获得待测图像对应的分类结果和分割结果，分类结果用于指示待测图像是可评分图像还是不可评分图像，分割结果用于指示待测图像中内容物所在的位置。
确定子模块330，用于如果分类结果指示待测图像是可评分图像，则基于分割结果确定待测图像的清洁度评分。
示例性地，清洁度评价模型包括编码器模块、解码器模块和分类头。输入子模块320可以包括第一输入单元、第二输入单元和第三输入单元。
第一输入单元，用于将待测图像输入编码器模块，获得至少一组编码特征。
第二输入单元，用于将至少一组编码特征输入解码器模块，获得分割结果。
第三输入单元，用于将至少一组编码特征中的至少部分组编码特征输入分类头，获得分类结果。
示例性地，编码器模块和分类头构成残差网络，编码器模块包括残差网络中的多个卷积模块，分类头包括残差网络中的全连接层，解码器模块采用U型网络中的解码器模块实现。
示例性地，清洁度检测模块300还包括用于训练清洁度评价模型的训练子模块。训练子模块可以包括获取单元、第四输入单元、第一优化单元和第二优化单元。
获取单元，用于获取第一样本图像和对应的标注信息，标注信息包括分类标签，并且在分类标签指示第一样本图像是可评分图像的情况下，标注信息还包括第一分割标签，分类标签用于指示第一样本图像是可评分图像还是不可评分图像，第一分割标签用于指示待测图像中内容物所在的位置。
第四输入单元，用于将第一样本图像输入清洁度评价模型，获得第一样本图像对应的预测分类结果和预测分割结果，预测分类结果用于指示第一样本图像是可评分图像还是不可评分图像，预测分割结果用于指示待测图像中内容物所在的位置。
第一优化单元，用于在分类标签指示第一样本图像是可评分图像的情况下，基于分类标签和预测分类结果计算第一分类损失，基于第一分割标签和预测分割结果计算分割损失，并基于第一分类损失和分割损失对清洁度评价模型的参数进行优化。
第二优化单元，用于在分类标签指示第一样本图像是不可评分图像的情况下，基于分类标签和预测分类结果计算第二分类损失，并基于第二分类损失对清洁度评价模型的参数进行优化。
示例性地，第一优化单元可以包括总损失获得子单元和优化子单元。总损失获得子单元，用于基于预设权重对第一分类损失和分割损失进行加权求和或加权平均，获得总损失；优化子单元，用于基于总损失对清洁度评价模型的参数进行优化。
示例性地，确定子模块330可以包括第一确定单元、计算单元、判断单元和第二确定单元。
第一确定单元，用于基于分割结果确定待测图像中内容物的面积。
计算单元，用于计算待测图像中内容物的面积与待测图像的总面积之间的第一比例。
判断单元，用于判断第一比例落入多种预设比例范围中的何种预设比例范围，其中，多种预设比例范围与多个预设清洁度评分一一对应。
第二确定单元，用于基于第一比例落入的特定预设比例范围，并基于预设比例范围与预设清洁度评分之间的对应关系，确定与特定预设比例范围对应的预设清洁度评分为待测图像的清洁度评分。
示例性地，预设比例范围与预设清洁度评分之间的对应关系通过以下方式获得：获取多个第二样本图像各自对应的第二分割标签以及预设清晰度评分，其中，第二分割标签用于指示对应的第二样本图像中内容物所在的位置，多个第二样本图像所对应的预设清晰度评分包括多个预设清洁度评分；对于多个第二样本图像中的每个第二样本图像，基于该第二样本图像所对应的第二分割标签确定该第二样本图像中内容物的面积；计算该第二样本图像中内容物的面积与该第二样本图像的总面积之间的第二比例；基于多个第二样本图像各自对应的第二比例，确定预设比例范围与预设清洁度评分之间的对应关系。
示例性地，在所述待测图像为所述内窥镜针对目标检查区域实时采集得到的图像的情况下，该清洁度检测模块300还可以包括比较子模块和清洗子模块。
比较子模块，用于在确定子模块330如果分类结果指示待测图像是可评分图像，则基于分割结果确定待测图像的清洁度评分之后，将清洁度评分与清洁度阈值进行比较。
清洗子模块，用于如果清洁度评分低于清洁度阈值，则对目标检查区域进行清洗。
示例性地，该清洁度检测模块300还可以包括执行子模块。执行子模块用于如果分类结果指示待测图像是不可评分图像，则执行对应的无评分反馈操作。
示例性地，无评分反馈操作包括：执行不宜评分操作，不宜评分操作包括以下一项或多项：删除待测图像；删除分割结果；输出提示信息。
示例性地，在待测图像的数目未达到预设数目时，任一当前待测图像所对应的无评分反馈操作包括：返回获取内窥镜采集的待测图像的步骤，并针对位于当前待测图像之后的下一待测图像执行清洁度检测操作；在待测图像的数目达到预设数目时，当前待测图像所对应的无评分反馈操作包括：如果预设数目的待测图像均是不可评分图像，则执行不宜评分操作，不宜评分操作包括以下一项或多项：删除预设数目的待测图像；删除预设数目的待测图像所对应的分割结果；输出提示信息。
根据本发明的又一方面，还提供了一种电子设备。图4示出了根据本发明一个实施例的电子设备400的示意性框图。如图4所示，该电子设备400包括处理器410和存储器420。其中，存储器420中存储有计算机程序指令，计算机程序指令被处理器410运行时用于执行上述清洁度检测方法。
根据本发明的再一方面，还提供了一种存储介质。在存储介质上存储了程序指令，程序指令在运行时用于执行上述清洁度检测方法。存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上述有关清洁度检测方法的相关描述，可以理解上述清洁度检测装置、电子设备和存储介质的具体实现方案，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的清洁度检测装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种用于内窥镜的清洁度检测方法，其特征在于，所述方法包括清洁度检测操作，所述清洁度检测操作包括：
获取所述内窥镜采集的待测图像；
将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，所述分类结果用于指示所述待测图像是可评分图像还是不可评分图像，所述分割结果用于指示所述待测图像中内容物所在的位置；
如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分。
2.根据权利要求1所述的方法，其特征在于，所述清洁度评价模型包括编码器模块、解码器模块和分类头，所述将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，包括：
将所述待测图像输入所述编码器模块，获得至少一组编码特征；
将所述至少一组编码特征输入所述解码器模块，获得所述分割结果；
将所述至少一组编码特征中的至少部分组编码特征输入所述分类头，获得所述分类结果。
3.根据权利要求2所述的方法，其特征在于，所述编码器模块和所述分类头构成残差网络，所述编码器模块包括所述残差网络中的多个卷积模块，所述分类头包括所述残差网络中的全连接层，所述解码器模块采用U型网络中的解码器模块实现。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述清洁度评价模型通过以下方式训练获得：
获取第一样本图像和对应的标注信息，所述标注信息包括分类标签，并且在所述分类标签指示所述第一样本图像是可评分图像的情况下，所述标注信息还包括第一分割标签，所述分类标签用于指示所述第一样本图像是可评分图像还是不可评分图像，所述第一分割标签用于指示所述待测图像中内容物所在的位置；
将所述第一样本图像输入所述清洁度评价模型，获得所述第一样本图像对应的预测分类结果和预测分割结果，所述预测分类结果用于指示所述第一样本图像是可评分图像还是不可评分图像，所述预测分割结果用于指示所述5待测图像中内容物所在的位置；
在所述分类标签指示所述第一样本图像是可评分图像的情况下，基于所述分类标签和所述预测分类结果计算第一分类损失，基于所述第一分割标签和所述预测分割结果计算分割损失，并基于所述第一分类损失和所述分割损失对所述清洁度评价模型的参数进行优化；
0在所述分类标签指示所述第一样本图像是不可评分图像的情况下，基于所述分类标签和所述预测分类结果计算第二分类损失，并基于所述第二分类损失对所述清洁度评价模型的参数进行优化。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一分类损失和所述分割损失对所述清洁度评价模型的参数进行优化，包括：5基于预设权重对所述第一分类损失和所述分割损失进行加权求和或加权平均，获得总损失；
基于所述总损失对所述清洁度评价模型的参数进行优化。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述分割结果确定所述待测图像的清洁度评分，包括：
0基于所述分割结果确定所述待测图像中内容物的面积；
计算所述待测图像中内容物的面积与所述待测图像的总面积之间的第一比例；
判断所述第一比例落入多种预设比例范围中的何种预设比例范围，其中，所述多种预设比例范围与多个预设清洁度评分一一对应；
5基于所述第一比例落入的特定预设比例范围，并基于预设比例范围与预设清洁度评分之间的对应关系，确定与所述特定预设比例范围对应的预设清洁度评分为所述待测图像的清洁度评分。
7.根据权利要求6所述的方法，其特征在于，所述预设比例范围与预设清洁度评分之间的对应关系通过以下方式获得：
获取多个第二样本图像各自对应的第二分割标签以及预设清晰度评分，其中，所述第二分割标签用于指示对应的第二样本图像中内容物所在的位置，所述多个第二样本图像所对应的预设清晰度评分包括所述多个预设清洁度评分；
对于所述多个第二样本图像中的每个第二样本图像，
基于该第二样本图像所对应的第二分割标签确定该第二样本图像中内容物的面积；
计算该第二样本图像中内容物的面积与该第二样本图像的总面积之间的第二比例；
基于所述多个第二样本图像各自对应的第二比例，确定所述预设比例范围与预设清洁度评分之间的对应关系。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述待测图像为所述内窥镜针对目标检查区域实时采集得到的图像；则，在所述如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分之后，所述方法还包括：
将所述清洁度评分与清洁度阈值进行比较；
如果所述清洁度评分低于所述清洁度阈值，则对所述目标检查区域进行清洗。
9.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
如果所述分类结果指示所述待测图像是不可评分图像，则执行对应的无评分反馈操作。
10.根据权利要求9所述的方法，其特征在于，所述无评分反馈操作包括：执行不宜评分操作，所述不宜评分操作包括以下一项或多项：删除所述待测图像；删除所述分割结果；输出提示信息。
11.根据权利要求9所述的方法，其特征在于，
在所述待测图像的数目未达到预设数目时，任一当前待测图像所对应的所述无评分反馈操作包括：返回所述获取所述内窥镜采集的待测图像的步骤，并针对位于所述当前待测图像之后的下一待测图像执行所述清洁度检测操作；
在所述待测图像的数目达到所述预设数目时，当前待测图像所对应的所述无评分反馈操作包括：如果所述预设数目的待测图像均是不可评分图像，则执行不宜评分操作，所述不宜评分操作包括以下一项或多项：删除所述预设数目的所述待测图像；删除所述预设数目的所述待测图像所对应的分割结果；输出提示信息。
12.一种用于内窥镜的清洁度检测装置，其特征在于，所述装置包括清洁度检测模块，所述清洁度检测模块包括：
获取子模块，用于获取所述内窥镜采集的待测图像；
输入子模块，用于将所述待测图像输入清洁度评价模型，获得所述待测图像对应的分类结果和分割结果，所述分类结果用于指示所述待测图像是可评分图像还是不可评分图像，所述分割结果用于指示所述待测图像中内容物所在的位置；
确定子模块，用于如果所述分类结果指示所述待测图像是可评分图像，则基于所述分割结果确定所述待测图像的清洁度评分。
13.一种电子设备，包括处理器和存储器，存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如权利要求1-11任一项所述的用于内窥镜的清洁度检测方法。
14.一种存储介质，存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-11任一项所述的用于内窥镜的清洁度检测方法。
CN202211707166.8A 2022-12-29 2022-12-29 用于内窥镜的清洁度检测方法及装置、电子设备和介质 Active CN116977253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211707166.8A CN116977253B (zh) 2022-12-29 2022-12-29 用于内窥镜的清洁度检测方法及装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211707166.8A CN116977253B (zh) 2022-12-29 2022-12-29 用于内窥镜的清洁度检测方法及装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN116977253A true CN116977253A (zh) 2023-10-31
CN116977253B CN116977253B (zh) 2024-03-19

Family

ID=88473729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211707166.8A Active CN116977253B (zh) 2022-12-29 2022-12-29 用于内窥镜的清洁度检测方法及装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN116977253B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974668A (zh) * 2024-04-02 2024-05-03 青岛美迪康数字工程有限公司 基于ai的新型胃黏膜可视度评分量化方法、装置和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007175432A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
CN109740608A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于深度学习的图像分割方法
CN110916606A (zh) * 2019-11-15 2020-03-27 武汉楚精灵医疗科技有限公司 一种基于人工智能的实时肠道清洁度评分***和方法
CN111696083A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
US20210158100A1 (en) * 2019-11-27 2021-05-27 Fujifilm Corporation Image learning device, image learning method, neural network, and image classification device
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备
CN113658179A (zh) * 2021-10-19 2021-11-16 武汉大学 肠道清洁度的检测方法及装置
CN114241557A (zh) * 2021-12-13 2022-03-25 深圳绿米联创科技有限公司 图像识别方法、装置及设备、智能门锁及介质
CN115082448A (zh) * 2022-07-26 2022-09-20 青岛美迪康数字工程有限公司 肠道清洁度评分方法、装置和计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007175432A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
CN109740608A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于深度学习的图像分割方法
CN110916606A (zh) * 2019-11-15 2020-03-27 武汉楚精灵医疗科技有限公司 一种基于人工智能的实时肠道清洁度评分***和方法
US20210158100A1 (en) * 2019-11-27 2021-05-27 Fujifilm Corporation Image learning device, image learning method, neural network, and image classification device
CN111696083A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备
CN113658179A (zh) * 2021-10-19 2021-11-16 武汉大学 肠道清洁度的检测方法及装置
CN114241557A (zh) * 2021-12-13 2022-03-25 深圳绿米联创科技有限公司 图像识别方法、装置及设备、智能门锁及介质
CN115082448A (zh) * 2022-07-26 2022-09-20 青岛美迪康数字工程有限公司 肠道清洁度评分方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱宝鑫;肖志勇;宋威;: "改进的卷积神经网络在肺部图像上的分割应用", 计算机科学与探索, no. 08, pages 102 - 111 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974668A (zh) * 2024-04-02 2024-05-03 青岛美迪康数字工程有限公司 基于ai的新型胃黏膜可视度评分量化方法、装置和设备

Also Published As

Publication number Publication date
CN116977253B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US11164048B2 (en) Focus-weighted, machine learning disease classifier error prediction for microscope slide images
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN109829882B (zh) 一种糖尿病视网膜病变分期预测方法
CN111798416A (zh) 基于病理图像与深度学习的肾小球智能检测方法及***
CN112819821B (zh) 一种细胞核图像检测方法
CN110648303B (zh) 眼底图像分析方法、计算机设备和存储介质
CN111127426B (zh) 一种基于深度学习的胃黏膜清洁度评价方法及***
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的***
CN116977253B (zh) 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN113420745B (zh) 基于图像的目标识别方法、***、存储介质及终端设备
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及***
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
CN113610842B (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
CN111833321B (zh) 一种调窗优化增强的颅内出血检测模型及其构建方法
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
JP2023547169A (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
CN114037011A (zh) 一种中医舌色噪声标注样本的自动识别与清洗方法
WO2022201729A1 (ja) 画像診断システム及び画像診断方法
CN114882014A (zh) 基于双模型的眼底图像质量评价方法、装置及相关介质
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测***
JP7359163B2 (ja) 判別装置、細胞塊の判別方法、及びコンピュータプログラム
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN114581402A (zh) 胶囊内窥镜质检方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant