CN110176295A - 一种胃肠镜下部位和病灶的实时探测方法及其探测装置 - Google Patents

Abstract

本发明公开的一种胃肠镜下部位和病症的实时探测方法，包括以下步骤：1.同步获取胃肠镜设备所采集到的视频流数据；2.对预处理图像数据进行图像识别，并得到病灶特征图像和部位特征图像；3.一方面对病灶特征图像进行病灶标记，另一方面对部位特征图像进行部位标记；4.将病灶探测结果和部位探测结果在同步获取到的视频流数据上进行标识表达，并输出图文结果。本发明还公开了一种实现上述胃肠镜下部位和病症的实时探测方法的探测装置。本发明通过在同步视频流数据中对病灶特征和部位特征进行同步标记，并将同步标记的结果统计分析后输出图文结果，有效地减少和避免视频中的漏诊和误诊，优化医生编辑报告的六层，极大地降低医生的工作强度。

Description

一种胃肠镜下部位和病灶的实时探测方法及其探测装置

技术领域

本发明涉及深度学习技术领域，尤其涉及一种胃肠镜下部位和病灶的实时探测方法及其探测装置。

背景技术

常规胃镜肠镜检查是临床医生发现患者消化道疾病的重要方法和途径。近年来，随着计算机运算能力的极大提高和医院图像数据库的建设和积累，基于深度学习算法的探测模型在医疗影像分析领域发挥出强大的优势，逐渐进入临床应用中。

我们深入研究现实中的胃肠镜操作流程时发现操作医师的工作难度和强度非常之大。社会背景是我国的医保范围逐年扩大，内镜医师数量缺口大，培养周期长，各个大中小型医院行进行常规内窥镜检查操作的医师都处于超负荷状态，医生常规完成一次内窥镜检查的时间大约为6～15分钟。检查结果受到操作医师的师资经验、熟练程度、精神状态、疲劳程度等各种因素影响，这将导致医师很难做到对病变和部位的准确采集、内镜报告全面详实的记录。漏诊和误诊在所难免。

目前公开的相关内窥镜辅助诊断模块及***，大多数采用深度卷积神经网络方法。例如，专利申请号为201810690051.X的中国发明专利申请公开的一种胃镜图像自动采集***及方法。但是，随着研究的深入和广泛，深度学习在通用性、灵活性和适应性上与人类视觉***相比，还有很大差距。而在遇到复杂的自然图像时，深度学习可能还会遇到机制性困难。因此，针对具体研究的医疗手术操作流程特点、人体器官动态变化和病灶图像特征，不能套用简单的流行算法，而需要开发自主的组合算法。为此，本申请人经过有益的探索和研究，找到了解决上述问题的方法，下面将要介绍的技术方案便是在这种背景下产生的。

发明内容

本发明所要解决的技术问题之一在于：针对现有技术的不足而提供一种减少和避免视频中的漏诊和误诊、简化医生寻找和采集病变图像的步骤、优化医生编辑报告的胃肠镜下部位和病灶的实时探测方法。

本发明所要解决的技术问题之二在于：提供一种实现上述胃肠镜下部位和病症的实时探测方法的探测装置。

作为本发明第一方面的一种胃肠镜下部位和病症的实时探测方法，包括以下步骤：

步骤S10，同步获取胃肠镜设备所采集到的视频数据，并对获取到的视频数据进行预处理，形成预处理图像数据；

步骤S20，采用深度神经网络组合模型对所述预处理图像数据进行图像识别处理，从所述预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像；

步骤S30，一方面按类型和形态特征对所述病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对所述部位特征图像中的单一部位进行部分筛选和分类，并使用Graph Scribbline工具对同类型的部位进行部分标记，以生成部位特征标记；

步骤S40，将所述病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。

在本发明的一个优选实施例中，在所述步骤S10中，所述对获取到的视频数据进行预处理，包括以下步骤：

步骤S11，从视频数据中按照一定的频率获取获取视频输入图像；

步骤S12，判断获取到的视频输入图像的内容属于正常或者异常，若判断为属于异常，则进入步骤S13，若判断为正常，则进入步骤S14；

步骤S13，对获取到的视频输入图像进行降噪处理，继而进入步骤S14；

步骤S14，将获取到的视频输入图像或者降噪处理后的视频输入图像作为预处理图像数据进行输出。

在本发明的一个优选实施例中，在所述步骤S12中，判断视频输入图像属于异常的情况包括以下一项或多项内容：A.视频输入图像的同步信息存在异常；B.视频输入图像的类型不属于探测类型；C.视频输入图像的长与宽的比例存在异常；D.视频输入图像的长与宽的比例正常，但具体尺寸超出预定阈值范围；E.视频输入图像的运动速率超出预定阈值范围；F.视频输入图像的灰度超出预定阈值范围。

在本发明的一个优选实施例中，在所述步骤S20中，所述深度神经网络组合模型包括部位特征探测CNN模型和病灶特征探测CNN模型；所述部位特征探测CNN模型用于实时探测预处理图像数据中具有典型部位特征的概率，并输出具备预定概率的部位特征的探测结果；所述病灶特征探测CNN模型用于实时探测预处理图像数据中具有典型病灶特征的概率，并输出具备预定概率的部位特征的探测结果。

作为本发明第二方面的一种实现上述胃肠镜下部位和病症的实时探测方法的探测装置，包括：

视频获取模块，所述视频获取模块用于同步获取胃肠镜设备所采集到的视频流数据，并对获取到的视频流数据进行预处理；

视频探测模块，所述视频探测模块用于采用深度神经网络组合模型对所述预处理图像数据进行图像识别处理，从所述预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像；

图像标记模块，所述图像标记模块用于一方面按类型和形态特征对所述病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对所述部位特征图像中的单一部位进行部分筛选和分类，并使用Graph Scribbline工具对同类型的部位进行部分标记，以生成部位特征标记；以及

探测输出模块，所述探测输出模块用于将所述病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。

由于采用了如上技术方案，本发明的有益效果在于：本发明通过在同步视频流数据中对病灶特征和部位特征进行同步标记，并将视频数据进行实时显示，同时将同步标记的结果统计分析后输出图文结果，有效地减少和避免视频中的漏诊和误诊，简化了医生寻找和采集病变图像的步骤，优化医生编辑报告，极大地降低医生的工作强度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程示意图。

图2是本发明的对视频数据进行预处理的流程示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，图中给出的是一种胃肠镜下部位和病症的实时探测方法，包括以下步骤：

步骤S10，同步获取胃肠镜设备所采集到的视频数据，并对获取到的视频数据进行预处理，形成预处理图像数据；

步骤S20，采用深度神经网络组合模型对所述预处理图像数据进行图像识别处理，从预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像；

步骤S30，一方面按类型和形态特征对所述病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对所述部位特征图像中的单一部位进行部分筛选和分类，并使用Graph Scribbline工具对同类型的部位进行部分标记，以生成部位特征标记；

步骤S40，将所述病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。

以下对上述的各个步骤进行详细说明：

在步骤S10中，参见图2，对获取到的视频数据进行预处理，包括以下步骤：

步骤S11，从视频数据中按照一定的频率获取视频输入图像。

步骤S12，判断获取到的视频输入图像的内容属于正常或者异常，若判断为属于异常，则进入步骤S13，若判断为正常，则进入步骤S14。其中，当视频输入图像包括以下一项或多项内容时则被判断为属于异常的情况：A.视频输入图像的同步信息存在异常；B.视频输入图像的类型不属于探测类型；C.视频输入图像的长与宽的比例存在异常；D.视频输入图像的长与宽的比例正常，但具体尺寸超出预定阈值范围；E.视频输入图像的运动速率超出预定阈值范围；F.视频输入图像的灰度超出预定阈值范围。

步骤S13，对获取到的视频输入图像进行降噪处理，继而进入步骤S14。这里的降噪处理的目的是为了规范数据，压制图像噪声，提高后续步骤的精度。

步骤S14，将获取到的视频输入图像或者降噪处理后的视频输入图像作为预处理图像数据进行输出。

在步骤S20中，深度神经网络组合模型包括部位特征探测CNN模型和病灶特征探测CNN模型。部位特征探测CNN模型用于实时探测预处理图像数据中具有典型部位特征的概率，并输出具备预定概率的部位特征的探测结果。病灶特征探测CNN模型用于实时探测预处理图像数据中具有典型病灶特征的概率，并输出具备预定概率的部位特征的探测结果。

其中，预定概率是指对检测特异度指标的调节，使得该深度神经网络组合模型保持适度假阳性的重要指标，其是临床专家团队为了提高模型对病灶提示的敏感性和特异性，在对比分析肉眼判断图像和AI模型判断的图像的差异的基础上，对病灶特征探测CNN模型或部位特征探测CNN模型的每个分类的输出图像概率进行针对性调整。在本实施例中，预定概率的目标值在0.801-0.999之间。预定概率的调整因素有：a.训练集和测试集的图像数量；b.用户(操作医生)对模型的敏感性和特异性的目标值；c.保持高敏感性和适度假阳性病灶之间的比例；d.保持高特异性的比例；e.其他临床应用标准。

在本实施例中，部位特征探测CNN模型和病灶特征探测CNN模型均基于CNN卷积神经网络模型进行构建，CNN卷积神经网络模型为开源算法，属于本领域公知技术，在此不再进行详述。

典型部位包括食管和胃内壁的35种典型部位以及肠道内壁16种典型部位。食管和胃内壁的35种典型部位具体包括：口咽部、食管上段、食管中段、食管下段、贲门闭合、贲门口、齿状线、贲门胃体交界、胃底前壁(正镜+倒镜)、胃底后壁(正镜+倒镜)、胃底大弯(正镜+倒镜)、胃底小弯(正镜+倒镜)、胃体上部前壁(正镜+倒镜)、胃体上部后壁(正镜+倒镜)、胃体上部大弯(正镜+倒镜)、胃体上部小弯(正镜+倒镜)、胃体中部(正镜+倒镜)、胃体下部前壁(正镜+倒镜)、胃体下部后壁(正镜+倒镜)、胃体下部大弯(正镜+倒镜)、胃体下部小弯(正镜+倒镜)、胃角前壁、胃角后壁、胃角小弯、胃角胃窦交界、胃窦大弯、胃窦前壁、胃窦后壁、胃窦小弯、幽门侧，幽门管，十二指肠球部、十二指肠球降交界、十二指肠降部，十二指肠水平部。肠道内壁的16种典型部位具体包括：肛周、肛管、Rb、Ra、Rs、乙状结肠、降乙交界、降结肠、脾曲、横结肠、肝曲、升结肠、回盲部、回盲瓣、阑尾孔、回肠末端。

在步骤S30中，病灶特征标记基于监督学习算法(Supervised LearningAlgorithms)的基础上进行实现，该监督学习算法为基于Imagelabeline的CNN模型，其是由训练数据集学到或建立一个学习模式(learning model)，并依此模式推测新的实例。该算法要求特定的输入/输出，需要决定使用哪种数据作为范例。在这种情况下，每一学习模式，应归属的类别是已知的。监督学习算法可以缩短学习时间，同时也能提高分类精度。监督学习算法主要包括神经网络、支持向量机、最近邻居法、朴素贝叶斯法、决策树等。

此外，在对病灶特征图像中的病灶特征进行标记的过程中，还可采用Recovering工具对因球面像差等原因造成的难以辨认的病灶特征进行判断，准确把握病灶的状态，提高标记的准确率。具体地，Recovering工具对病灶特征的判断过程为：1.远景标记；2.近景侧向(0-15度)标记；3.近景俯视(70-90度)标记；4.判断病灶的分型。

在步骤S30中，部位特征标记基于半监督学习算法(Semi-Supervised LearningAlgorithms)的基础上进行实现，该半监督学习算法为基于能量优化算法GraphScribbline的CNN模型，其是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，从事图像标记的人员将会减少，同时训练的结果将更接近充斥不确定性的现实状况，训练预期将得到更高的准确度。部位特征标记中的部分筛选和部分标记是半监督学习算法的操作方法和特点，目的是弱化图像标记的指示性，提高接近真实操作的准确度。

在采用半监督学习算法对部位特征图像中的部位特征进行标记的过程中，先将部位特征图像的像素类别信息经由半监督学习算法传播至其他未标记的像素，完成所有训练图像的标记工作。其中，像素类别信息是经Graph Scribbline标记生成的图像信息；通过Graph Scribbline中能量函数的概率分配，完成对所有训练图像的分类。然后，再将部位标记的全部图像来训练CNN模型，实现CNN模型训练和预测部位图像。而在标记过程中，先生成super-pixel,然后基于Graph Scribbline的方法对所有的super-pixel进行标记。GraphScribbline的能量函数为：Graph cut的能量函数

E＝∑_iψ_i(y_i|X,S)+∑_i,jψ_ij(y_i,y_j,X)

其中，i,j为图像分割节点；y表示顶点像素，X表示相邻区域像素，S表示对应顶点权值；∑iψi(yi|X,S)表示区域数据项，∑i,jψij(yi,yj,X)表示边界平滑项。

能量函数包括两部分，一部分是Graph Scribbline能量优化算法，另一部分是部位特征判别CNN对该super-pixel预测的概率。整个最优化过程就是求graph cut能量函数和部位特征探测CNN参数联合算出最优值的过程：

其中，i,j为图像分割节点；y表示顶点像素，X表示相邻区域像素，S表示对应顶点权值；Ф表示部位特征探测CNN模型的参数。

上式的最优化是通过交替求和的最优值来实现。

在步骤S40中，将病灶特征标记在同步获取到的视频数据上进行标识表达，包括以下四种情况：

1.基于Imagelabeline的CNN模型探测不到病灶，则不输出结果。

2.基于Imagelabeline的CNN模型到某类病灶，随着视频图像的运动，探测概率到达预定概率时，输出病灶文字内容到视频画面。

3.基于Imagelabeline的CNN模型到某类病灶，以不同颜色的曲线(实线或者虚线)输出病灶文字内容到视频画面。

4.基于Imagelabeline的CNN模型到某类病灶，调用对应的语音文本，经外置音响设备同步播放。

管理员也可以根据上述四种情况的输出频率和表达方式进行调整。

在步骤S40中，将部位特征标记在同步获取到的视频数据上进行标识表达，包括以下四种情况：

1.基于Graph Scribbline的CNN模型探测不到部位，则不输出结果。

2.基于Graph Scribbline的CNN模型到某类部位，随着视频图像的运动，探测概率到达预定概率时，输出病灶文字内容到视频画面。

3.基于Graph Scribbline的CNN模型到某类部位，以不同颜色的曲线(实线或者虚线)输出病灶文字内容到视频画面。

4.基于Graph Scribbline的CNN模型到某类部位，调用对应的语音文本，经外置音响设备同步播放。

管理员也可以根据上述四种情况的输出频率和表达方式进行调整。

本发明的胃肠镜下部位和病症的实时探测方法的探测装置，包括视频获取模块、视频探测模块、图像标记模块以及探测输出模块。

视频获取模块可通过图像采集卡连接胃肠镜设备的3G-SDI接口，其用于同步获取胃肠镜设备所采集到的视频流数据，并对获取到的视频流数据进行预处理，形成预处理图像数据。

视频探测模块用于采用深度神经网络组合模型对预处理图像数据进行图像识别处理，从预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像。

图像标记模块用于一方面按类型和形态特征对病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对部位特征图像中的单一部位进行部分筛选和分类，并使用Graph Scribbline工具对同类型的部位进行部分标记，以生成部位特征标记。

探测输出模块用于将病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种胃肠镜下部位和病症的实时探测方法，其特征在于，包括以下步骤：

步骤S10，同步获取胃肠镜设备所采集到的视频数据，并对获取到的视频数据进行预处理，形成预处理图像数据；

步骤S20，采用深度神经网络组合模型对所述预处理图像数据进行图像识别处理，从所述预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像；

步骤S30，一方面按类型和形态特征对所述病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对所述部位特征图像中的单一部位进行部分筛选和分类，并使用Graph Scribbline工具对同类型的部位进行部分标记，以生成部位特征标记；

步骤S40，将所述病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。

2.如权利要求1所述的胃肠镜下部位和病症的实时探测方法，其特征在于，在所述步骤S10中，所述对获取到的视频数据进行预处理，包括以下步骤：

步骤S11，从视频数据中按照一定的频率获取获取视频输入图像；

步骤S12，判断获取到的视频输入图像的内容属于正常或者异常，若判断为属于异常，则进入步骤S13，若判断为正常，则进入步骤S14；

步骤S13，对获取到的视频输入图像进行降噪处理，继而进入步骤S14；

步骤S14，将获取到的视频输入图像或者降噪处理后的视频输入图像作为预处理图像数据进行输出。

3.如权利要求2所述的胃肠镜下部位和病症的实时探测方法，其特征在于，在所述步骤S12中，判断视频输入图像属于异常的情况包括以下一项或多项内容：A.视频输入图像的同步信息存在异常；B.视频输入图像的类型不属于探测类型；C.视频输入图像的长与宽的比例存在异常；D.视频输入图像的长与宽的比例正常，但具体尺寸超出预定阈值范围；E.视频输入图像的运动速率超出预定阈值范围；F.视频输入图像的灰度超出预定阈值范围。

4.如权利要求1所述的胃肠镜下部位和病症的实时探测方法，其特征在于，在所述步骤S20中，所述深度神经网络组合模型包括部位特征探测CNN模型和病灶特征探测CNN模型；所述部位特征探测CNN模型用于实时探测预处理图像数据中具有典型部位特征的概率，并输出具备预定概率的部位特征的探测结果；所述病灶特征探测CNN模型用于实时探测预处理图像数据中具有典型病灶特征的概率，并输出具备预定概率的部位特征的探测结果。

5.一种实现如权利要求1至4中任一项所述的胃肠镜下部位和病症的实时探测方法的探测装置，其特征在于，包括：

视频获取模块，所述视频获取模块用于同步获取胃肠镜设备所采集到的视频流数据，并对获取到的视频流数据进行预处理；

视频探测模块，所述视频探测模块用于采用深度神经网络组合模型对所述预处理图像数据进行图像识别处理，从所述预处理图像数据中识别出具有病灶特征的病灶特征图像和具有部位特征的部位特征图像；

图像标记模块，所述图像标记模块用于一方面按类型和形态特征对所述病灶特征图像中的单一病灶全部进行筛选和分类，并使用Imagelabeline工具对同类型的病灶进行全部标记，以生成病灶特征标记，另一方面按类型和形态特征对所述部位特征图像中的单一部位进行部分筛选和分类，并使用GraphScribbline工具对同类型的部位进行部分标记，以生成部位特征标记；以及

探测输出模块，所述探测输出模块用于将所述病灶特征标记和部位特征标记在同步获取到的视频数据上进行标识表达，并将经过标识表达的视频数据进行实时显示，同时将病灶特征标记和部位特征标记进行统计分析，输出图文结果。