CN108852268A - 一种消化内镜图像异常特征实时标记***及方法 - Google Patents

Abstract

本发明公开了一种消化内镜图像异常特征实时标记***及方法，该***包括图像获取模块、图像预处理模块、模型训练模块、异常检测模块与标记显示模块；模型训练模块包括图像数据集、分类模型训练单元和检测模型训练单元，利用深度学习CNN分类模型获取可疑胃部癌前疾病分类信息，利用深度学习CNN基于回归方法的目标检测模型快速准确获取病灶位置。利用本发明，有助于对消化内镜下胃部异常特征进行有效的分类和检测，能够减少基于医生长时间、主观诊断的漏诊率，并支持医生在实施内窥镜检查时实时分析、实时显示内窥镜下可疑病灶，降低医生工作负担，提高医疗诊断工作的效率。

Description

一种消化内镜图像异常特征实时标记***及方法

技术领域

本发明属于医疗数据挖掘领域，特别是涉及一种消化内镜图像异常特征实时标记***及方法。

背景技术

我国胃癌每年新发胃癌40.5万例、死亡32.5万例，分别占全球总量的42.6％和45.0％，降低我国胃癌发病率与死亡率是亟待解决的公共卫生问题。临床研究表明，胃癌的预后与治疗效果密切相关。对于患有进展期胃癌(advanced gastric cancer,AGC)的病人，即使接受以外科手术为主的胃癌切除手术，病人术后五年存活率仍低于30％，且病人术后生活质量低下，给家庭与社会带来极大的负担。如果患者在胃癌早期及时接受内镜检查与治疗，其五年存活率高达90％，甚至可以在内镜下对早期胃癌(early gastric cancer,EGC)进行根治性治疗。因此，早发现、早诊断、早治疗EGC，对降低胃癌发病率与死亡率，节约医疗资源具有重要意义。

胃的癌前疾病是指胃部的良性疾病，是引发胃癌的主要危险因素，其包括慢性萎缩性胃炎、胃息肉、胃溃疡、残胃以及疣状胃炎等。作为主要的胃癌前病变萎缩性胃炎，其癌变率为8.6～13.8％，我国为1.2～7.1％。已有的研究结果表明对胃癌前病变进行定期监测，可使早期胃癌的检出率超过50％。而胃溃疡有1-2％的癌变率。因此对有胃癌风险的癌前疾病患者应早期进行方便经济有效的监测，从而进行干预，减少胃癌的发生。

目前，胃癌前病变癌变的监测主要使用普通光学内镜活检技术。在内窥镜检查中，内镜视野狭小的问题常常给医生带来不便：如由于视野的限制，医生在检查中必须反复地在目标器官内壁表面移动镜头来确保所有的病灶均被发现以免带来漏诊。因此，发展一种可靠、快速辅助医生进行内窥镜检查尤其的面对大数据量的基于消化内窥镜图像的异常特征实时标记***非常必要，该***可用于辅助医生进行早期癌变筛查。

深度学习是机器学习中一种基于对数据进行表征学习的方法，卷积神经网络(Convolutional Neural Network，CNN)是一种深度学习前馈人工神经网络，被广泛应用于图像分类、分割和目标检测。CNN被广泛用于图片的特征提取和分类检测，尤其是基于候选区域的目标检测CNN，其识别精度一直在不断提高，但是由于要求上百万的模型训练参数，时间性能较低，难以满足在胃镜视频场景下实时检测胃镜图像的需求。

发明内容

本发明提供一种消化内镜图像异常特征实时标记***及方法。对消化内镜下胃部癌前疾病进行有效的分类和检测，能够减少基于医生长时间、主观诊断的漏诊率，并支持医生在实施内窥镜检查时实时分析、实时显示内窥镜下可疑病灶，降低医生工作负担，提高医疗诊断工作的效率。

一种消化内镜图像异常特征实时标记***，包括计算机***，所述计算机***包含：

图像获取模块，通过内窥镜图像***实时获取输入的胃部常规白光内窥镜视频流，剔除其中无效帧，筛选有效关键帧；

图像预处理模块，用于对筛选出的关键帧进行图像增强处理；

模型训练模块，用于对早期胃部癌前疾病内窥镜图和病灶位置信息进行模型训练，得到检测模型；

异常检测模块，用于将经过图像预处理的图像序列输入到训练完成的检测模型之中，得到胃部癌前疾病分类信息和病灶定位信息；

标记显示模块，将定位信息在图片序列上做出标记，并将标记映射到原始的输入胃部常规白光内窥镜视频流中，并对所述该胃部内镜视频流进行实时显示。

消化内镜图像异常特征主要包括：胃部息肉、胃部溃疡、胃部糜烂和胃部萎缩。

所述的图像获取模块在筛选有效关键帧时利用K-means算法从数据对象中随机选择k个对象作为初始聚类中心，根据最小距离准则对数据对象进行分类，通过该聚类算法，把图像库中的图像分为k类。

在做胃镜时，医生在病人的胃中会有各种操作，如充气、放气、清水冲洗、活检定标等，这些操作会不同程度上影响胃镜图像质量，将这些图像剔除或忽略将有效减少计算量，利用K-means算法筛选关键帧，可以大大加快关键帧提取的效率。

所述图像预处理模块中图像增强处理包括：图像归一化、无效像素裁剪、图像平滑、图像锐化和图像缩放。

所述的模型训练模块包括：

图像数据集，用于存储基于消化内镜的分类数据集和检测数据集；分类数据集包含多种早期胃部癌前疾病内窥镜图，检测数据集包含病灶位置信息；

分类模型训练单元，用于对所述分类数据集进行深度学习CNN分类模型的训练；

检测模型训练单元，用于以CNN分类模型作为预训练模型，以所述检测数据集作为训练集，进行基于回归方法的深度学习CNN目标检测模型的训练。

所述图像数据集在用于训练CNN模型前，通过平移变换、镜像翻转或随机裁剪进行数据扩增。该步骤可以进一步增强CNN的泛化能力，提升模型的训练效果

所述分类模型训练单元在进行深度学习CNN分类模型训练时，引入强化学习的方法以提高网络分类的准确度，使用逐层尺度归一化层对网络正则化，采用Dropout方法缓解过拟合的问题，采用ReLU激活函数避免梯度消失问题，通过迁移学习方式对分类模型的训练效率进行提升。

所述模型训练模块训练后得到的检测模型包括分类模型、辅助网络结构和目标检测模型；所述分类模型基于VGG-16框架，用于得到分类信息；所述辅助网络结构用于提取图片特征；所述目标检测模型用于得到病灶位置信息。

本发明还提供了一种消化内镜图像异常特征实时标记方法，包括以下步骤：

(1)将早期胃部癌前疾病内窥镜图和病灶位置信息输入模型训练模块进行训练，得到检测模型；

(2)利用内窥镜图像***设备得到受检者胃部常规白光内窥镜视频流；

(3)将胃镜视频流解析后进行关键帧提取，剔除无效帧，筛选得到胃部内窥镜有效视频图像序列；

(4)将有效视频图像序列输入到图像预处理模块，进行图像预处理；

(5)将图像预处理后的图像序列输入到检测模型中，检测模型输出可疑胃部癌前疾病分类结果和分类置信度，同时输出病灶定位坐标和定位置信度；

(6)根据病灶定位坐标在有效图像序列上做上标记，同时将标记映射到原胃镜视频流中；

(7)经标记的胃镜视频流在显示器上实时显示以供医生观察确认诊断。

本发明的有益效果是：

1、提供了一种消化内镜检查中对异常特征进行计算机辅助分类、检测的技术，可适用于对胃部癌前疾病进行有效检测有无可疑病灶，发现病灶类别，并对病灶具***置进行准确定位，有助于发现微小病灶，避免病灶遗漏。

2、本发明方法基于深度学习的卷积神经网络，对于待检测图片的几何变换、形变、光照具有一定程度的不变性，特征分类的效果好，且能以较小的计算代价扫描整幅待检测图像，针对消化内镜大数据图像处理，该方法能够高效率完成临床内镜图像数据端到端的分类和检测。

3、本发明方法提供了一种能实现实时辅助临床检测手段，传统基于候选区域的CNN目标检测的深度学习模型即便拥有较高的准确率，也难以达到实时检测的计算速度，往往需要以牺牲检测精度为代价缩短检测时间，本发明方法为在保证检测精度的前提下减小计算量，对内镜视频流提取了有效帧，剔除了无效帧，通过图像预处理使图像序列最大程度突出特征信息，并采取基于回归的深度学习目标检测方法，使其能够适应实时处理、实时显示的需求，临床医生能够在实现消化内镜检查的过程中实时观察到分类、检测的结果，无需长时间等待，可有效加快诊断进程，对病灶实现早发现早治疗。

4、该技术基于图像大数据的消化内镜图像序列，能够辅助缓解医生高强度，长时间的阅片工作，避免因工作强度和工作时间引起的医生主观判断失误，降低医生工作负担，提高医疗诊断工作的效率。

附图说明

图1为本发明消化内镜图像异常特征实时标记***结构框图；

图2为本发明消化内镜图像异常特征实时标记方法流程图；

图3为本发明实施例消化内镜下胃部的有效帧图像；

图4为本发明实施例消化内镜下胃部的无效帧图像；

图5为本发明实施例消化内镜下胃部癌前疾病中胃部息肉的原始图像；

图6为本发明实施例经图像增强处理后的消化内镜下胃部癌前疾病中胃部息肉图像；

图7为本发明实施例消化内镜下胃部癌前疾病中胃部息肉病灶的定位图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种消化内镜图像异常特征实时标记***，该***在计算机***上运行，包括：

图像获取模块，通过内窥镜图像***实时获取输入的胃部常规白光内窥镜视频流，剔除其中无效帧，筛选有效关键帧。利用K均值聚类的方法筛选关键帧，通过该聚类算法，可以把图像库中的图像分为k类，完成事先的分类处理，加快关键帧提取的效率。

图像预处理模块，用于对图像序列进行图像预处理以实现图像增强，图像序列来自图像获取模块，预处理过程包括：图像归一化、无效像素裁剪、图像平滑、图像锐化、图像缩放。

图像数据集，用于存储基于消化内镜的图像数据集，数据集包括分类数据集和检测数据集，分类数据集包含多种早期胃部癌前疾病内窥镜图，检测数据集包含病灶位置信息，图像数据集在用于训练CNN模型时，通过但不限于平移变换、镜像翻转、随机裁剪等方式进行数据扩增，进一步增强CNN的泛化能力，提升模型的训练效果。

模型训练模块，包括分类模型训练单元和检测模型训练单元，用于对图像数据集中的早期胃部癌前疾病内窥镜图和病灶位置信息进行模型训练，得到检测模型。

其中，分类模型训练单元，用于对所述分类数据集进行深度学习CNN分类模型的训练，引入强化学习的方法对网络模型的参数进行调节，包括但不限于对于网络结构中比重较小的参数进行置零并反复迭代训练的强化学习模式，以提升网络分类的准确度；对网络结构进行优化，包括但不限于使用逐层尺度归一化层(Batch Normalization,BN)对网络正则化、采用Dropout方法增强缓解过拟合的问题、采用ReLU激活函数避免梯度消失问题；通过迁移学习方式对分类模型的训练效率进行提升，即在训练分类模型之前，将基于VGG-16分类框架(不同于VGG-16原版，修改后完整名为VGG_ILSVRC_16_layers_fc_reduced的分类框架)对ImageNet大规模视觉识别挑战赛(ImageNet Large Scale Visual RecognitionChallenge，ILSVRC)自然图像集训练后的模型作为预训练模型，以加快分类模型的建模进展并提高它的分类性能。

检测模型单元，用于以所述分类模型单元所训练的CNN分类模型作为预训练模型，以所述检测数据集作为训练集，进行基于回归方法的深度学习CNN目标检测模型的训练，在分类模型的基础上添加辅助网络结构和检测层，辅助的网络结构由CNN的基本单元即卷积层、池化层作为基础单元进一步提取图片中的高维度特征，辅助的网络结构合计8层，运用同上述分类模型的网络结构优化方式对辅助的网络结构进行优化，底层的检测层由两部分组成，一方面在提取的特征中引入不同比例矩形框(为了适应不同形状比例的目标)对图像中可能存在的异常特征目标进行回归定位，矩形框在回归算法的作用下自适应目标的比例并将其框选在内，在训练的过程中由训练数据集对这些矩形框进行校正，另一方面融合上述基础分类模型中的卷积层和辅助网络结构的卷积层中提取的图像特征，对矩形框框选的图像的分类置信度进行预测，在训练的过程中由训练数据集对分类结果进行校正，以所述检测图库包含的训练图片集进行基于回归方法的深度学习CNN目标检测模型的训练，随着网络模型的反复迭代训练，最终使得检测模型单元能够生成可以正确分类并检测含有异常特征的图像帧，检测模型单元包括但不限于加入基于特征金字塔的检测方式，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行连接，使得所有尺度下的特征都有丰富的语义信息，包含更多语义信息使检测更加精确，包括去除全连接层大大提高计算速度，回归方法基于单次检测器(Single Shot MultiBox Detector)深度学习神经网络框架。

异常检测模块，用于将经过图像预处理的图像序列输入到训练完成的检测模型之中，得到胃部异常特征分类信息和定位信息。

标记显示模块，用于输出的胃部癌前疾病分类信息和病灶定位信息进行整合，该信息由所述病灶检测模块输出，标记显示单元将定位信息在图片序列上做出标记，将定位坐标信息以矩形框的形式标记目标病灶，并将标记映射到原始的输入胃部常规白光内窥镜视频流中，并对所述该胃部内镜视频流进行实时显示。

如图2所示，一种消化内镜图像异常特征实时标记方法，包括以下步骤：

(1)利用内窥镜图像***设备得到受检者胃部常规白光内窥镜视频流；

(2)将胃镜视频流解析后进行关键帧提取，剔除无效帧，筛选得到胃部内窥镜有效视频图像序列；

如图3所示，为消化内镜下胃部的有效帧图像；如图4所示，为消化内镜下清水冲洗胃部的无效帧图像。消化内镜下胃部癌前疾病原始图像由医疗机构的内窥镜图像***设备内窥镜探头捕获，经由接口实时传入本发明计算机辅助消化内镜的早期癌变识别筛查***中，由所述关键帧提取单元提取其中的有效帧，一个视频表达的内容信息可以由其关键帧表达，

K-means算法从大量的数据对象中随机选择k个对象作为初始聚类中心，根据最小距离准则对数据对象进行分类，通过该聚类算法，把图像库中的图像分为k类，完成事先的分类处理，加快关键帧提取的效率，对于消化内镜下清水冲洗胃部的无用帧，这类操作会某种程度上影响胃镜图像质量，如果把这类图像剔除或忽略将会减少很多的计算量。

(3)对胃镜有效视频图像序列进行图像预处理。如图5所示，为消化内镜下胃部癌前疾病中胃部息肉的原始图像。原始图像经过图像预处理的息肉图像经过了图像归一化、无效像素裁剪、图像平滑、图像锐化、图像缩放一系列图像预处理后剔除了无用的部分信息，经图像增强处理后的息肉图像能够得到更加准确的分类和定位效果，图像被缩放到与所述模型检测病灶单元输入图像尺寸相匹配的大小(300*300)，如图6所示。

(4)将图像预处理后的图像序列输入到检测模型中，检测模型由分类模型加上辅助网络结构和检测层组成，分类模型基于VGG-16框架，辅助网络结构进一步提取图片特征，检测层得到分类结果并回归目标的位置，加入基于特征金字塔的检测方式，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行连接。检测模型输出可疑胃部癌前疾病分类结果和分类置信度，同时输出病灶定位坐标和定位置信度；

(5)***根据病灶定位坐标在有效图像序列上做上标记，标记如图7所示，用醒目的矩形框标记准确定位图像中的息肉病灶，同时将标记映射到原胃镜视频流中。

(6)经标记的胃镜视频流在显示器上实时显示以供医生观察确认诊断。显示器逐帧显示胃镜图像序列的分类、检测信息。

Claims (8)

1.一种消化内镜图像异常特征实时标记***，包括计算机***，其特征在于，所述计算机***包含：

图像获取模块，通过内窥镜图像***实时获取输入的胃部常规白光内窥镜视频流，剔除其中无效帧，筛选有效关键帧；

图像预处理模块，用于对筛选出的关键帧进行图像增强处理；

模型训练模块，用于对早期胃部癌前疾病内窥镜图和病灶位置信息进行模型训练，得到检测模型；

异常检测模块，用于将经过图像预处理的图像序列输入到训练完成的检测模型之中，得到胃部异常特征的分类信息和定位信息；

标记显示模块，将定位信息在图片序列上做出标记，并将标记映射到原始的输入胃部常规白光内窥镜视频流中，并对所述该胃部内镜视频流进行实时显示。

2.根据权利要求1所述的消化内镜图像异常特征实时标记***，其特征在于，所述的图像获取模块在筛选有效关键帧时利用K-means算法从数据对象中随机选择k个对象作为初始聚类中心，根据最小距离准则对数据对象进行分类，通过该聚类算法，把图像库中的图像分为k类。

3.根据权利要求1所述的消化内镜图像异常特征实时标记***，其特征在于，所述图像预处理模块中图像增强处理包括：图像归一化、无效像素裁剪、图像平滑、图像锐化和图像缩放。

4.根据权利要求1所述的消化内镜图像异常特征实时标记***，其特征在于，所述的模型训练模块包括：

图像数据集，用于存储基于消化内镜的分类数据集和检测数据集；分类数据集包含多种早期胃部癌前疾病内窥镜图，检测数据集包含病灶位置信息；

分类模型训练单元，用于对所述分类数据集进行深度学习CNN分类模型的训练；

检测模型训练单元，用于以CNN分类模型作为预训练模型，以所述检测数据集作为训练集，进行基于回归方法的深度学习CNN目标检测模型的训练。

5.根据权利要求4所述的消化内镜图像异常特征实时标记***，其特征在于，所述图像数据集在用于训练CNN模型前，通过平移变换、镜像翻转或随机裁剪进行数据扩增。

6.根据权利要求4所述的消化内镜图像异常特征实时标记***，其特征在于，所述分类模型训练单元在进行深度学习CNN分类模型训练时，引入强化学习的方法以提高网络分类的准确度，使用逐层尺度归一化层对网络正则化，采用Dropout方法缓解过拟合的问题，采用ReLU激活函数避免梯度消失问题，通过迁移学习方式对分类模型的训练效率进行提升。

7.根据权利要求4所述的消化内镜图像异常特征实时标记***，其特征在于，所述模型训练模块训练后得到的检测模型包括分类模型、辅助网络结构和目标检测模型；所述分类模型基于VGG-16框架，用于得到分类信息；所述辅助网络结构用于提取图片特征；所述目标检测模型用于得到位置信息。

8.一种利用权利要求1-7任一项所述***进行消化内镜图像异常特征实时标记的方法，其特征在于，包括以下步骤：

(1)将早期胃部癌前疾病内窥镜图和病灶位置信息输入模型训练模块进行训练，得到检测模型；

(2)利用内窥镜图像***设备得到受检者胃部常规白光内窥镜视频流；

(3)将胃镜视频流解析后进行关键帧提取，剔除无效帧，筛选得到胃部内窥镜有效视频图像序列；

(4)将有效视频图像序列输入到图像预处理模块，进行图像预处理；

(5)将图像预处理后的图像序列输入到检测模型中，检测模型输出可疑胃部癌前疾病病灶目标定位坐标，同时输出定位坐标内可疑胃部癌前疾病分类结果和分类置信度；

(6)根据病灶定位坐标在有效图像序列上做上标记，同时将标记映射到原胃镜视频流中；

(7)经标记的胃镜视频流在显示器上实时显示以供医生观察确认诊断。