CN106910184B - 基于深度卷积神经网络的内窥镜图像肠道出血检测方法 - Google Patents

基于深度卷积神经网络的内窥镜图像肠道出血检测方法 Download PDF

Info

Publication number
CN106910184B
CN106910184B CN201710023643.1A CN201710023643A CN106910184B CN 106910184 B CN106910184 B CN 106910184B CN 201710023643 A CN201710023643 A CN 201710023643A CN 106910184 B CN106910184 B CN 106910184B
Authority
CN
China
Prior art keywords
images
bleeding
image
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710023643.1A
Other languages
English (en)
Other versions
CN106910184A (zh
Inventor
俞俊
高飞
李攀鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710023643.1A priority Critical patent/CN106910184B/zh
Publication of CN106910184A publication Critical patent/CN106910184A/zh
Application granted granted Critical
Publication of CN106910184B publication Critical patent/CN106910184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的内窥镜图像肠道出血检测方法。本发明步骤如下：在训练网络的过程中，首先将出血图像和不出血图像分别进行旋转、亮度调节、高斯模糊、加泊松噪声四种变换，然后变换后的图像和原始图像一起构成新数据集；其次在训练网络的过程中，复制所有出血图像，使得出血图像和不出血图像数量相等，从而得到扩增数据集；然后训练三个深度卷积神经网络，得到三个非线性映射关系；最后依据得到的三个深度卷积神经网络做内窥镜图像肠道出血检测，得到三个检测结果，然后根据多数投票规则，得到最终的检测结果。本发明不仅提高了内窥镜肠道出血检测的准确率，同时能够检测不理想环境下得到的图像,能够达到实时要求。

Description

基于深度卷积神经网络的内窥镜图像肠道出血检测方法
技术领域
本发明涉及医学图像处理领域，尤其涉及一种基于深度卷积神经网络的内窥镜图像肠道出血检测方法。
背景技术
如今，无线胶囊内窥镜由于其易于吞服和全程无痛的特点，在医学方面已越来越普及。而且由其得到的内窥镜图像也使得医生对病人的诊断更加准确。但由于在做胃窥镜的整个过程中，内窥镜会传输出上千幅胃肠道图片，而只有少部分的图片显示胃肠道有疾病(比如胃出血)，所以很有可能会被医生遗漏掉。因此，开发出一个检测胃肠道图片是否正常的算法来减轻医生的负担就变得尤为重要。
在目前的内窥镜图像检测研究中，Liu和Yuan研究了像素值、颜色通道和不同颜色的像素比例这三种特征，并使用SVM来预测胃肠道图片是否表示出血。Pan和Sainju则用神经网络基于图片的像素值和他们的统计数据(比如平均值，标准差和交叉熵)来预测胃肠道的出血区域。Li等人利用图片的彩色纹理特征和LBPs(uniform local binary patterns)特征来表示胃肠道图片，然后用多层感知神经网络来探测出血区域。最近，Hassan和Haque提取图像的离散傅里叶变换系数特征，然后用SVM训练得到一个分类器。然而，受肠道内部环境的影响，无线胶囊内窥镜在肠道内移动时，其所获取的图像在内容、纹理和亮度等方面都有较大的差别。现有方法采用的底层视觉特征受图像内容、光照等因素的影响较大，无法对存在遮挡或光线过暗的图像进行精确判别。此外，异常图像和正常图像的比例严重不平衡，导致学习自动预测胃肠道图像是否正常的模型变得十分复杂和困难。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种基于深度卷积神经网络的内窥镜图像肠道出血检测方法。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1、在训练深度网络的过程中，首先将出血图像和不出血图像分别进行旋转、亮度调节、高斯模糊、加泊松噪声四种变换，然后将变换后的图像和原始图像一起构成新的数据集；
步骤2、在训练深度网络的过程中，复制所有的出血图像，使得出血图像和不出血图像数量一样多，从而得到扩增数据集；
步骤3、对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系；
步骤4、依据得到的三个深度卷积神经网络做内窥镜图像肠道出血检测，以内窥镜图像作为输入，得到三个卷积神经网络的检测结果，然后根据多数投票规则，得到最终的检测结果。
步骤1所述的将出血图像和不出血图像进行旋转、亮度、高斯模糊、加噪四种变换，具体如下：
1-1.将原始图像分别旋转60度、120度、180度、240度、300度，每张原始图像将得到5张经过旋转变换的图像。
1-2.随机产生5个0-1均匀分布的随机数作为5个亮度因子，记为λ1,λ2,λ3,λ4,λ5，将原始图像由RGB颜色空间转到YCbCr空间，将Y通道分别乘以5个亮度因子，得到5张经过亮度变换的图片。
1-3.对原始图像进行高斯模糊，计算公式为：
G(x,y)＝exp(-(x2+y2)/2σ2)/2πσ2，
设置高斯滤波器的大小和参数，即([x,y],σ)分别为([3,3],1)，([5,5],3)，([7,7],5)，([9,9],7)，([11,11],9)。根据这五种高斯滤波器，对原始图像做5种高斯模糊,每张原始图像将得到5张经过高斯模糊变换的图像。
1-4.给原始图像添加符合泊松分布模型的噪声，泊松分布公式：
P(x＝k)＝exp(-λ)·λk/k！，
每张原始图像将得到1张添加泊松噪声的图像。
步骤2所述的基于步骤1得到的图像复制所有出血图像，使得出血图像和不出血图像一样多，具体如下：
2-1.经过步骤1，每张原始图像都会得到由自身经过变换的16张图像。在原始图像中，由于不出血图像数量是出血图像数量的30倍，将每张原始出血图像及其经过变换的所有图像复制30倍，使得出血图像和不出血图像在数量上达到一致，从而得到扩增数据集；
步骤3中所述的对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系，具体如下：
3-1.使用原始图像的80％及其对应的变换图像作为训练集，其余的20％及其变换图像作为测试集。
3-2.使用训练集训练VGGNet、GoogLeNet、AlexNet三个深度卷积神经网络。采用Softmax损失函数作为目标函数，利用反向传播算法优化目标函数。
3-3.训练结束后，将测试图像库中的任意一幅内窥镜图像作为三个深度卷积神经网络的输入，然后基于得到的三个检测结果，根据多数投票原则，得到最终的检测结果。
本发明具有的有益的效果是：
通过学习不同质量的图像的特征和学习不同质量的图像的特征到检测结果的非线性映射关系，指导内窥镜图像肠道出血检测过程，不仅能够提高检测结果的准确率，而且还能够检测不理想环境下得到的图像，基本能够达到实时的要求。
附图说明
图1是本发明流程图；
图2是本发明基于深度卷积神经网络的内窥镜图像肠道出血检测方法的训练过程框架示意图；
图3是本发明中基于深度卷积神经网络的内窥镜图像肠道出血检测方法的检测过程框架示意图；
具体实施方式
下面结合附图对本发明作进一步说明。
如图1-3所示，基于深度卷积神经网络的内窥镜图像肠道出血检测方法，具体步骤参看图1：
步骤1、在训练深度网络的过程中，首先将出血图像和不出血图像分别进行旋转、亮度调节、高斯模糊、加泊松噪声四种变换，然后将变换后的图像和原始图像一起构成新的数据集；
步骤2、在训练深度网络的过程中，复制所有的出血图像，使得出血图像和不出血图像数量一样多，从而得到扩增数据集；
步骤3、对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系；
步骤4、依据得到的三个深度卷积神经网络做内窥镜图像肠道出血检测，以内窥镜图像作为输入，得到三个卷积神经网络的检测结果，然后根据多数投票规则，得到最终的检测结果。
如图2所示，步骤1所述的将出血图像和不出血图像进行旋转、亮度、高斯模糊、加噪四种变换，具体如下：
1-5.将原始图像分别旋转60度、120度、180度、240度、300度，每张原始图像将得到5张经过旋转变换的图像。
1-6.随机产生5个0-1均匀分布的随机数作为5个亮度因子，记为λ1,λ2,λ3,λ4,λ5，将原始图像由RGB颜色空间转到YCbCr空间，将Y通道分别乘以5个亮度因子，得到5张经过亮度变换的图片。
1-7.对原始图像进行高斯模糊，计算公式为：
G(x,y)＝exp(-(x2+y2)/2σ2)/2πσ2，
设置高斯滤波器的大小和参数，即([x,y],σ)分别为([3,3],1)，([5,5],3)，([7,7],5)，([9,9],7)，([11,11],9)。根据这五种高斯滤波器，对原始图像做5种高斯模糊,每张原始图像将得到5张经过高斯模糊变换的图像。
1-8.给原始图像添加符合泊松分布模型的噪声，泊松分布公式：
P(x＝k)＝exp(-λ)·λk/k！，
每张原始图像将得到1张添加泊松噪声的图像。
步骤2所述的基于步骤1得到的图像复制所有出血图像，使得出血图像和不出血图像一样多，具体如下：
2-1.经过步骤1，每张原始图像都会得到由自身经过变换的16张图像。在原始图像中，由于不出血图像数量是出血图像数量的30倍，将每张原始出血图像及其经过变换的所有图像复制30倍，使得出血图像和不出血图像在数量上达到一致，从而得到扩增数据集；
如图3所示，步骤3中所述的对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系，具体如下：
3-1.使用原始图像的80％及其对应的变换图像作为训练集，其余的20％及其变换图像作为测试集。
3-2.使用训练集训练VGGNet、GoogLeNet、AlexNet三个深度卷积神经网络。采用Softmax损失函数作为目标函数，利用反向传播算法优化目标函数。
3-3.训练结束后，将测试图像库中的任意一幅内窥镜图像作为三个深度卷积神经网络的输入，然后基于得到的三个检测结果，根据多数投票原则，得到最终的检测结果。

Claims (4)

1.基于深度卷积神经网络的内窥镜图像肠道出血检测方法，其特征在于包括以下步骤：
步骤1、在训练深度网络的过程中，首先将出血图像和不出血图像分别进行旋转、亮度调节、高斯模糊、加泊松噪声四种变换，然后将变换后的图像和原始图像一起构成新的数据集；
步骤2、在训练深度网络的过程中，复制新的数据集中所有的出血图像，使得出血图像和不出血图像数量一样多，从而得到扩增数据集；
步骤3、对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系；
步骤4、依据得到的三个深度卷积神经网络做内窥镜图像肠道出血检测，以内窥镜图像作为输入，得到三个卷积神经网络的检测结果，然后根据多数投票规则，得到最终的检测结果。
2.根据权利要求1所述的基于深度卷积神经网络的内窥镜图像肠道出血检测方法，其特征在于步骤1所述的将出血图像和不出血图像进行旋转、亮度、高斯模糊、加噪四种变换，具体如下：
1-1.将原始图像分别旋转60度、120度、180度、240度、300度，每张原始图像将得到5张经过旋转变换的图像；
1-2.随机产生5个0-1均匀分布的随机数作为5个亮度因子，记为λ1,λ2,λ3,λ4,λ5，将原始图像由RGB颜色空间转到YCbCr空间，将Y通道分别乘以5个亮度因子，得到5张经过亮度变换的图片；
1-3.对原始图像进行高斯模糊，计算公式为：
G(x,y)＝exp(-(x2+y2)/2σ2)/2πσ2，
设置高斯滤波器的大小w×w和参数σ，即([w,w],σ)分别为([3,3],1)，([5,5],3)，([7,7],5)，([9,9],7)，([11,11],9)；根据这五种高斯滤波器，对原始图像做5种高斯模糊，每张原始图像将得到5张经过高斯模糊变换的图像；
1-4.给原始图像添加符合泊松分布模型的噪声，泊松分布公式：
P(x＝k)＝exp(-λ)·λk/k！，
每张原始图像将得到1张添加泊松噪声的图像。
3.根据权利要求1所述的基于深度卷积神经网络的内窥镜图像肠道出血检测方法，其特征在于步骤2所述的复制新的数据集中所有的出血图像，使得出血图像和不出血图像一样多，具体如下：
2-1.经过步骤1，每张原始图像都会得到由自身经过变换的16张图像；在原始图像中，由于不出血图像数量是出血图像数量的30倍，将每张原始出血图像及其经过变换的所有图像复制30倍，使得出血图像和不出血图像在数量上达到一致，从而得到扩增数据集。
4.根据权利要求1所述的基于深度卷积神经网络的内窥镜图像肠道出血检测方法，其特征在于步骤3中所述的对步骤2得到的扩增数据集，训练VGGNet、GoogLeNet、AlexNet这三个深度卷积神经网络，得到三个非线性映射关系，具体如下：
3-1.使用扩增数据集中原始图像的80％及其对应的变换图像作为训练集，其余的20％及其变换图像作为测试集；
3-2.使用训练集训练VGGNet、GoogLeNet、AlexNet三个深度卷积神经网络；采用Softmax损失函数作为目标函数，利用反向传播算法优化目标函数；
3-3.训练结束后，将测试集中的任意一幅内窥镜图像作为三个深度卷积神经网络的输入，然后基于得到的三个检测结果，根据多数投票原则，得到最终的检测结果。
CN201710023643.1A 2017-01-12 2017-01-12 基于深度卷积神经网络的内窥镜图像肠道出血检测方法 Active CN106910184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710023643.1A CN106910184B (zh) 2017-01-12 2017-01-12 基于深度卷积神经网络的内窥镜图像肠道出血检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710023643.1A CN106910184B (zh) 2017-01-12 2017-01-12 基于深度卷积神经网络的内窥镜图像肠道出血检测方法

Publications (2)

Publication Number Publication Date
CN106910184A CN106910184A (zh) 2017-06-30
CN106910184B true CN106910184B (zh) 2020-10-09

Family

ID=59206904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710023643.1A Active CN106910184B (zh) 2017-01-12 2017-01-12 基于深度卷积神经网络的内窥镜图像肠道出血检测方法

Country Status (1)

Country Link
CN (1) CN106910184B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564580B (zh) * 2017-09-11 2019-02-12 合肥工业大学 基于集成学习的胃镜图像辅助处理***及方法
EP3794505A4 (en) * 2018-05-14 2022-05-18 Nokia Technologies OY METHOD AND DEVICE FOR IMAGE RECOGNITION
CN109446627A (zh) * 2018-10-22 2019-03-08 青岛美迪康数字工程有限公司 内窥镜图像识别方法及装置
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和***
CN110097081A (zh) * 2019-03-29 2019-08-06 广州思德医疗科技有限公司 一种训练集的构建方法及装置
CN111784686A (zh) * 2020-07-20 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 一种内窥镜出血区域的动态智能检测方法、***及可读存储介质
CN112614152B (zh) * 2020-12-22 2022-03-25 电子科技大学 一种基于深度特征学习的软组织表面运动跟踪方法
CN116681681B (zh) * 2023-06-13 2024-04-02 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966071A (zh) * 2005-04-13 2011-02-09 奥林巴斯医疗株式会社 图像处理装置以及图像处理方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
EP2651415A1 (en) * 2010-12-13 2013-10-23 Thomas Julius Borody Gastric and colonic formulations and methods for making and using them
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别***及识别方法
CN106339605A (zh) * 2016-09-28 2017-01-18 湖南老码信息科技有限责任公司 一种基于增量式神经网络模型的结肠炎预测方法和预测***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966071A (zh) * 2005-04-13 2011-02-09 奥林巴斯医疗株式会社 图像处理装置以及图像处理方法
EP2651415A1 (en) * 2010-12-13 2013-10-23 Thomas Julius Borody Gastric and colonic formulations and methods for making and using them
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别***及识别方法
CN106339605A (zh) * 2016-09-28 2017-01-18 湖南老码信息科技有限责任公司 一种基于增量式神经网络模型的结肠炎预测方法和预测***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Deep Convolutional Neural Network for Bleeding Detection in Wireless Capsule Endoscopy Images;Xiao Jia 等;《IEEE》;20161231;第639-642页 *
A TECHNIQUE FOR BLOOD DETECTION IN WIRELESS CAPSULE ENDOSCOPY IMAGES;Barbara Penna 等;《17th European Signal Processing Conference (EUSIPCO 2009)》;20090828;第1864-1868页 *
胶囊内窥镜图像小肠病变自动诊断算法研究;张理;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015(第10期);全文 *

Also Published As

Publication number Publication date
CN106910184A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106910184B (zh) 基于深度卷积神经网络的内窥镜图像肠道出血检测方法
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗***
Ma et al. Perceptual evaluation of single image dehazing algorithms
Zhuo et al. An SA–GA–BP neural network-based color correction algorithm for TCM tongue images
US20200356820A1 (en) Speckle contrast analysis using machine learning for visualizing flow
Zhang et al. Tongue color analysis for medical application
Imtiaz et al. Color enhancement in endoscopic images using adaptive sigmoid function and space variant color reproduction
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP4187484A1 (en) Cbd-net-based medical endoscopic image denoising method
Pogorelov et al. Bleeding detection in wireless capsule endoscopy videos—Color versus texture features
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110189303B (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
CN109635871A (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
CN109242792B (zh) 一种基于白色物体的白平衡校对方法
Reddy et al. Retinal fundus image enhancement using piecewise gamma corrected dominant orientation based histogram equalization
CN113749642A (zh) 量化皮肤潮红反应程度的方法、***、介质及终端
Imtiaz et al. Tri-Scan: A three stage color enhancement tool for endoscopic images
Zheng et al. Corneal‐Smart Phone: A novel method to intelligently estimate postmortem interval
Ciaccio et al. Recommendations to quantify villous atrophy in video capsule endoscopy images of celiac disease patients
Lu et al. Dccn: a deep-color correction network for traditional Chinese medicine tongue images
WO2016123815A1 (zh) 基于pet/ct图像质量客观算法的评价方法及***
JP2010171948A5 (ja) 画像処理装置、画像処理方法、及び、プログラム
RU2007117265A (ru) Способ дифференциальной диагностики фолликулярной аденомы и фолликулярного рака щитовидной железы

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant