CN111754514A - 基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 - Google Patents
基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 Download PDFInfo
- Publication number
- CN111754514A CN111754514A CN201910236738.0A CN201910236738A CN111754514A CN 111754514 A CN111754514 A CN 111754514A CN 201910236738 A CN201910236738 A CN 201910236738A CN 111754514 A CN111754514 A CN 111754514A
- Authority
- CN
- China
- Prior art keywords
- convolution
- channel
- scaled
- fundus image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000032843 Hemorrhage Diseases 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 8
- 230000000740 bleeding effect Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000003902 lesion Effects 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims 4
- 238000012549 training Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 6
- 231100000915 pathological change Toxicity 0.000 abstract description 3
- 230000036285 pathological change Effects 0.000 abstract description 3
- 230000002207 retinal effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 210000004220 fundus oculi Anatomy 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010012655 Diabetic complications Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 208000016097 disease of metabolism Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000001421 hyperglycemia Diseases 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，该方法包括：1)扩展训练样本数据集；2)将网络的浅层特征与深层特征级联，以Dilated卷积代替普通的卷积形式；3)结合通道维度特征，将基于通道加权模块和Dilated卷积相结合；4)用训练好的网络模型对眼底图像中硬性出血点病变进行检测。与传统方案相比，本发明利用了深度学习技术，可以在大量样本集下训练模型，自动检测视网膜眼底图像中的出血点病变，解决了传统方法分割不准确的问题，提高了出血点的检测准确率。
Description
技术领域
本发明涉及一种基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，可用于眼底图像出血点自动检测，属于图像处理、深度学习领域。
背景技术
糖尿病DM是一种常见的内分泌代谢疾病，以高血糖为主要特征，可导致人体眼、肾、心脏等各种组织功能障碍。由于糖尿病的发展是不可逆的，因此，预防的关键是早筛查、早诊断、早治疗。糖尿病性视网膜病变DR是导致继发性失明最常见的原因之一，被认为是所有糖尿病并发症中最危险的疾病之一，DR的主要症状是眼底各组织结构发生病变。由于糖尿病预防的关键是早筛查、早诊断、早治疗，因此，尽早的发现眼底病变对于治疗糖尿病有着至关重要的作用。
眼底图像是目前观察眼底各种组织结构特征和病变的主要依据。视网膜眼底图像中存在着多种结构，出血点通常数量较多且范围广，在眼底图像中容易被观察检测到，出血点数目和面积的变化对病症的诊断分期有着重要的参考作用。但医院每天会拍摄成百上千幅眼底图像，导致眼科医生需要耗费大量时间分析眼底图像，因此采用人工方法处理眼底图像费时费力。此外，单凭人眼，较小的出血点很难与微动脉瘤区分开。而且医生多数都是依靠自身经验主观判断，存在评判标准不统一、检测速度缓慢等缺点，所以设计一种自动检测眼底图像出血点的方法来辅助医生诊断眼科疾病具有重要的临床实践意义。
深度学习技术近几年得到了研究者们广泛关注，特别是在医学图像研究领域取得了显著成就，为医疗诊断提供了帮助。因此，基于深度学习的眼底图像出血点病变检测方法对于大规模的眼底图像出血点检测有着重要的意义。
发明内容
本发明为了达到上述目的，自动、准确的检测眼底图像出血点，提出了一种基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，本发明采用如下的技术方案：
步骤1：选择出血点数量不同的眼底图像，将图像的原始尺寸归一化为相同的像素，每张眼底图像再按同一大小进行分块，采用此方法对样本进行扩充；
步骤2：Dilated卷积代替普通的卷积形式，，使网络对各个通道进行有选择的特征提取，节省计算量的同时增大局部感受野，获得更多像素的空间关系；
步骤3：引入通道加权单元模块，将Dilated卷积与通道加权模块相结合；
步骤4：利用改进的网络模型对眼底图像中出血点病变进行分割，输出检测结果。
附图说明
图1本发明的流程图；
图2不同程度出血的眼底图像示例：(a)无出血点，(b)少量出血点，(c)大量出血点；
图3普通PixelNet网络结构；
图4(a)原始图像，(b)标注图；
图5 Dilated卷积示意图；
图6不同R值训练过程的Loss曲线；
图7不同R值在测试集上的Accuracy曲线；
图8 D-SE模块结构图；
图9 Dilated卷积结合通道加权的网络结构；
图10本发明眼底图像出血点病变分割结果：(a)原图，(b)真值图，(c)本发明出血点分割结果。
与现有技术相比，本发明的优点是：
使用深度学习的方法，避免了传统算法复杂的图像处理，对于眼底图像出血点的检测不会受眼底其他病变的影响，而且出血点病变检测的准确率相比传统算法要高。
本发明的分割结果，表示网络分割准确率的IOU值为0.889，表示对背景噪声抑制情况的MAE值为0.028。
具体实施方式
本发明基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法具体过程如下：
1.选择出血点数量不同的眼底图像，将图像的原始尺寸归一化为相同的像素，每张眼底图像再按同一形式进行分块，采用此方法对样本进行扩充；
由于正常的彩色眼底图像中大多没有出血点，只有糖尿病视网膜病变患者的眼底图像中会出现出血点，所以首先需要对已有的彩色眼底图像进行筛选，挑选出具有出血点特征的彩色眼底图像。出血点数量的不同代表了不同严重程度的糖尿病视网膜病变，在挑选的过程中，不能只选取特征明显、数量多、面积大的出血点，对于只有极少量出血点的图像，也应该挑选出。这样在网络训练的过程中可以充分学习到不同程度病变的出血点的特征，有利于提高网络训练的精度。如图2所示，图(a)表示无出血点眼底图像，图(b)表示有少量出血点眼底图像，图(c)表示有大量出血点眼底图像。
在眼底图像中存在出血点特征的图像较少，而且没有公开标注的数据集作为训练样本，因此需要对数据进行增强操作来扩充样本，提高网络训练的精度。本发明对原始图像和标注图像进行相同大小的样本扩充，采用分块的方式对样本进行扩充，即分别从原始图像和标注图像中提取图像块。PixelNet网络主要由两部分组成，前半部分是VGG16，主要用来对输入图像进行特征提取，后半部分是一个MLP多层感知器，主要对输入的特征进行分类，网络结构如图3所示。由于在PixelNet中用于特征提取的网络是VGG16，而VGG16对输入图像尺寸的要求是像素值为224×224。本发明所收集和筛选的眼底图像的像素大概都1300×1300左右，因此为了将眼底图像改为能够输入VGG网路进行训练的图像，需要对图像进行分块处理。每张眼底图像按6×6的形式等分成36份，分块后的图像的像素为224×224。为了使分成36块的图像的像素恰好为224×224，首先应该将图像的原始尺寸归一化为1344×1344的像素。在图像像素归一化的过程中，对像素较小不够1344×1344的图像采取边缘补齐的形式，对于图像尺寸大于1344×1344像素的图像对边缘进行裁剪。分块后的图像有一部分是原始图像的背景区域，没有任何眼底特征和出血点，加入网络训练只会变成负样本增加网络的负担，因此需要将分块后的属于背景区域的毫无眼底特征的图像删除，剩下的图像作为样本数据。网络训练还需要标签图，以手动标注图像作为GroundTruth，对GroundTruth的分块和筛选方法也是和原始图像一样。原始图和标注图如图4所示。
2.Dilated卷积代替普通的卷积形式，使网络对各个通道进行有选择的特征提取；
Dilated卷积是基于打破原有卷积核两个采样像素之间紧密联系的原理，通过在采样像素之间补零来达到既增大感受野又使计算量保持不变的效果。与一般卷积核相比，Dilated卷积增加了一个名为“扩张率”的参数，它用来指代卷积核的间隔数量。以图5为例，假设网络输入是17×17，卷积核大小为3×3，步长为1：使用扩张率为1的卷积核处理，图像感受野为3×3，此时的卷积处理与一般卷积相同；使用扩张率为2的卷积核处理，即对于一个7×7的图像块，只有9个点与3×3的卷积核进行卷积运算，其他的点全部略过，图像感受野最终为7×7；使用扩张率为4的卷积核处理，其卷积过程与使用扩张率为2的卷积核处理过程类似，图像最终获得15×15的感受野。由于卷积过程当中使用的步长为1且应用了补零操作，所以最后每层输出的特征图大小仍然保持为17×17。可以发现，即使不采用池化、上采样操作处理，感受野也能增大且以指数级增长。Dilated卷积感受野r的计算公式为：
r＝2(rate/2)+2-1
其中，rate为卷积率。
VGG16的前半部分主要包括五大层，每一层分别包含了2-3个卷积层和一个池化层。由于池化层会降低局部感受野，所以经过多次池化的网络深层的感受野往往较低，而Dilated卷积层可以扩大局部感受野，因此本发明选择在网络深层将卷积核替换为Dilated卷积。在第11、12、13卷积层中，将卷积核替换为Dilated卷积，卷积核的大小为3×3，扩张率为2。
3.引入通道加权单元模块，将Dilated卷积与通道加权模块相结合；
通道加权是通过一个通道加权模块来重新标定各通道特征的重要程度的，该模块首先使用全局平均池化把各层输出的二维特征图压缩至一维，通过压缩得到的一维特征可以反映输入特征通道的全局感受野信息。然后通过激励可以显式地对各特征通道之间的相关性进行非线性建模，在全局平均池化层后接一个全连接层和ReLu激活函数，为压缩后的特征通道生成可学习的权重，类似循环神经网络中门的机制。最后将不同通道生成的权重与通道特征进行乘法运算，从而完成了对不同通道特征重要性的重新分配。
在通道加权模块的全连接层中，不同的降维尺度R值会得到不同的测试效果，为了更直观地表现当通道加权模块取不同R值时网络性能的差异，本发明将R值分别取4、8、16、24时网络模型的损失曲线与准确率曲线做了对比，如图6、图7所示。
将Dilated卷积和通道加权融入到特征提取网络VGG16可以有效地改善特征提取的效果。本发明将VGG16网络中第五大层中三个卷积层的卷积核换为Dilated卷积核。为了在特征提取的过程中增强有用特征抑制无用特征，建立不同通道之间的依赖关系，引入了一个通道加权结构。通道加权结构是按照不同特征通道的重要性，有差别地对各个通道进行特征提取，从而增强了有用特征减弱了无用特征。因此将Dilated卷积和通道加权结构相结合成D-SE模块，D-SE结构如图8所示。
本发明的网络结构如图9所示。通道加权模块首先对卷积层的输出进行降维，使浅层特征也具有较大的感受野；然后通过学习的方式获得特征通道的权重；最后根据学习到的权重对特征通道进行加权。
Claims (4)
1.一种基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，包括下列步骤：
步骤1：选择出血点数量不同的眼底图像，将图像的原始尺寸归一化为相同的，每张眼底图像再按同一形式进行分块，采用此方法对样本进行扩充；
步骤2：Dilated卷积代替普通的卷积形式，使网络对各个通道进行有选择的特征提取，节省计算量的同时增大局部感受野，获得更多像素的空间关系；
步骤3：引入通道加权单元模块，将Dilated卷积与通道加权模块相结合；
步骤4：利用改进的网络模型对眼底图像中出血点病变进行检测，输出检测结果。
2.根据权利要求1所述的基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，其特征在于，步骤1中，将收集到的眼底图像通过边缘补齐和边缘裁剪的方式归一化成相同大小，然后进行分块，将分块后的属于背景区域的毫无眼底特征的图像块删除，剩下的图像块作为样本数据集。
3.根据权利要求1所述的基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，其特征在于，步骤2中，用Diilated卷积替换普通的卷积。PixelNet用于特征提取的网络是VGG16，VGG16的前半部分主要包括五大层，每一层分别包含了2-3个卷积层和一个池化层。由于池化层会降低局部感受野，所以经过多次池化的网络深层的感受野往往较低，而Dilated卷积层可以扩大局部感受野，因此选择在网络深层将卷积核替换为Dilated卷积。在第11、12、13卷积层中，将卷积核替换为Dilated卷积，卷积核的大小为3×3，扩张率为2。同时，传统卷积神经网络忽略了输出对于各个通道的依赖性。Dilated卷积通过在采样像素之间补零来达到既增大感受野又使计算量保持不变的效果。
4.根据权利要求1所述的基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法，其特征在于，步骤3中，将Dilated卷积与通道加权模块相结合。通道加权模块首先对卷积层的输出进行降维，使浅层特征也具有较大的感受野；然后通过学习的方式获得特征通道的权重；最后根据学习到的权重对特征通道进行加权。引入通道加权模块可以使网络对各个通道进行有选择的特征提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910236738.0A CN111754514A (zh) | 2019-03-28 | 2019-03-28 | 基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910236738.0A CN111754514A (zh) | 2019-03-28 | 2019-03-28 | 基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754514A true CN111754514A (zh) | 2020-10-09 |
Family
ID=72671823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910236738.0A Pending CN111754514A (zh) | 2019-03-28 | 2019-03-28 | 基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754514A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
| CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
-
2019
- 2019-03-28 CN CN201910236738.0A patent/CN111754514A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
| CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 邱玲: "基于FCN的鸡蛋胚胎图像分割方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 23 - 30 * |
| 马文婷: "面向眼科医学图像的病变检测研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 28 - 49 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN110648344B (zh) | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 | |
| CN109543719B (zh) | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 | |
| CN109472781B (zh) | 一种基于串行结构分割的糖尿病视网膜病变检测*** | |
| TWI667996B (zh) | ***腫瘤輔助檢測模型及***腫瘤輔助檢測系統 | |
| Săftoiu et al. | Neural network analysis of dynamic sequences of EUS elastography used for the differential diagnosis of chronic pancreatitis and pancreatic cancer | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN111724397A (zh) | 一种颅脑ct图像出血区域自动分割方法 | |
| Li et al. | Vessel recognition of retinal fundus images based on fully convolutional network | |
| CN110610480B (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| Gatti et al. | Development of Automated System for Detection of Diabetic Retinopathy | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| KR102448680B1 (ko) | 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템 | |
| Venkatalakshmi et al. | Graphical user interface for enhanced retinal image analysis for diagnosing diabetic retinopathy | |
| Sahoo et al. | Detection of diabetic retinopathy from retinal fundus image using wavelet based image segmentation | |
| Yang et al. | Detection of microaneurysms and hemorrhages based on improved Hessian matrix | |
| CN111754514A (zh) | 基于通道加权和Dilated卷积神经网络的眼底图像出血点分割方法 | |
| CN110766651A (zh) | 颈动脉斑块的性质判别方法、训练方法及超声设备 | |
| Pradhan | A Novel Threshold based Method for Vessel Intensity Detection and Extraction from Retinal Images | |
| CN114820632A (zh) | 基于双通道U形改进Transformer网络的视网膜血管图像分割方法 | |
| CN113576399A (zh) | 一种糖网分析方法、***以及电子设备 | |
| Fan et al. | Red lesion detection in fundus images based on convolution neural network | |
| KR102693231B1 (ko) | 초음파 이미지의 딥러닝에 기반하여 회전근개 파열을 분류하는 장치 및 방법 | |
| Tojo et al. | Medical image denoising using scaled dual convolutional neural network (SD-CNN) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201009 |
|
| WD01 | Invention patent application deemed withdrawn after publication |