CN115035127A - 一种基于生成式对抗网络的视网膜血管分割方法 - Google Patents
一种基于生成式对抗网络的视网膜血管分割方法 Download PDFInfo
- Publication number
- CN115035127A CN115035127A CN202210805978.XA CN202210805978A CN115035127A CN 115035127 A CN115035127 A CN 115035127A CN 202210805978 A CN202210805978 A CN 202210805978A CN 115035127 A CN115035127 A CN 115035127A
- Authority
- CN
- China
- Prior art keywords
- vessel segmentation
- network
- retinal
- image
- retinal vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 78
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 210000004204 blood vessel Anatomy 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 27
- 210000001525 retina Anatomy 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004256 retinal image Effects 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002911 mydriatic effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成式对抗网络的视网膜血管分割方法，由以下步骤组成：对眼底视网膜图像集进行预处理得到训练图像集，构建基于GAN的视网膜血管分割模型，利用训练图像集对视网膜血管分割模型训练，利用训练好的视网膜血管分割模型对待分割的眼底视网膜图像进行分割，输出分割后子图像，对分割后子图像进行拼接得到完整视网膜血管分割图像；本发明结合Ladder Net，在原本的改进U型网络结构中引入Ladder Net的多对编码器解码器概念，将两个改进U型网络并行连接在一起，并对传统的残差模块进行改进为参数共享残差模块，通过设定了两个共享参数的卷积层组成的循环层用来训练，从而用来捕获图像中的复杂特征点，从而提高分割精度。
Description
技术领域
本发明属于眼底视网膜图像处理领域，尤其涉及一种基于生成式对抗网络的视网膜血管分割方法。
背景技术
眼睛，它占据身体的总体信息的百分之80以上，因此眼睛是不可或缺的人体器官，它的健康与人类生活不可分割。现今医生在眼部疾病诊断时主要依靠眼底图像，某些器官的状态通过眼底图像的变换来展示出来。视网膜血管在眼底图像中能够被清楚地观察到，是医生对某些疾病进行诊断和预防的最基本依据。眼底血管分割是医生根据眼底图像诊断病人状况的决定性条件，对于临床医学有着主要的意义，人类身体是否健康的重点判断指标为视网膜血管的形态构造(如直径、长度等)，其变换在大程度可以反映人体某些疾病，因此为了医生有效的诊断疾病，对视网膜血管的分析是必要的。
在眼底视网膜疾病的有关诊断时，依照经验对视网膜血管进行人工手动分割是现阶段医生的常用方法。然而，这种方法存在眼底血管散布致密、对比度低的问题，可能还有出血点、渗出物等病变，以及许多的微细血管，与病灶噪声的影响相结合，致使传统的手动分割工作量变得庞大且繁琐，依赖人工手动分割血管会出现效率低下，易受主观性影响、出错率较高。
为了预防潜在的眼底疾病、提高眼底疾病的诊断效率，需要借助图像处理、计算机视觉以及深度学习等技术，对相关医学影像进行处理和分析，设计先进准确的视网膜血管分割算法，可以有效量化和可视化相关病理结构，从而实现计算机辅助甚至代替医生对病情进行准确诊断和精确治疗。
近年来，随着图像处理和分析技术的快速发展，利用计算机进行医学图像处理已经广泛应用于医学的各个学科和领域。传统的机器学习算法有时需要根据实验手动选择特征，不利于自动化的实现。深度学习中各类算法网络结构被用于处理视网膜血管分割并取得了很大的成就，传统卷积神经网络的单个网络训练模式被广泛应用，但依旧存在灵敏度和细微血管分割准确度较低的问题，相较于卷积神经网络，生成式对抗网络由两个任意子网络构成生成器与判别器部分，两个子网络进行对抗训练，相互协作优化，能够更好学习血管特征优化分割模型。
发明内容
本发明的目的是提供一种基于生成式对抗网络的视网膜血管分割方法，以解决现有技术灵敏度偏低和细微血管分割的不足，实现视网膜血管自动分割和细微血管的高精度良好分割效果的问题。
本发明采用以下技术方案：一种基于生成式对抗网络的视网膜血管分割方法，其特征在于，由以下步骤组成：
步骤S1：对眼底视网膜图像集进行预处理得到训练图像集，
步骤S2：构建基于GAN的视网膜血管分割模型，
步骤S3：利用训练图像集对视网膜血管分割模型训练，
步骤S4：利用训练好的视网膜血管分割模型对待分割的眼底视网膜图像进行分割，输出分割后子图像，
步骤S5：对分割后子图像进行拼接得到完整视网膜血管分割图像，
其中，所述视网膜血管分割模型的生成网络为利用Ladder Net将两个编解码U型网络并行连接在一起，
各所述编解码U型网络包括：
依次连接的四个第一结构块、空洞卷积模块、四个第二结构块，
各所述第一结构块均包括依次连接的卷积层、残差模块、池化层，
各所述第二结构块均包括依次连接的卷积层、残差模块、池化层。
进一步地，所述视网膜血管分割模型的判别网络包括依次连接的四个第三结构块、平均池化层、一个全连接层组成，各所述第三结构块均包括依次连接的卷积层、残差模块和池化层。
进一步地，所述预处理方法为依次进行RGB绿色通道转换、对比度受限的直方图均衡化以及伽马校正方法。
进一步地，所述预处理方法还包括：扩充和旋转。
本发明的有益效果是：本发明的生成器模型为卷积神经网络的编解码结构，提出带有残差模块、空洞卷积及注意力机制的改进U型网络模型进一步改造，结合Ladder Net，在原本的改进U型网络结构中引入Ladder Net的多对编码器解码器概念，将两个改进U型网络并行连接在一起，并对传统的残差模块进行改进为参数共享残差模块，通过设定了两个共享参数的卷积层组成的循环层用来训练，从而用来捕获图像中的复杂特征点，从而提高分割精度；本发明的判别器模型，引入了Res Block，用来防止网络退化问题，通过二者相互交替迭代训练，生成具有良好分割性能的网络模型。
附图说明
图1为本发明的眼底图像预处理效果图；
图2为本发明的眼底图像扩增处理示意图；
图3为本发明的生成式对抗网络总体架构图；
图4为本发明的生成器网络模型结构图；
图5为本发明的判别器网络模型结构图；
图6为本发明的实施例1DRIVE数据集的分割结果图；
图7为本发明的实施例1STARE数据集的分割结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明公开了一种基于生成式对抗网络的视网膜血管分割方法，如图3所示，由以下步骤组成：
步骤S1：对眼底视网膜图像集进行预处理得到训练图像集，
步骤S2：构建基于GAN的视网膜血管分割模型，
步骤S3：利用训练图像集对视网膜血管分割模型训练，
步骤S4：利用训练好的视网膜血管分割模型对待分割的眼底视网膜图像进行分割，输出分割后子图像，
步骤S5：对分割后子图像进行拼接得到完整视网膜血管分割图像，
其中，如图4所示，所述视网膜血管分割模型的生成网络为利用Ladder Net将两个编解码U型网络并行连接在一起，
各所述编解码U型网络包括：
依次连接的四个第一结构块、空洞卷积模块、四个第二结构块，
各所述第一结构块均包括依次连接的卷积层、残差模块、池化层，
各所述第二结构块均包括依次连接的卷积层、残差模块、池化层。
如图5所示，所述视网膜血管分割模型的判别网络包括依次连接的四个第三结构块、平均池化层、一个全连接层组成，各所述第三结构块均包括依次连接的卷积层、残差模块和池化层。
所述预处理方法为依次进行RGB绿色通道转换、对比度受限的直方图均衡化以及伽马校正方法，所述预处理方法还包括：扩充和旋转。
在步骤S1之前为获取公开的DRIVE和STARE数据集中的眼底视网膜图像作为数据集，预处理是对数据集进行RGB绿色通道转换、对比度受限的直方图均衡化以及伽马校正方法进行图像增强预处理，如图1所示，增强背景与血管的对比度，降低噪声干扰，从而利于后续血管的分割；预处理还包括数据集进行扩充、旋转操作进行数据集数量的扩增，如图2所示，避免数据量过小在训练模型中的过拟合问题。
步骤S1对训练集的眼底图像提取血管与背景对比度较高的绿色通道，可较好的观察细微血管纹理；再使用对比度受限自适应直方图均衡化CLAHE来数据增强，用以增加图像局部区域对比度，在一定程度上降低背景噪声的干扰；最后使用gamma矫正，对图像进行非线性操作，使矫正后图像像素与矫正前呈指数关系，矫正眼底图像因光线不均导致的过白或过暗，通过检验眼底图像中的深色区域和浅色区域，加大两者的比重差距，来增大图像背景与血管的对比度；对预处理后数据集进行扩充、旋转操作进行数据集数量的扩增，避免数据量过小在训练模型中的过拟合问题。
编解码U型网络为改进的卷积神经网络中U型结构，两个改进的编解码U型网络并行连接构成W型网络模型。由于U型卷积神经网络只有一对编码器解码器，信息流路径有限，结合Ladder Net的多对编码器解码器概念，将两个改进的编解码U型网络结构并行连接在一起，相比原本的网络结构拥有了很多条信息流路径。
本发明的生成网络负责提取输入图像的特征信息，利用Ladder Net将两个编解码U型网络并行连接在一起，所述编解码U型网络包括依次连接的四个第一结构块、空洞卷积模块、四个第二结构块，所述第一结构块均包括依次连接的卷积层、残差模块、池化层，所述第二结构块均包括依次连接的卷积层、残差模块、池化层。
生成网络的卷积层的尺寸均为3×3，特征通道数为64，并采用了共享参数残差模块(Shared-weights Resblock)替换原始的卷积模块，使用了Relu激活函数和BN层解决了网络层数过多导致网络泛化能力差的问题，用来提高特征使用率，池化层的步长为2。
将编解码U型网络底部的原始卷积层模块替换成为空洞卷积模块，将特征图降为原来的1/2，空洞卷积模块比原始卷积块增加了大小为3的空洞率参数，感受野得到扩增，保留了更多的图像细节，防止了血管分割细节断裂不完整的问题。
视网膜血管分割模型的判别网络解码部分负责恢复图像细节信息，用以对提取之后的特征进行上采样，判别网络包括依次连接的四个第三结构块、平均池化层、一个全连接层组成，各所述第三结构块均包括依次连接的卷积层、残差模块和池化层。
判别网络的卷积层的尺寸同为3×3，结构与生成网络相同，最高解码层为1×1的卷积层，用以输出分割结果。判别网络引入了残差模块，所使用的卷积均为3×3大小的卷积操作，输入的数据先通过大小为3×3，步长为2的卷积提取特征，经过BN加快训练速度，及Relu激活函数增加网络架构的非线性变化，再使用大小为3×3，步长为1的卷积在提取特征同时保证特征图分辨率不变；然后通过一个Res Block结构之后再使用最大池化层Maxpooling进行降维，总共进行四次同样的下采样操作；之后采用一个和特征图大小相同为20的平均池化核对特征图进行全局平均池化Avg pooling操作，最后采用一层全连接层FC操作得到一个最终输出得分，最终输出得分用来判断输入图像的“真假”。
在解码阶段与编码阶段引入注意力机制，利用Attention机制对从收缩路径通过跳跃连接的特征实行一个类似于mask机制的加权操作，使重要的特征权重更大，次要的特征权重很小，甚至直接丢弃掉，让网络专心处理那些重要的特征；
由于只有一对编码器解码器，信息流路径有限，所以再将改进的U型网络结构结合Ladder Net的多对编码器解码器概念，将两个改进的U型网络结构并行连接在一起，并且利用参数共享残差概念，用以减少参数量，提高信息流的拥有量，两个U型通过跳级连接起来，也就是通道数相加，并行连接，从模型中可以看出改进后的W型网络结构，相比原本的网络结构拥有了很多条信息流路径，因此使得视网膜血管分割网络模型具有捕捉复杂特征的能力，获得更高的准确率。
生成式对抗网络的损失函数为：
其中，x表示真实的图像数据，Z表示随机噪声，G(Z)表示生成模型的输出结果，D(x)表示判别模型对于真实训练样本的输出，D(G(Z))表示生成模型生成图像的输出，Pdate(x)表示真实训练样本分布，PZ(Z)表示输入噪声分布，E表示数学期望。对任意一张输入图像，判别模型D输出一个[0,1]区间的值。优化过程可以看成是对生成模型和判别模型的优化。
本发明针对传统卷积神经网络单个网络训练，灵敏度不高和细微血管欠分割的问题，进行优化改进。对于生成器模型，为卷积神经网络的编解码结构，提出带有残差模块、空洞卷积及注意力机制的改进U型网络模型进一步改造，结合Ladder Net，在原本的改进U型网络结构中引入Ladder Net的多对编码器解码器概念，将两个改进U型网络并行连接在一起，并对传统的残差模块进行改进为参数共享残差模块，通过设定了两个共享参数的卷积层组成的循环层用来训练，从而用来捕获图像中的复杂特征点，从而提高分割精度；对于判别器模型，引入了Res Block，用来防止网络退化问题。
通过二者相互交替迭代训练，生成具有良好分割性能的网络模型。通过实验研究证实，本文算法模型能够在DRIVE和STARE眼底数据集上，准确率、特异性和灵敏度分别高达96.84％和96.87％、98.46％和98.61％、83.26％和83.94％，能够更好的学习血管特征，从而训练算法模型更加精确灵敏的实现视网膜血管的分割。
实施例1
1.获取数据
眼底图像增强，提高眼底图像目标血管与背景的对比度，以突出血管细节。实验对象为DRIVE数据集是视网膜图像处理领域中应用最广泛的标准库之一，DRIVE数据库图像的存储格式为JPEG，使用佳能CR53CCD非散瞳相机捕获此图像，具有45度视场角，得到768×584像素大小的图像，视场为圆形，DRIVE直接把40张彩色眼底图像分为两组，分别是训练集和测试集，各20张，不需要使用者另外分组，更便于使用。STATE数据集是美国的医学学机构资助下建立来研究全自动诊断人眼疾病的数据库，该数据集中的图片是采用TopCon-50照相机以35度的角度拍摄的，图像的尺寸都为700×605像素，共20张图像，其中可用于和专家手动标注图像进行结果对比的20张图像中，包含正常和病变的眼底图像各10张，均带有专家手动标注分割图。
数据集预处理该部分的处理，具体为对训练集的眼底图像提取血管与背景对比度较高的绿色通道，可较好的观察细微血管纹理；再使用对比度受限的自适应直方图均衡化CLAHE来数据增强，用以增加图像局部区域对比度，在一定程度上降低背景噪声的干扰；最后使用gamma矫正，对图像进行非线性操作，使矫正后图像像素与矫正前呈指数关系，矫正眼底图像因光线不均导致的过白或过暗，通过检验眼底图像中的深色区域和浅色区域，加大两者的比重差距，来增大图像背景与血管的对比度。效果示意图如图1所示，依次为眼底图像、绿色通道图像、CLAHE处理、伽马变换处理。
由于深度学习的发展离不开大规模数据的支撑，小批量的数据不仅不会取得好的效果而且还可能会引起过拟合的问题。但是由于医学图像的数据采集比较困难，数据量往往都比较小，所以在使用深度学习网络训练时必须对数据进行扩增操作。训练集数据集扩充，对图像增强后图随机剪裁做patch处理，剪裁为48×48的小块作为数据集，此方法在去除掉噪声影响的同时，还可做到把眼底图像特征进行较为完整的保存。实验需要从完整眼底视网膜图像里，用随机的方式选择中心来剪裁得到统一大小的子图像，而子图像的选取范围包括了在视野之外的斑块，这样可以使神经网络能学习怎样分辨视野边界与血管。
2.构建视网膜血管分割模型
生成器模型部分：
结构为卷积神经网络中U型结构进行改进后，两个改进U型网络并行连接构成W型网络模型。首先，U型网络结构的编码部分负责提取输入图像的特征信息，编码阶段由四个结构块构成，用以对图像进行特征提取，每个结构块是下采样和卷积层组成，其卷积层尺寸均为3×3，特征通道数为64，并采用了共享参数残差模块(Shared-weights Resblock)替换原始的卷积模块，使用了Relu激活函数和BN层解决了网络层数过多导致网络泛化能力差的问题，用来提高特征使用率，结构块通过步长为2的池化层相连接。
其次将U型网络模型底部的原始卷积层模块替换成为空洞卷积模块(DilatedConvolution Module)，将特征图降为原来的1/2，本文加入的空洞卷积模块比原始卷积块增加了大小为3的空洞率参数，感受野得到扩增，保留了更多的图像细节，防止了血管分割细节断裂不完整的问题。
再次，解码部分负责恢复图像细节信息，在解码阶段由四个结构块构成，用以对提取之后的特征进行上采样，每个结构块是由上采样和卷积层组成，卷积层尺寸同为3×3，结构与编码模块相同，最高解码层为1×1的卷积层，用以输出分割结果。在解码阶段与编码阶段引入注意力机制，利用Attention机制对从收缩路径通过跳跃连接的特征实行一个类似于mask机制的加权操作，使重要的特征权重更大，次要的特征权重很小，甚至直接丢弃掉，让网络专心处理那些重要的特征。具体操作是该部分接收一个来自跳跃连接的特征图，一个来自上采样的特征图，这两个特征图分别经过一个1x 1的卷积使其调整到通道数的一半，并且保证这两个张量的大小完全一样，之后将这两个张量对应元素相加得到结果后通过一个1×1的卷积将其变为一个和输入的特征图大小相同但通道数为1的张量，将该张量通过一个Sigmoid函数使其值域变为0-1，该结果作为一个权重矩阵并利用广播机制和跳跃连接得到的张量对应元素相乘，从而使跳跃连接中的数值经过权重的加权得到不同的重视程度，结合原始U-Net网络的跳跃连接结构，将多特征融合有效降低视网膜血管信息丢失概率，提升分割精度，恢复图像信息。
最后，由于只有一对编码器解码器，信息流路径有限，所以再将改进的U型网络结构结合Ladder Net的多对编码器解码器概念，通过跳级连接下一条路径，也就是通道数相加，并行连接，结构与编码阶段相同，分别是编码路径与解码路径，并且利用参数共享残差概念，该模块由两个3×3的卷积组成，与传统残差模块不同的是，这两个卷积是共享参数的并在其中加入了Relu激活函数和BN，Dropout等优化函数，防止过拟合和梯度***等情况发生，用减少参数量，提高信息流的拥有量。由两个U型通过跳级连接起来，也就是通道数相加，并行连接，从模型中可以看出改进后的W型网络结构，相比原本的网络结构拥有了很多条信息流路径，因此使得视网膜血管分割网络模型具有捕捉复杂特征的能力，获得更高的准确率，如图4所示，为生成器模型部分完整结构示意图。
判别器模型部分：
判别器引入了残差模块，所使用的卷积均为3×3大小的卷积操作，输入的数据先通过大小为3×3，步长为2的卷积提取特征，经过BN加快训练速度，及Relu激活函数增加网络架构的非线性变化，再使用大小为3×3，步长为1的卷积在提取特征同时保证特征图分辨率不变；然后通过一个Res Block结构之后再使用最大池化层Max pooling进行降维，总共进行四次同样的下采样操作；之后采用一个和特征图大小相同为20的平均池化核对特征图进行全局平均池化Avg pooling操作，最后采用一层全连接层FC操作得到一个最终输出得分。最终输出得分用来判断输入图像的“真假”，如图5所示，为判别器模型部分完整结构示意图。
GAN视网膜血管分割部分：
对视网膜血管分割网络模型的设计分为生成模型G和判别模型D，G和D均为卷积神经网络结构，G训练的目标是生成以假乱真的分割结果，从而使D无法正确区分正负样本，D训练的目标是最大化分类准确率，对正样本的输出趋近于1，对负样本的输出趋近于0。G和D的训练方法为单独交替迭代训练，相互对抗，直到达到纳什平衡，GAN能够训练出更好的拟合真实数据的网络模型。
本发明方法在DRIVE和STARE眼底图像数据库上进行实验，视网膜分割结果如图6和图7所示，图6和图7中左列为原始的眼底图像，中间列为人工手动分割的标准眼底血管图像，右列为本实施例得到的眼底血管分割结果。
通过观察，从图中可以看出该模型算法在视网膜血管分割结果较为良好，与专家手动分割的标准图像结果基本一致，在主要血管的特征分割上更加明显清晰，本发明提出的模型方法能够比较好的学习数据集的特点，从而训练模型使得血管的分割噪声点少，血管更加清晰，细小血管分割准确，误分割欠分割情况较少，准确率更高。
本发明方法针对其血管分割的不足之处，构建了一种新的基于GAN的改进算法模型。对于生成器模型，为卷积神经网络的编解码结构，提出带有残差模块、空洞卷积及注意力机制的改进U型网络模型进一步改造，结合Ladder Net，在原本的改进U型网络结构中引入Ladder Net的多对编码器解码器概念，将两个改进U型网络并行连接在一起，并对传统的残差模块进行改进为参数共享残差模块，通过设定了两个共享参数的卷积层组成的循环层用来训练，从而用来捕获图像中的复杂特征点，从而提高分割精度；对于判别器模型，引入了Res Block，用来防止网络退化问题。通过生成模型与判别模型交替迭代训练，对生成模型不断优化，最终得到了具有良好分割能力的网络模型，在DRIVE和STARE两个公开眼底数据集上进行测试实验。在DRIVE和STARE数据库上的血管分割准确率达到了0.9684和0.9687，特异性达到了0.9846和0.9861，灵敏度达到了0.8326和0.8394，相比较于其他卷积网络灵敏度得到了很大提升，细微血管欠分割和过分割问题很大改善，网络整体性能优于现有分割算法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于生成式对抗网络的视网膜血管分割方法，其特征在于，由以下步骤组成：
步骤S1：对眼底视网膜图像集进行预处理得到训练图像集，
步骤S2：构建基于GAN的视网膜血管分割模型，
步骤S3：利用训练图像集对视网膜血管分割模型训练，
步骤S4：利用训练好的视网膜血管分割模型对待分割的眼底视网膜图像进行分割，输出分割后子图像，
步骤S5：对分割后子图像进行拼接得到完整视网膜血管分割图像，
其中，所述视网膜血管分割模型的生成网络为利用Ladder Net将两个编解码U型网络并行连接在一起，
各所述编解码U型网络包括：
依次连接的四个第一结构块、空洞卷积模块、四个第二结构块，
各所述第一结构块均包括依次连接的卷积层、残差模块、池化层，
各所述第二结构块均包括依次连接的卷积层、残差模块、池化层。
2.根据权利要求1所述的一种基于生成式对抗网络的视网膜血管分割方法，其特征在于，所述视网膜血管分割模型的判别网络包括依次连接的四个第三结构块、平均池化层、一个全连接层组成，各所述第三结构块均包括依次连接的卷积层、残差模块和池化层。
3.根据权利要求1或2所述的一种基于生成式对抗网络的视网膜血管分割方法，其特征在于，所述预处理方法为依次进行RGB绿色通道转换、对比度受限的直方图均衡化以及伽马校正方法。
4.根据权利要求1或2所述的一种基于生成式对抗网络的视网膜血管分割方法，其特征在于，所述预处理方法还包括：扩充和旋转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210805978.XA CN115035127A (zh) | 2022-07-08 | 2022-07-08 | 一种基于生成式对抗网络的视网膜血管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210805978.XA CN115035127A (zh) | 2022-07-08 | 2022-07-08 | 一种基于生成式对抗网络的视网膜血管分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035127A true CN115035127A (zh) | 2022-09-09 |
Family
ID=83129016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210805978.XA Pending CN115035127A (zh) | 2022-07-08 | 2022-07-08 | 一种基于生成式对抗网络的视网膜血管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035127A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152197A (zh) * | 2023-02-21 | 2023-05-23 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116563314A (zh) * | 2023-03-21 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | 腰椎分割方法、装置、电子设备及计算机可读存储介质 |
-
2022
- 2022-07-08 CN CN202210805978.XA patent/CN115035127A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152197A (zh) * | 2023-02-21 | 2023-05-23 | 北京长木谷医疗科技有限公司 | 膝关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116188492B (zh) * | 2023-02-21 | 2024-04-26 | 北京长木谷医疗科技股份有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116152197B (zh) * | 2023-02-21 | 2024-06-25 | 北京长木谷医疗科技股份有限公司 | 膝关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116563314A (zh) * | 2023-03-21 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | 腰椎分割方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN110930418B (zh) | 融合W-net和条件生成对抗网络的视网膜血管分割方法 | |
| CN115035127A (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
| CN112132817A (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN112446891A (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN113256641A (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN111242949B (zh) | 基于全卷积神经网络多尺度特征的眼底图像血管分割方法 | |
| CN113724206B (zh) | 一种基于自监督学习的眼底图像血管分割方法及*** | |
| CN114038564B (zh) | 一种糖尿病无创风险预测方法 | |
| Li et al. | Multi-stage attention-unet for wireless capsule endoscopy image bleeding area segmentation | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| CN113421250A (zh) | 一种基于无病变影像训练的眼底疾病智能诊断方法 | |
| CN116739988A (zh) | 一种基于多难度课程学习的深度学习脑出血分类方法 | |
| Xiao et al. | SE-MIDNet based on deep learning for diabetic retinopathy classification | |
| CN116092667A (zh) | 基于多模态影像的疾病检测方法、***、装置及存储介质 | |
| CN115049682A (zh) | 一种基于多尺度密集网络的视网膜血管分割方法 | |
| CN114519722A (zh) | 一种基于卷积神经网络的颈动脉提取方法 | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |