CN110264424B - 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 - Google Patents
一种基于生成对抗网络的模糊视网膜眼底图像增强方法 Download PDFInfo
- Publication number
- CN110264424B CN110264424B CN201910537576.4A CN201910537576A CN110264424B CN 110264424 B CN110264424 B CN 110264424B CN 201910537576 A CN201910537576 A CN 201910537576A CN 110264424 B CN110264424 B CN 110264424B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- fundus image
- fundus
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 210000001525 retina Anatomy 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000002207 retinal effect Effects 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 44
- 230000002980 postoperative effect Effects 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 208000002177 Cataract Diseases 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 208000017442 Retinal disease Diseases 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 206010038923 Retinopathy Diseases 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 210000003733 optic disk Anatomy 0.000 claims 1
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 206010036346 Posterior capsule opacification Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000004286 retinal pathology Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法,属于图像增强技术领域。包括如下步骤:步骤一:构建训练集和测试集;步骤二:分别对步骤一构建的训练集和测试集中的眼底图像进行预处理;步骤三:构建用于增强的生成对抗网络模型;步骤四:利用训练好的生成器对测试集模糊视网膜眼底图像进行增强,得到最终的增强结果。所述方法对比现有眼底图像增强方法,增强结果平滑无噪声,色彩还原度高,有效地改善了传统方法颜色偏移、对比度过高、颜色失真、噪声放大的问题;避免设计复杂的先验模型,且处理速度更快;很好地还原了视网膜眼底图像血管分布等细节,生成结果真实可靠。
Description
技术领域
本发明涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法,属于图像增强技术领域。
背景技术
视网膜眼底图像被眼科医生用于诊断多种视网膜病变。由于成像过程的缺陷或眼部病变,造成了一些眼底图像质量不高,主要包括图像模糊、焦点不正确、照明不均匀和对比度低等。所得到的眼底图像不能满足临床诊断的需求,并且不适用于计算机辅助诊断视网膜疾病。因此,有必要改善这些图像的解剖结构可见性,使得处理后的图像质量适用于进一步的临床诊断和智能处理需求。
现有研究提出了一些灰度或者彩色视网膜图像增强方法,这些增强方法可大致分为3类:基于变换函数、基于滤波器和基于统计直方图的方法。这些方法可以通过转换函数使得眼底背景与血管之间的灰度差变大,令眼底图像对比度得到提升。然而这样的增强方法使得到的彩色眼底图像丢失重要的图像特征和颜色信息,并且在提升对比度的同时,眼底图像局部的噪声也被增强,不利于眼科医生准确诊断疾病。另外,传统增强方法大多利用先验知识,设计的模型复杂,并且需要人为根据数据特点对算法进行调整,算法的扩展性不强,所以在应用不同数据时难度较大。
生成对抗网络(GAN)在过去几年中得到了迅速发展,它可以用于生成自然图像和医学图像的真实图像。后来学者们提出了条件对抗网络(cGAN),可用于将图像从一个域转换为另一个域,需要成对的训练数据。该方法在图像上色、从标签合成图像、通过边缘重构物体等图到图的转换问题上表现优异,并且不需要先验知识与人为调整。
发明内容
本发明的目的在于针对现有视网膜眼底图像增强方法存在的如下两方面缺陷:1)得到的彩色眼底图像丢失重要的图像特征和颜色信息,并且在提升对比度的同时,眼底图像局部的噪声也被增强,不利于眼科医生准确诊断疾病;2)大多利用先验知识,网络模型复杂,需要人为根据数据特点对方法进行调整,扩展性弱;提出了一种基于生成对抗网络的模糊视网膜眼底图像增强方法。
一种基于生成对抗网络的模糊视网膜眼底图像增强方法,包括如下步骤:
步骤一:构建训练集和测试集;
其中,训练集及测试集中的图像是临床采集的视网膜眼底图像;训练集中包含白内障手术的术前图像和术后拍摄的眼底图像,图像为配对的视网膜眼底图像,即每张模糊图像均有对应的清晰图像作为参照;测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像,且测试集不需要参照图像;
术前图像由于白内障视网膜病变而产生模糊,因此是模糊眼底图像;术后图像为清晰的眼底图像;采集对象为同一人,因此其视盘以及血管为主的眼底结构一致;术后图像为术前图像的标签;
术前图像以及术后图像称为手术前后图像对;
构建训练集过程中,对图像进行筛选,剔除过度模糊、病变严重、过暗的图像对;
步骤二:分别对步骤一构建的训练集和测试集中的眼底图像进行预处理,具体包括如下子步骤:
步骤2.1对于训练集中的手术前后图像对进行配准,保证手术前后图像对的视盘位置与血管分布逐像素对应,输出配准后的手术前后图像;
其中,优选的配准方法为基于Harris-PIIFD特征点的眼底图像配准方法,该配准方法以术后图像为基准配准术前图像,包括如下子步骤:
步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点,并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点;
步骤2.1B采用平均平方梯度的方法,为步骤2.1A中每一个特征角点指派主方向;
步骤2.1C以每一个特征角点为中心,提取该特征角点邻域内的PIIFD特征向量;
步骤2.1D采用BBF(Best-Bin-First)算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配,术后图像中特征角点为基准点,术前图像对应的特征角点为匹配点;
步骤2.1E对于步骤2.1D中所有匹配点,其中存在匹配不正确的点,称为误匹配点,通过特征角点的主方向以及几何分布,检测出误匹配点并剔除;
步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调,具体为:搜索匹配点周围M*M像素范围内所有特征角点,比较基准点与匹配点的PIIFD特征向量,选取匹配度最高的点代替原匹配点;
其中,M取值范围为[1,10];
步骤2.1G根据匹配点个数选择对术后图像进行几何变换,输出配准后的手术前后图像,具体为:
2.1GA若只存在两对匹配点,则对术后图像采用线性保角变换;
2.1GB若匹配点对的个数在[3,6)范围内,则对术后图像采用仿射变换;
2.1GC若匹配点对的个数大于等于6,则对术后图像采用二次多项式变换;
其中,匹配点对指匹配点与对应基准点组成的点对;
至此,配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应;
步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性;
步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域,再截取重叠区域,得到截取重叠区域后的图像对,具体包括如下子步骤:
步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理;
其中,阈值T的取值范围为[0,50]中的整数;
步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道;
步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞,若不存在,则输出二值化后的ROI区域;若存在则进行孔洞填充,再输出二值化后ROI区域;
步骤2.2C的操作原因是部分眼底图像亮度不均、亮度较低,经步骤2.2B处理可能会存在黑色孔洞;
至此,经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作;
步骤2.2D对配准后提取的二值化后ROI区域进行与操作,得到重叠区域模板,将重叠区域模板与配准后的结果相乘,得到截取重叠区域后的图像对;
步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框,并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2K*2K像素,具体为:对于截取重叠区域后的图像以及测试集中的模糊眼底图像,利用步骤2.2A到步骤2.2C提取其ROI区域,再将多余的边框去除,留取ROI区域边界为图像边界,更好的保留原图的信息,将图像分辨率调整至为2K*2K像素;
其中,K的取值范围为[6,9];
步骤2.4当训练集中的手术前后图像对小于N时,对训练集中的手术前后图像对进行旋转、翻转以扩充训练集;N取值为[50,100]中的整数;
步骤三:构建用于增强的生成对抗网络模型;
其中,该生成对抗网络模型,简称模型,包括生成器、判别器以及损失函数,步骤三包括如下子步骤:
步骤3.1采取U-Net结构构建生成器;
进行K次降采样,将2K*2K*3像素降采样至1*1*2K,再进行K次升采样,还原至2K*2K*3,并且将卷积层连接至对应的反卷积层;
卷积核大小为S*S,步长为2,降采样通道数在前三层分别为2K-3、2K-2、2K-1,第4层到第K层通道数为2K,升采样通道数与降采样相对应;
其中,S取值为[3,5]中的整数;
卷积层与反卷积层每层包括卷积、正则化以及激活函数;
激活函数在卷积层为负斜率为L的LeakyReLU激活函数;
反卷积层激活函数为ReLU;最外层激活函数为双曲正切函数;
其中,L取值范围为[0,1];
生成器的输入为手术前模糊视网膜眼底图像,输出为增强图像,该模糊眼底图像通过生成器从而得到增强;
生成器采用U-Net结构的原因是为了保证输入眼底图的视盘,血管等信息可以保留;U-Net结构中将输入层与对应的输出层连接;
步骤3.2采用PatchGAN结构构建判别器;
共P层卷积,前P-2层进行步长为2的降采样,第P-1层与第P层卷积步长为1;卷积核尺寸为S*S,第一层到第三层通道数分别为2K-3、2K-2、2K-1,第四层到第P-1层通道数为2K,最后一层通道数为1;
前P-1层卷积层包括卷积、正则化以及激活函数,激活函数为负斜率为L的LeakyReLU,最后一层卷积后直接输出;
判别器是用来分辨输入的图像是否为真实眼底图像,通过训练判别器使之可以成功判别输入真假;
步骤3.3构建网络的损失函数;
损失函数包括手术后清晰眼底图与增强后输出的L1损失函数,以及生成对抗损失;
判别器D(X)为给出输入判别器图像X为真的概率d,d∈[0,1];其中,X为y或G(x);当X为生成眼底图像G(x)时,d接近于0,当X为真实的清晰眼底图像y时,d接近于1;
最终目标函数,即构建的损失函数如公式(3)所示:
生成对抗损失的目的是生成逼真的清晰眼底图像,L1损失的目的是保留原图视盘血管为主的眼底结构信息;
步骤3.4模型训练,更新参数并保存,包括如下子步骤:
步骤3.4A将模糊眼底图像输入生成器G,前向传播生成增强后眼底图像;
步骤3.4C进行反向传播与参数优化,采用判别器生成器交替优化的方式,对判别器进行一次优化,再对生成器进行一次优化;
其中,判别器和生成器优化的学习率均为Q,Q的初始取值的范围为[e-4,e-3];
步骤3.4D重复步骤3.4A~步骤3.4C,记录步骤3.4B输出的和通过公式(3)计算损失函数值,所有训练集中的手术前后图像遍历一次为一个Epoch,根据记录的损失函数值绘制不同Epoch损失曲线,当损失曲线收敛平稳后,即当训练达到Epoch等于kk时,对学习率Q进行调整,设为Q*10-2,以对模型进行微调;
其中,kk的取值范围为大于等于100;
步骤3.4E保存训练好的生成器;
步骤四:利用训练好的生成器对测试集模糊视网膜眼底图像进行增强,得到最终的增强结果。
有益效果
本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法,与现有眼底图像增强方法相比,具有如下有益效果:
1、所述方法通过配对的数据训练生成对抗网络,利用训练完成的生成器直接对模糊视网膜眼底图像进行增强,对比现有眼底图像增强方法,增强结果平滑无噪声,色彩还原度高,有效地改善了传统方法颜色偏移、对比度过高、颜色失真、噪声放大的问题;
2、所述方法通过训练生成对抗网络得到生成器G,模糊眼底图像输入后可直接生成增强后图像,避免设计复杂的先验模型,且处理速度更快;
3、所述方法通过配对之间的约束与U-Net网络结构,很好地还原了视网膜眼底图像血管分布等细节,生成结果真实可靠。
附图说明
图1为本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法所依托的生成对抗网络结构示意图;
图2为本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法及实施例中的流程示意图。
具体实施方式
下面结合附图并举实施例,对本发明所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法进行详细描述。
实施例1
本实施例阐述了本发明所述一种基于生成对抗网络的模糊视网膜眼底图像增强方法的具体实施。
图1是本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法所依托的生成对抗网络结构示意图;
图1中G代表生成器,D代表判别器,实线表示更新生成器参数,虚线表示更新判别器参数;生成器的输入为术前模糊眼底图像,输出为生成的增强图像;判别器输入为生成的增强图像与手术后清晰的眼底图像;Loss_L1通过计算生成的增强图像与手术后清晰眼底图像的L1损失更新生成器参数;Loss_adv通过计算输入判别器图像的对抗性损失更新生成器与判别器参数。
图2是本发明具体实施方式中模糊眼底图像增强算法流程图,具体包括如下步骤:
步骤A:构建训练集和测试集;
采用临床收集的20对白内障手术前后视网膜眼底图像作为训练集,50张模糊视网膜眼底图像作为测试集;
为了保证增强质量,对训练集图像进行筛选,剔除模糊等级过高、过暗而导致的眼底结构不可见的眼底图像对,同时剔除病变严重的图像对,最终剩余11对手术前后图像对;
步骤B:分别对步骤一构建的训练集和测试集中的眼底图像进行预处理,具体包括如下子步骤:
步骤B.1:对于训练集中的手术前后图像对进行配准,采用基于Harris-PIIFD特征点的眼底图像配准方法,以手术后的眼底图像为基准,配准手术前眼底图像;利用Harris检测器来检测手术前后图像对包含的特征角点,并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点;采用平均平方梯度的方法,为特征角点指派主方向;以特征角点为中心,提取该特征角点邻域内的PIIFD特征向量;采用BBF算法,对手术前后图像对中不同特征角点提取的PIIFD特征向量进行匹配,术后图像中特征角点为基准点,术前图像对应的特征角点为匹配点;通过特征角点的主方向以及几何分布,对误匹配点剔除;对匹配点位置进行微调,搜索匹配点周围5*5像素范围内所有特征角点,比较基准点与匹配点的PIIFD特征向量,选取匹配度最高的点代替原匹配点;根据匹配点个数选择对术后图像进行几何变换;至此,配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应;
步骤B.2:对于配准后图像,截取配准后重叠区域;首先,提取彩色眼底图中的红色通道并对红色通道进行阈值处理;然后,应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于阈值分割处理后的红色通道;最后,由于部分眼底图像亮度不均,亮度较低的原因,经上述处理,可能会存在黑色孔洞,对二值化后的ROI区域再执行孔洞填充操作以填充孔洞;提取ROI区域后,对配准后手术前后的ROI区域进行与操作,得到的结果再与配准后的结果相乘,得到配准后的重叠区域;
步骤B.3:由于临床数据像素不一致以及配准后重叠区域大小不一致,需要统一数据的边框及大小;对于截取重叠区域后的图像,利用上述方法提取其ROI区域,并将多余的边框去除,留取ROI区域边界为图像边界,更好地保留原图的信息;将图像调整大小至512×512像素;
步骤B.4:对于测试数据,为了规范输入,也需要进行边框及大小的统一。调整ROI区域边界为图像边界,大小为512×512,以便网络输入;
步骤B.5:扩充训练数据,对手术前后图像对进行相同的旋转、翻转操作并保存,扩充训练数据至121对;
步骤C:生成对抗网络模型的构建与训练,如图1所示,图中该生成对抗网络由生成器,判别器构成,生成器输入为术前模糊眼底图像,输出为增强后图像,损失函数包括生成对抗损失与生成图像与参照图像之间的L1损失,生成器采取U-Net结构,将卷积层连接至相应的反卷积层,判别器采用PatchGAN结构,最后一层卷积输出预测;具体步骤如下:
步骤C.1:构建生成器。本方法生成对抗网络由两部分构成,生成器与判别器。生成器的输入为手术前模糊视网膜眼底图像,该模糊眼底图像通过生成器从而得到增强,生成图像尽可能与手术后清晰眼底图像无法分辨真假。为了保证输入眼底图的视盘,血管等信息可以保留,生成器采用U-Net结构,将输入层与对应的输出层连接。共有进行9次降采样与对应的9次升采样,将512*512*3转换至1*1*512再还原至512*512*3。卷积核大小为4*4,步长为2,降采样通道数在前三层分别为64、128、256,四到九层为512,升采样通道数与降采样相对应。每层均进行批归一化操作并有相应的激活函数,激活函数卷积层为负斜率为0.2的LeakyReLU激活函数,反卷积层为ReLU,最外层激活函数为双曲正切函数。
步骤C.2:构建判别器。判别器的作用是用来分辨输入的图像是否为真实眼底图像,通过训练判别器使之可以成功判别输入真假。判别器采用PatchGAN结构,共五层卷积,卷积核尺寸为4*4。前三层卷积步长为2,进行降采样,通道数分别为64、128、256,第四、第五层步长为1,通道数为512、1。前四层卷积卷积后进行批归一化操作并添加激活函数,激活函数为负斜率为0.2的LeakyReLU。
步骤C.3:构建模型损失函数。将数据表示为其中代表模糊眼底图像,代表清晰眼底图像。我们的目的是增强模糊眼底图像x,使之生成与清晰眼底图像y尽可能相似的图像生成器可以表示为通过训练使得趋近于y。判别器可以表示为D:X→d∈[0,1],当X为模糊眼底图像时,d接近于0,当X为清晰眼底图像时,d接近于1。本方法的损失函数包含两部分:一部分为生成对抗损失,本方法采用LSGAN中最小平方损失函数;另一部分为生成图像与真实图像的约束,采用L1损失函数。计算公式如(1)所示:
步骤C.4:模型训练,更新参数并保存。训练时,首先将模糊眼底图像输入生成器G,前向传播生成增强后眼底图像。将增强后图像与清晰眼底图像分别输入判别器D以计算并且计算将增强后图像与清晰眼底图像的随后进行反向传播与参数优化,优化方式选用Adam,每张图像,对判别器进行一次优化,再对生成器进行一次优化。学***稳后,对学***台为ubuntu16.04,采用pytorch深度学习框架,利用GPU对训练进行加速。
步骤D:进行测试时,加载训练好的生成器G,将经过预处理的模糊视网膜眼底图像输入生成器,得到增强后的眼底图像。
自此,就实现了模糊视网膜眼底图像增强的全部过程。实验验证,该方法可以有效实现对模糊眼底图像的增强,并且很好地还原了视网膜眼底图像血管分布等细节,生成结果真实可靠。测试结果表明,该方法增强结果平滑无噪声,改善了传统眼底增强方法对比度过高,颜色失真,噪声放大的问题。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:包括如下步骤:
步骤一:构建训练集和测试集;
其中,训练集及测试集中的图像是临床采集的视网膜眼底图像;训练集中包含白内障手术的术前图像和术后拍摄的眼底图像,图像为配对的视网膜眼底图像,即每张模糊图像均有对应的清晰图像作为参照;测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像,且测试集不需要参照图像;
术前图像以及术后图像称为手术前后图像对;
构建训练集过程中,对图像进行筛选,剔除过度模糊、病变严重、过暗的图像对;
步骤二:分别对步骤一构建的训练集和测试集中的眼底图像进行预处理,具体包括如下子步骤:
步骤2.1对于训练集中的手术前后图像对进行配准,保证手术前后图像对的视盘位置与血管分布逐像素对应,输出配准后的手术前后图像;
其中,优选的配准方法为基于Harris-PIIFD特征点的眼底图像配准方法,该配准方法以术后图像为基准配准术前图像,包括如下子步骤:
步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点,并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点;
步骤2.1B采用平均平方梯度的方法,为步骤2.1A中每一个特征角点指派主方向;
步骤2.1C以每一个特征角点为中心,提取该特征角点邻域内的PIIFD特征向量;
步骤2.1D采用Best-Bin-First算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配,术后图像中特征角点为基准点,术前图像对应的特征角点为匹配点;
步骤2.1E对于步骤2.1D中所有匹配点,其中存在匹配不正确的点,称为误匹配点,通过特征角点的主方向以及几何分布,检测出误匹配点并剔除;
步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调,具体为:搜索匹配点周围M*M像素范围内所有特征角点,比较基准点与匹配点的PIIFD特征向量,选取匹配度最高的点代替原匹配点;
步骤2.1G根据匹配点个数选择对术后图像进行几何变换,输出配准后的手术前后图像,具体为:
2.1GA若只存在两对匹配点,则对术后图像采用线性保角变换;
2.1GB若匹配点对的个数在[3,6)范围内,则对术后图像采用仿射变换;
2.1GC若匹配点对的个数大于等于6,则对术后图像采用二次多项式变换;
其中,匹配点对指匹配点与对应基准点组成的点对;
至此,配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应;
步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性;
步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域,再截取重叠区域,得到截取重叠区域后的图像对,具体包括如下子步骤:
步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理;
步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道;
步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞,若不存在,则输出二值化后的ROI区域;若存在则进行孔洞填充,再输出二值化后ROI区域;
至此,经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作;
步骤2.2D对配准后提取的二值化后ROI区域进行与操作,得到重叠区域模板,将重叠区域模板与配准后的结果相乘,得到截取重叠区域后的图像对;
步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框,并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2K*2K像素,具体为:对于截取重叠区域后的图像以及测试集中的模糊眼底图像,利用步骤2.2A到步骤2.2C提取其ROI区域,再将多余的边框去除,留取ROI区域边界为图像边界,更好的保留原图的信息,将图像分辨率调整至为2K*2K像素;
步骤2.4当训练集中的手术前后图像对小于N时,对训练集中的手术前后图像对进行旋转、翻转以扩充训练集;
步骤三:构建用于增强的生成对抗网络模型;
其中,该生成对抗网络模型,简称模型,包括生成器、判别器以及损失函数,步骤三包括如下子步骤:
步骤3.1采取U-Net结构构建生成器;
进行K次降采样,将2K*2K*3像素降采样至1*1*2K,再进行K次升采样,还原至2K*2K*3,并且将卷积层连接至对应的反卷积层;
卷积核大小为S*S,步长为2,降采样通道数在前三层分别为2K-3、2K-2、2K-1,第4层到第K层通道数为2K,升采样通道数与降采样相对应;
其中,S取值为[3,5]中的整数;
卷积层与反卷积层每层包括卷积、正则化以及激活函数;
激活函数在卷积层为负斜率为L的LeakyReLU激活函数;
反卷积层激活函数为ReLU;最外层激活函数为双曲正切函数;
生成器的输入为手术前模糊视网膜眼底图像,输出为增强图像,该模糊眼底图像通过生成器从而得到增强;
生成器采用U-Net结构的原因是为了保证输入眼底图的视盘,血管信息可以保留;U-Net结构中将输入层与对应的输出层连接;
步骤3.2采用PatchGAN结构构建判别器;
共P层卷积,前P-2层进行步长为2的降采样,第P-1层与第P层卷积步长为1;卷积核尺寸为S*S,第一层到第三层通道数分别为2K-3、2K-2、2K-1,第四层到第P-1层通道数为2K,最后一层通道数为1;
前P-1层卷积层包括卷积、正则化以及激活函数,激活函数为负斜率为L的LeakyReLU,最后一层卷积后直接输出;
判别器是用来分辨输入的图像是否为真实眼底图像,通过训练判别器使之可以成功判别输入真假;
步骤3.3构建网络的损失函数;
损失函数包括手术后清晰眼底图与增强后输出的L1损失函数,以及生成对抗损失;
判别器D(X)为给出输入判别器图像X为真的概率d,d∈[0,1];其中,X为y或G(x);当X为生成眼底图像G(x)时,d接近于0,当X为真实的清晰眼底图像y时,d接近于1;
最终目标函数,即构建的损失函数如公式(3)所示:
生成对抗损失的目的是生成逼真的清晰眼底图像,L1损失的目的是保留原图视盘血管为主的眼底结构信息;
步骤3.4模型训练,更新参数并保存,包括如下子步骤:
步骤3.4A将模糊眼底图像输入生成器G,前向传播生成增强后眼底图像;
步骤3.4C进行反向传播与参数优化,采用判别器生成器交替优化的方式,对判别器进行一次优化,再对生成器进行一次优化;
其中,判别器和生成器优化的学习率均为Q,Q的初始取值的范围为[e-4,e-3];
步骤3.4D重复步骤3.4A~步骤3.4C,记录步骤3.4B输出的和通过公式(3)计算损失函数值,所有训练集中的手术前后图像遍历一次为一个Epoch,根据记录的损失函数值绘制不同Epoch损失曲线,当损失曲线收敛平稳后,即当训练达到Epoch等于kk时,对学习率Q进行调整,设为Q*10-2,以对模型进行微调;
步骤3.4E保存训练好的生成器;
步骤四:利用训练好的生成器对测试集模糊视网膜眼底图像进行增强,得到最终的增强结果。
2.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:术前图像由于白内障视网膜病变而产生模糊,因此是模糊眼底图像;术后图像为清晰的眼底图像;采集对象为同一人,因此其视盘以及血管为主的眼底结构一致;术后图像为术前图像的标签。
3.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:M取值范围为[1,10]。
4.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:阈值T的取值范围为[0,50]中的整数。
5.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:K的取值范围为[6,9]。
6.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:N取值为[50,100]中的整数。
7.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:L取值范围为[0,1]。
8.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法,其特征在于:kk的取值范围为大于等于100。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910537576.4A CN110264424B (zh) | 2019-06-20 | 2019-06-20 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910537576.4A CN110264424B (zh) | 2019-06-20 | 2019-06-20 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110264424A CN110264424A (zh) | 2019-09-20 |
CN110264424B true CN110264424B (zh) | 2021-05-04 |
Family
ID=67919910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910537576.4A Active CN110264424B (zh) | 2019-06-20 | 2019-06-20 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110264424B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689080B (zh) * | 2019-09-30 | 2023-04-18 | 天津工业大学 | 一种血管结构影像的平面图谱构建方法 |
CN110852965A (zh) * | 2019-10-31 | 2020-02-28 | 湖北大学 | 一种基于生成对抗网络的视频光照增强方法及*** |
CN111209850B (zh) * | 2020-01-04 | 2021-02-19 | 圣点世纪科技股份有限公司 | 一种基于改进cGAN网络生成适用多设备识别指静脉图像的方法 |
CN111242865A (zh) * | 2020-01-10 | 2020-06-05 | 南京航空航天大学 | 基于生成式对抗网络的眼底图像增强方法 |
CN113284054B (zh) * | 2020-02-19 | 2024-07-02 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
CN111242850B (zh) * | 2020-03-06 | 2023-09-15 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种广域眼底光学相干血流成像分辨率提升方法 |
CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
CN111783545A (zh) * | 2020-06-02 | 2020-10-16 | 山西潞安环保能源开发股份有限公司五阳煤矿 | 一种基于生成对抗网络的煤矿无人机图像增强方法 |
CN111815529B (zh) * | 2020-06-30 | 2023-02-07 | 上海电力大学 | 一种基于模型融合和数据增强的低质图像分类增强方法 |
CN111931816A (zh) * | 2020-07-09 | 2020-11-13 | 河南工业大学 | 一种视网膜图像平行处理方法及装置 |
CN112037187B (zh) * | 2020-08-24 | 2024-03-26 | 宁波市眼科医院 | 一种眼底低质量图片的智能优化*** |
CN112508862B (zh) * | 2020-11-19 | 2022-03-25 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
CN112700390B (zh) * | 2021-01-14 | 2022-04-26 | 汕头大学 | 一种基于机器学习的白内障oct图像修复方法及*** |
CN113658097B (zh) * | 2021-07-15 | 2023-07-18 | 南方科技大学 | 一种眼底图像质量增强模型的训练方法及装置 |
CN114298206B (zh) * | 2021-12-24 | 2024-05-24 | 北京理工大学 | 一种眼底图像域转换方法及*** |
CN114642502B (zh) * | 2022-02-21 | 2023-07-14 | 北京工业大学 | 斜视手术方案的辅助设计方法及装置 |
CN114897678B (zh) * | 2022-03-29 | 2023-05-16 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及*** |
CN115909470B (zh) * | 2022-11-24 | 2023-07-07 | 浙江大学 | 基于深度学习的全自动眼睑疾病术后外观预测***和方法 |
CN117876242B (zh) * | 2024-03-11 | 2024-05-28 | 深圳大学 | 眼底图像增强方法、装置、设备及可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111512344A (zh) * | 2017-08-08 | 2020-08-07 | 西门子股份公司 | 使用增强用生成式对抗神经网络从cad数据生成合成深度图像 |
CN109493308B (zh) * | 2018-11-14 | 2021-10-26 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
CN109636754B (zh) * | 2018-12-11 | 2022-05-31 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
-
2019
- 2019-06-20 CN CN201910537576.4A patent/CN110264424B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110264424A (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110264424B (zh) | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 | |
CN106920227B (zh) | 基于深度学习与传统方法相结合的视网膜血管分割方法 | |
Lim et al. | Integrated optic disc and cup segmentation with deep learning | |
CN110276356A (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
CN109166126A (zh) | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 | |
CN110930416A (zh) | 一种基于u型网络的mri图像***分割方法 | |
CN111507932B (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
CN102982542B (zh) | 一种基于相位一致性的眼底图像血管分割方法 | |
CN110163809A (zh) | 基于U-net生成对抗网络DSA成像方法及装置 | |
CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
CN104899876A (zh) | 一种基于自适应高斯差分的眼底图像血管分割方法 | |
KR101258814B1 (ko) | 동적조영증강 유방 mr 영상에서 조직별 밝기값 보정 및 종양 강성 제약을 적용한 비강체 정합 방법 및 시스템 | |
CN107292835A (zh) | 一种眼底图像视网膜血管自动矢量化的方法及装置 | |
CN107229937A (zh) | 一种视网膜血管分类方法及装置 | |
CN112419282B (zh) | 脑部医学影像中动脉瘤的自动检测方法及*** | |
Wan et al. | Retinal image enhancement using cycle-constraint adversarial network | |
Yang et al. | Retinal image enhancement with artifact reduction and structure retention | |
CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
CN114359104B (zh) | 一种基于分级生成的白内障眼底图像增强方法 | |
CN115775210A (zh) | 一种广域眼底相机图像融合方法、***及存储介质 | |
Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
CN117372284A (zh) | 眼底图像处理方法及*** | |
CN115205315A (zh) | 一种眼科体征保持的眼底图像增强方法 | |
Lei et al. | LAC-GAN: Lesion attention conditional GAN for ultra-widefield image synthesis | |
Mehidi et al. | A high accuracy segmentation method for retinal blood vessel detection based on hybrid filters and an adaptive thresholding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |