CN109345469A - 一种基于条件生成对抗网络的oct成像中散斑去噪方法 - Google Patents
一种基于条件生成对抗网络的oct成像中散斑去噪方法 Download PDFInfo
- Publication number
- CN109345469A CN109345469A CN201811042548.7A CN201811042548A CN109345469A CN 109345469 A CN109345469 A CN 109345469A CN 201811042548 A CN201811042548 A CN 201811042548A CN 109345469 A CN109345469 A CN 109345469A
- Authority
- CN
- China
- Prior art keywords
- image
- condition
- oct
- speckle
- confrontation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 47
- 210000001525 retina Anatomy 0.000 claims abstract description 17
- 230000003321 amplification Effects 0.000 claims abstract description 15
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 15
- 238000012935 Averaging Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 230000001575 pathological effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000012014 optical coherence tomography Methods 0.000 description 64
- 230000006870 function Effects 0.000 description 27
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000002189 macula lutea Anatomy 0.000 description 4
- 230000004256 retinal image Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004587 chromatography analysis Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000001309 degenerative myopia Diseases 0.000 description 1
- 230000004340 degenerative myopia Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于条件生成对抗网络的OCT成像中散斑去噪方法，包括以下步骤：训练图像的获取、训练图像的预处理、数据扩增、模型训练以及模型使用；本发明采用条件生成对抗网络(cGAN)架构，通过训练得到从含有散斑噪声的OCT图像到无噪声的OCT图像的映射模型，再采用该映射模型对视网膜OCT图像的散斑噪声进行消除。本发明在条件生成对抗网络架构中引入了保持边缘细节的约束条件来训练，得到对边缘信息敏感的OCT图像散斑去噪模型，从而使本发明的散斑去噪模型在有效去除散斑噪声的同时，还能较好的保留图像细节信息。
Description
技术领域
本发明属于视网膜图像去噪方法技术领域，具体是一种基于条件生成对抗网络的OCT成像中散斑去噪方法。
背景技术
光学相干层析成像(Optical Coherence Tomography，OCT)是近年发展起来的宽带光扫描层析成像技术，利用宽带光源的低相干性来实现高分辨率、非侵入的光学层析成像，目前，OCT成像的分辨率一般可以达到十几微米，最高可达几微米。
光学相干断层成像技术可快速获取微米级分辨率的眼部生物组织横截面图像，目前已成为视网膜成像的重要工具，为临床眼科医生对疾病的诊疗提供了帮助；由光波的多次前向和后向散射引起的散斑噪声是引起OCT图像质量下降的主要因素，存在的散斑噪声经常掩盖细微但重要的形态细节，因此对观测视网膜病变是不利的，它还影响用于客观和准确量化的自动分析方法的性能；尽管在过去二十年中OCT的成像分辨率、速度和深度已经大大改善，但作为成像技术的固有问题的散斑噪声尚未得到很好的解决。
申请号为201210242543.5的专利公开了基于自适应双边滤波的OCT图像散斑噪声减小算法，通过建立原始OCT图像的散斑噪声模型，依据瑞利准则，将原始OCT图像的散斑噪声模型作为变量，构建空间函数，并通过分析空间函数的特性，推导出空间函数F对滤波权系数进行自适应修正的方法公式；其能够实现减小OCT图像散斑噪声、减小图像均方误差并提高峰值信噪比，同时极大程度地保持图像的边缘信息，提高边缘对比度，获得更清晰的图像边缘细节。然而，目前的视网膜OCT图像散斑去噪算法存在以下的缺陷：(1)通用的图像去噪算法难以有效针对散斑噪声的特点进行去除；(2)传统的一些图像去噪算法会引起一定程度的图像边缘失真和对比度下降；(3)大部分图像去噪算法难以在去除散斑噪声的同时又叫好的保留图像细节信息，容易造成图像的过度平滑；(4)有些方法实现复杂度和时间成本过高，且很难适应不同类型的OCT扫描仪采集的图像。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于条件生成对抗网络的OCT成像中散斑去噪方法，本发明采用条件生成对抗网络(cGAN)架构，通过训练得到从含有散斑噪声的OCT图像到无噪声的OCT图像的映射模型，再采用该映射模型对视网膜OCT图像的散斑噪声进行消除。
为实现上述目的，本发明采用的技术方案是：
一种基于条件生成对抗网络的OCT成像中散斑去噪方法，包括以下步骤：
S1，训练图像的获取，对同一只眼多次采集含有多张B扫描图像的三维图像；
S2，训练图像的预处理，对所述三维图像中相近位置的B扫描图像进行配准，将多张配准后的图像求平均并进行对比度拉伸，得到无噪声的OCT图像，再将无噪声的OCT图像与相应位置上含有散斑噪声的原B扫描图像组成训练图像对；
S3，数据扩增，通过随机缩放、水平翻转、旋转和非刚性变换对已预处理后的训练图像对进行数据扩增，获得最终的训练数据集；
S4，模型训练，利用训练数据集，采用条件生成对抗网络架构，并引入保持边缘细节的约束，通过端到端训练得到对边缘信息敏感的OCT图像散斑去噪模型；
S5，模型使用，将含有散斑噪声的OCT图像送入训练好的OCT图像散斑去噪模型进行计算，获得无噪声的OCT图像。
具体地，步骤S2中，对所述三维图像中相近位置的B扫描图像进行配准包括以下步骤：
S21，在多张所述三维图像中随机挑选一张作为目标图像；
S22，以所述目标图像中第i个B扫描图像为基准，将所有三维图像中位置与所述第i个B扫描图像相近的B扫描图像放在一个集合中；
S23，利用仿射变换对所述集合中的所有除第i个以外的B扫描图像以第i个B扫描图像为基准进行配准。
进一步地，步骤S2中，将多张配准后的图像求平均并进行对比度拉伸包括以下步骤：
S24，从配准后的图像中，选择具有最高平均结构相似性指数的多个图像与第i个B扫描图像一起求平均，得到与第i个B扫描图像相对应的参考去噪图像；
S25，对所述参考去噪图像执行分段线性灰度拉伸变换得到对比度增强的标准去噪图像，小于背景区域平均值的灰度被映射到0，其余灰度通过线性拉伸缩放到[0,255]。
进一步地，步骤S24中，所述平均结构相似性指数通过以下公式得到：
其中，x和y为两张图像中对应位置的两个大小为W×W的窗口，μx和uy分别是两个窗口中像素灰度的平均值，与分别是两个窗口中像素灰度的方差，σxy是x和y两个窗口的协方差；常数C1＝2.55，C2＝7.65。
具体地，步骤S3中，
所述随机缩放采用不同的缩放因子来模拟不同分辨率的OCT仪器采集的图像，便于用扩增后的数据集训练出来的模型可测试不同类型的OCT扫描仪采集的其他图像；
所述水平翻转用于模拟右眼和左眼的对称性，以保证用扩增后的数据集训练出来的模型可适应左右眼；
所述旋转用于模拟OCT图像中视网膜的不同倾斜度，旋转角度范围为-30°～30°，从而提高用扩增后的数据集训练出来的模型处理倾斜程度不同的视网膜OCT图像的鲁棒性；
所述非刚性变换用于模拟不同病理引起的变形差异，从而使用扩增后的数据集训练出来的模型可以处理不同病理的OCT图像。
具体地，步骤S4中，所述条件生成对抗网络包括生成器和判别器；
所述条件生成对抗网络以输入的图像作为条件来约束生成的图像；
所述生成器通过训练学习使得自身生成让判别器难以分辨的图像，所述判别器通过训练学习来提升自身的分辨能力。
进一步地，所述条件生成对抗网络的目标函数为：
其中，Pdata(x,y)为x和y的联合概率密度函数，Pdata(x)为x的概率密度函数，Pz(z)为z的概率密度函数；G为生成器，D为判别器；所述生成器的输入是目标图像中的B扫描图像x和随机噪声向量z，输出是和x相应的生成图像G(x,z)；所述判别器的输入是目标图像中的B扫描图像x和相应的金标准y构成的真实数据对(x,y)或者所述B扫描图像x和生成图像G(x,z)构成的生成数据对(x,G(x,z))，输出是数据对判断为真实的概率；
在训练过程中，判别器的目标是使所述目标函数最大，生成器的目标是使所述目标函数最小，则优化后的目标函数为：
为了使生成的图像更接近于金标准，在目标函数中引入L1距离约束：
为了解决在去除散斑噪声的同时又能清晰保留边缘的困难，在目标函数中引入对边缘信息敏感的边缘损失：
其中，i和j表示图像中纵向和横向的坐标；
所述条件生成对抗网络的最终优化目标函数为：
其中，λ1和λ2分别是L1距离和边缘损失的加权系数。
与现有技术相比，本发明的有益效果是：(1)本发明通过对同一只眼多次采集含有多张B扫描图像的三维图像，对相近位置B扫描图像进行配准，再求平均并对其进行对比度拉伸，使获得的训练图像质量更高；(2)本发明在训练数据的扩增中，采用随机缩放使扩增后的数据集训练出来的模型可测试不同类型的OCT扫描仪采集的图像；采用水平翻转以保证扩增后的数据训练出来的模型可适应左右眼；采用旋转提高扩增后的数据集训练出来的模型处理倾斜程度不同的视网膜OCT图像的鲁棒性；采用非刚性变换使扩增后的数据集训练出来的模型可以处理不同病理的OCT图像；(3)本发明在条件生成对抗网络架构中引入了保持边缘细节的约束条件来训练，得到对边缘信息敏感的OCT图像散斑去噪模型，从而使本发明的散斑去噪模型在有效去除散斑噪声的同时，还能较好的保留图像细节信息。
附图说明
图1为本发明一种基于条件生成对抗网络的OCT成像中散斑去噪方法的流程图；
图2a为实施例1中目标图像的一个B扫描图像；
图2b为实施例1中与原B扫描图像对应的配准和平均后的；
图2c为实施例1中与原B扫描图像对应的对比度增强的标准去噪图像；
图3为实施例2中生成器的U-Net结构示意图；
图4为实施例2中判别器的PatchGAN模型结构示意图；
图5为实施例3中手动划定的背景区域和三个信号区域图像；
图6a为实施例3中OCT图像经过去噪模型去噪后的效果对比图；
图6b为实施例3中OCT图像经过去噪模型去噪后的效果对比图；
图6c为实施例3中OCT图像经过去噪模型去噪后的效果对比图；
图6d为实施例3中OCT图像经过去噪模型去噪后的效果对比图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供了一种基于条件生成对抗网络的OCT成像中散斑去噪方法，包括以下步骤：
S1，训练图像的获取，对同一只正常眼睛重复采集K个三维OCT图像，采集过程中尽可能避免眼部运动；
S2，训练图像的预处理，对所述三维图像中相近位置的B扫描图像进行配准，将多张配准后的图像求平均并进行对比度拉伸，得到无噪声的OCT图像，再将无噪声的OCT图像与相应位置上含有散斑噪声的原B扫描图像组成训练图像对；
S3，数据扩增，通过随机缩放、水平翻转、旋转和非刚性变换对已预处理后的训练图像对进行数据扩增，获得最终的训练数据集；
S4，模型训练，利用训练数据集，采用条件生成对抗网络架构，并引入保持边缘细节的约束，通过端到端训练得到对边缘信息敏感的OCT图像散斑去噪模型；
S5，模型使用，将含有散斑噪声的OCT图像送入训练好的OCT图像散斑去噪模型进行计算，获得无噪声的OCT图像。
具体地，步骤S2中，对所述三维图像中相近位置的B扫描图像进行配准包括以下步骤：
S21，从所述K个三维图像中随机挑选一个作为目标图像并表示为V1，其它的K-1个三维图像表示为V2VK，将Vm第j个B扫描图像表示为
S22，以所述目标图像中第i个B扫描图像为基准，将所有K个三维图像中下标与i相近的2P+1个B扫描图像放在一个集合中：个B扫描图像相近的B扫描图像放在一个集合中；
S23，利用仿射变换对所述集合中的所有除以外的B扫描图像以为基准进行配准。
进一步地，步骤S2中，将多张配准后的图像求平均并进行对比度拉伸包括以下步骤：
S24，从(2P+1)K-1个配准后的图像中，选择具有最高平均结构相似性指数的Q个图像并与一起求平均，得到与相对应的参考去噪图像；对目标图像中的所有B扫描图像重复此操作，可在视网膜的不同位置处获得一整套与目标图像中所有B扫描图像相对应的参考去噪图像，所述原B扫描图像如图2a所示，该扫描图像是由Topcon DRI-1扫描仪采集的、以黄斑为中心的正常视网膜图像；得到的参考去噪图像如图2b所示；
S25，对所述参考去噪图像执行分段线性灰度拉伸变换得到对比度增强的标准去噪图像，小于背景区域平均值的灰度被映射到0，其余灰度通过线性拉伸缩放到[0,255]；所述标准去噪图像如图2c所示；
进一步地，步骤S24中，所述平均结构相似性指数通过以下公式得到：
其中，x和y为两张图像中对应位置的两个大小为W×W的窗口，μx和uy分别是两个窗口中像素灰度的平均值，与分别是两个窗口中像素灰度的方差，σxy是x和y两个窗口的协方差；常数C1＝2.55，C2＝7.65。
进一步地，本实施例中，K＝10～20，P＝3～5，Q＝20～70，W＝3或5。
具体地，步骤S3中，
所述随机缩放采用不同的缩放因子来模拟不同分辨率的OCT仪器采集的图像，便于用扩增后的数据集训练出来的模型可测试不同类型的OCT扫描仪采集的其他图像；
所述水平翻转用于模拟右眼和左眼的对称性，以保证用扩增后的数据集训练出来的模型可适应左右眼；
所述旋转用于模拟OCT图像中视网膜的不同倾斜度，旋转角度范围为-30°～30°，从而提高用扩增后的数据集训练出来的模型处理倾斜程度不同的视网膜OCT图像的鲁棒性；
所述非刚性变换用于模拟不同病理引起的变形差异，从而使用扩增后的数据集训练出来的模型可以处理不同病理的OCT图像。
具体地，步骤S4中，所述条件生成对抗网络包括生成器(G)和判别器(D)，所述生成器的目标是尽可能生成真实的图像，所述判别器的目标是尽可能准确判断输入的图像是真实的还是生成器生成的，模型训练的过程就是生成器和判别器之间的博弈；生成器通过训练学习使得自身生成让判别器难以分辨的图像，判别器通过训练学习来提升自身的分辨能力；和一般生成对抗网络(GAN)不同的是，本实施例中的条件生成对抗网络以输入的图像作为条件来约束生成的图像；
进一步地，所述条件生成对抗网络的目标函数为：
其中，Pdata(x,y)为x和y的联合概率密度函数，Pdata(x)为x的概率密度函数，Pz(z)为z的概率密度函数；所述生成器的输入是目标图像中的B扫描图像x和随机噪声向量z，输出是和x相应的生成图像G(x,z)；所述判别器的输入是目标图像中的B扫描图像x和相应的金标准y构成的真实数据对(x,y)或者所述B扫描图像x和生成图像G(x,z)构成的生成数据对(x,G(x,z))，输出是数据对判断为真实的概率；
在训练过程中，判别器的目标是使所述目标函数最大，生成器的目标是使所述目标函数最小，则优化后的目标函数为：
为了使生成的图像更接近于金标准，在目标函数中引入L1距离约束：
为了解决在去除散斑噪声的同时又能清晰保留边缘的困难，在目标函数中引入对边缘信息敏感的边缘损失：
其中，i和j表示图像中纵向和横向的坐标；
所述条件生成对抗网络的最终优化目标函数为：
其中，λ1和λ2分别是L1距离和边缘损失的加权系数；通过实验测试，本实施例中λ1的取值范围为80～120，λ2的取值范围为0.8～1.2，以保证L1距离和边缘损失具有相同的数量级以及优化过程的稳定和收敛。
实施例2
如图3、4所示，本实施例提供了一种用于OCT成像中散斑去噪的条件生成对抗网络，所述条件生成对抗网络包括生成器和判别器；所述生成器采用U-Net卷积神经网络以生成细节更好的图片；所述生成器是一种具有对称跨层连接的编码器-解码器结构，能够保留编码器中不同分辨率的特征图细节信息，使得解码器可以更好地修复目标细节，生成的图像更接近于金标准；所述判别器采用PatchGAN模型来对生成的图像进行真假判别；所述判别器用于识别图像中的每个N×N的patch是真的还是假的，并将图像视为马尔可夫随机场，假设在不同patch中的像素之间相互独立。通过实验测试，patch的大小N设置为70，这使得判别器拥有更少的参数和更快的运行速度，并且仍然可以产生高质量的结果。
具体地，如图3所示，所述生成器中，所有卷积层和反卷积层都采用了滑动步长为2，形状为4×4的卷积核，除了编码器的第一个卷积层之外，每个层都采用了批标准化；编码器中的所有激活函数ReLU都是leaky ReLU，斜率为0.2，而解码器中的激活函数则是ReLU；在解码器的前三层中引入0.5的dropout率，作为随机噪声矢量z的形式，也可以在训练期间有效地防止过度拟合，双曲正切函数用作解码器中最后一层的激活函数；
具体地，如图4所示，所述判别器中，PatchGAN输入真实数据对或生成数据对来产生相应的输出，它有5个卷积层，其中前三层采用滑动步长为2，形状为4×4的卷积核，最后两层采用滑动步长为1，形状为4×4的卷积核；中间三层采用批标准化；前四层中的所有激活函数ReLU都是leaky ReLU，斜率为0.2，最后一层采用的则是Sigmoid函数，已达到识别的目的；在最终的62×62图像中，每个像素表示输入中对应的70×70的patch被识别为真实的概率。
实施例3
本实施例提供了一种基于条件生成对抗网络的OCT成像中散斑去噪方法的实验结果，在本实施例的训练模型的过程中，将准备好的512组数据作为训练集，采用初始学习率为2e-4、动量为0.5的Adam算法来交替优化生成器和判别器；将送入神经网络中一批图片的个数设置为1，训练次数设置为100，训练结束后，仅使用训练好的生成器对待去除散斑噪声的OCT图像进行测试，用于测试的9组OCT图像采自四种不同类型的OCT扫描仪，测试图像中包括正常眼和病变眼图像；如表1所示：
表1采集用于测试OCT图像的OCT扫描仪清单；
对于视网膜OCT图像散斑去噪来说，采用信噪比(SNR)、对比度噪声比(CNR)、等效视数(ENL)和边缘保持系数(EPI)作为评估方法的客观指标，为了计算这些指标，本实施例在图像上手动划定了感兴趣区域(RIO)和分层边界，如图5所示，本实施例还在图像上手动划定了一个背景区域、三个信号区域(分别位于视网膜神经纤维层(RNFL)、内层视网膜和视网膜色素上皮(RPE)复合体)和三个边界(从上往下依次是RNFL的上边界，内外视网膜边界和RPE的下边界，分别作为计算EPI的位置)，该图像是由Topcon DRI-1扫描仪采集的、以黄斑为中心的正常视网膜图像；性能指标介绍如下：
(a)信噪比(SNR)
SNR是反映图像中噪声水平的合适标准，定义如下：
其中，max(I)表示图像I的最大灰度值，σb是背景区域的标准差。
(b)对比度噪声比(CNR)
其中μi和σi表示图像中第i个信号区域的均值和标准差，而μb和σb表示背景区域的均值和标准差。
在本实施例中，平均CNR是在3个信号ROI上计算的。
(c)等效视数(ENL)
ENL通常用于测量图像中均匀区域的平滑度。图像中第i个ROI的ENL可以计算为：
其中μi和σi表示图像中第i个信号ROI的均值和标准差。
在本实施例中，平均ENL是在3个信号ROI上计算的。
(d)边缘保持系数(EPI)
EPI是一种反映在去噪后保持图像边缘细节程度的度量。纵向的EPI定义为：
其中Io和Id表示噪声图像和去噪图像，而i和j表示图像中纵向和横向的坐标。如果在整个图像上计算，该系数可能不是边缘保持的准确指标，因为在去噪之后，在均匀区域中梯度将变得更小。因此，我们在图像边界邻域进行计算。在我们的实验中，图像边界邻域被设置为一个高度为7像素的带，其中心位于如图5所示的边界处。
如表2所示，比较原始B扫描图像与去噪模型处理后图像的平均性能指标，得到了很大的提升；
表2采用本实施例去噪模型对OCT图像进行散斑去噪前后平均性能指标对比
由表2可知，采用本实施例的去噪模型对OCT图像进行散斑去噪后，四项指标均得到了较大提升；如图6a、6b、6c、6d所示，本实施例的去噪模型在OCT图像上可以较好地实现在去除散斑噪声的同时最大程度地保留边缘细节，并且对不同类型的OCT扫描仪采集的图像均有很好的去噪效果；其中，图6a是由Topcon 2000扫描仪采集的、以视***为中心的正常视网膜图像；图6b是由Topcon DRI-1扫描仪采集的、以黄斑为中心的中心浆液性脉络膜病变视网膜图像；图6c是由Topcon DRI-1扫描仪采集的、以黄斑为中心的正常视网膜图像；图6d是由Zeiss 4000扫描仪采集的、以黄斑为中心的病理性近视病变视网膜图像。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，包括以下步骤：
S1，训练图像的获取，对同一只眼多次采集含有多张B扫描图像的三维图像；
S2，训练图像的预处理，对所述三维图像中相近位置的B扫描图像进行配准，将多张配准后的图像求平均并进行对比度拉伸，得到无噪声的OCT图像，再将无噪声的OCT图像与相应位置上含有散斑噪声的原B扫描图像组成训练图像对；
S3，数据扩增，通过随机缩放、水平翻转、旋转和非刚性变换对已预处理后的训练图像对进行数据扩增，获得最终的训练数据集；
S4，模型训练，利用训练数据集，采用条件生成对抗网络架构，并引入保持边缘细节的约束，通过端到端训练得到对边缘信息敏感的OCT图像散斑去噪模型；
S5，模型使用，将含有散斑噪声的OCT图像送入训练好的OCT图像散斑去噪模型进行计算，获得无噪声的OCT图像。
2.根据权利要求1所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，步骤S2中，对所述三维图像中相近位置的B扫描图像进行配准包括以下步骤：
S21，在多张所述三维图像中随机挑选一张作为目标图像；
S22，以所述目标图像中第i个B扫描图像为基准，将所有三维图像中位置与所述第i个B扫描图像相近的B扫描图像放在一个集合中；
S23，利用仿射变换对所述集合中的所有除第i个以外的B扫描图像以第i个B扫描图像为基准进行配准。
3.根据权利要求1所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，步骤S2中，将多张配准后的图像求平均并进行对比度拉伸包括以下步骤：
S24，从配准后的图像中，选择具有最高平均结构相似性指数的多个图像与第i个B扫描图像一起求平均，得到与第i个B扫描图像相对应的参考去噪图像；
S25，对所述参考去噪图像执行分段线性灰度拉伸变换，小于背景区域平均值的灰度被映射到0，其余灰度通过线性拉伸缩放到[0,255]。
4.根据权利要求3所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，步骤S24中，所述平均结构相似性指数通过以下公式得到：
其中，x和y为两张图像中对应位置的两个大小为W×W的窗口，μx和uy分别是两个窗口中像素灰度的平均值，与分别是两个窗口中像素灰度的方差，σxy是x和y两个窗口的协方差；常数C1＝2.55，C2＝7.65。
5.根据权利要求1所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，步骤S3中：
所述随机缩放采用不同的缩放因子来模拟不同分辨率的OCT仪器采集的图像；
所述水平翻转用于模拟右眼和左眼的对称性；
所述旋转用于模拟OCT图像中视网膜的不同倾斜度，旋转角度范围为-30°～30°；
所述非刚性变换用于模拟不同病理引起的变形差异。
6.根据权利要求1所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，步骤S4中，所述条件生成对抗网络包括生成器和判别器；
所述条件生成对抗网络以输入的图像作为条件来约束生成的图像；
所述生成器通过训练学习使得自身生成让判别器难以分辨的图像，所述判别器通过训练学习来提升自身的分辨能力。
7.根据权利要求1或6中任一项所述的一种基于条件生成对抗网络的OCT成像中散斑去噪方法，其特征在于，所述条件生成对抗网络的目标函数为：
其中，Pdata(x,y)为x和y的联合概率密度函数，Pdata(x)为x的概率密度函数，Pz(z)为z的概率密度函数；G为生成器，D为判别器；所述生成器的输入是目标图像中的B扫描图像x和随机噪声向量z，输出是和x相应的生成图像G(x,z)；所述判别器的输入是目标图像中的B扫描图像x和相应的金标准y构成的真实数据对(x,y)或者所述B扫描图像x和生成图像G(x,z)构成的生成数据对(x,G(x,z))，输出是数据对判断为真实的概率；
在训练过程中，判别器的目标是使所述目标函数最大，生成器的目标是使所述目标函数最小，则优化后的目标函数为：
为了使生成的图像更接近于金标准，在目标函数中引入L1距离约束：
为了解决在去除散斑噪声的同时又能清晰保留边缘的困难，在目标函数中引入对边缘信息敏感的边缘损失：
其中，i和j表示图像中纵向和横向的坐标；
所述条件生成对抗网络的最终优化目标函数为：
其中，λ1和λ2分别是L1距离和边缘损失的加权系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811042548.7A CN109345469B (zh) | 2018-09-07 | 2018-09-07 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811042548.7A CN109345469B (zh) | 2018-09-07 | 2018-09-07 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345469A true CN109345469A (zh) | 2019-02-15 |
| CN109345469B CN109345469B (zh) | 2021-10-22 |
Family
ID=65304548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811042548.7A Active CN109345469B (zh) | 2018-09-07 | 2018-09-07 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345469B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
| CN110390650A (zh) * | 2019-07-23 | 2019-10-29 | 中南大学 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
| CN110390647A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于环形对抗生成网络的oct图像去噪方法及装置 |
| CN110428377A (zh) * | 2019-07-26 | 2019-11-08 | 北京百度网讯科技有限公司 | 数据扩充方法、装置、设备和介质 |
| CN110516201A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110516577A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111402174A (zh) * | 2020-04-03 | 2020-07-10 | 北京图湃影像科技有限公司 | 一种单张OCT B-scan图像去噪方法及装置 |
| CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
| CN112085734A (zh) * | 2020-09-25 | 2020-12-15 | 西安交通大学 | 一种基于gan的图像修复的缺陷检测方法 |
| CN112150341A (zh) * | 2020-11-26 | 2020-12-29 | 南京理工大学 | 基于物理约束和数据驱动的双阶段散射成像方法 |
| CN112215784A (zh) * | 2020-12-03 | 2021-01-12 | 江西博微新技术有限公司 | 图像去污方法、装置、可读存储介质及计算机设备 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112700390A (zh) * | 2021-01-14 | 2021-04-23 | 汕头大学 | 一种基于机器学习的白内障oct图像修复方法及*** |
| CN112801998A (zh) * | 2021-02-05 | 2021-05-14 | 展讯通信（上海）有限公司 | 一种印制电路板检测方法、装置、计算机设备和存储介质 |
| CN112819867A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 基于关键点匹配网络的眼底图像配准方法 |
| CN113096169A (zh) * | 2021-03-31 | 2021-07-09 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113240669A (zh) * | 2021-06-11 | 2021-08-10 | 上海市第一人民医院 | 一种基于核磁影像的脊椎图像处理方法 |
| CN113269092A (zh) * | 2021-05-26 | 2021-08-17 | 中国石油大学(华东) | 基于多尺度条件对抗网络的海上溢油检测方法 |
| CN113283848A (zh) * | 2021-07-21 | 2021-08-20 | 湖北浩蓝智造科技有限公司 | 一种货物入库检测方法、仓储入库***及存储介质 |
| CN113687352A (zh) * | 2021-08-05 | 2021-11-23 | 南京航空航天大学 | 一种顺轨干涉合成孔径雷达海表流场反演方法 |
| CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN114841878A (zh) * | 2022-04-27 | 2022-08-02 | 广东博迈医疗科技股份有限公司 | 光学相干层析图像散斑去噪方法、装置及电子设备 |
| CN117706514A (zh) * | 2024-02-04 | 2024-03-15 | 中南大学 | 基于生成对抗网络的杂波消除方法、***及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
| US10043261B2 (en) * | 2016-01-11 | 2018-08-07 | Kla-Tencor Corp. | Generating simulated output for a specimen |
-
2018
- 2018-09-07 CN CN201811042548.7A patent/CN109345469B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10043261B2 (en) * | 2016-01-11 | 2018-08-07 | Kla-Tencor Corp. | Generating simulated output for a specimen |
| CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
| CN110390647A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于环形对抗生成网络的oct图像去噪方法及装置 |
| CN110390650A (zh) * | 2019-07-23 | 2019-10-29 | 中南大学 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
| CN110390650B (zh) * | 2019-07-23 | 2022-02-11 | 中南大学 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
| CN110428377A (zh) * | 2019-07-26 | 2019-11-08 | 北京百度网讯科技有限公司 | 数据扩充方法、装置、设备和介质 |
| CN110516201B (zh) * | 2019-08-20 | 2023-03-28 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110516201A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110516577A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110516577B (zh) * | 2019-08-20 | 2022-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
| CN111402174A (zh) * | 2020-04-03 | 2020-07-10 | 北京图湃影像科技有限公司 | 一种单张OCT B-scan图像去噪方法及装置 |
| CN112085734A (zh) * | 2020-09-25 | 2020-12-15 | 西安交通大学 | 一种基于gan的图像修复的缺陷检测方法 |
| CN112085734B (zh) * | 2020-09-25 | 2022-02-01 | 西安交通大学 | 一种基于gan的图像修复的缺陷检测方法 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112150341B (zh) * | 2020-11-26 | 2021-05-28 | 南京理工大学 | 基于物理约束和数据驱动的双阶段散射成像方法 |
| CN112150341A (zh) * | 2020-11-26 | 2020-12-29 | 南京理工大学 | 基于物理约束和数据驱动的双阶段散射成像方法 |
| CN112215784A (zh) * | 2020-12-03 | 2021-01-12 | 江西博微新技术有限公司 | 图像去污方法、装置、可读存储介质及计算机设备 |
| CN112700390A (zh) * | 2021-01-14 | 2021-04-23 | 汕头大学 | 一种基于机器学习的白内障oct图像修复方法及*** |
| CN112819867A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 基于关键点匹配网络的眼底图像配准方法 |
| CN112801998A (zh) * | 2021-02-05 | 2021-05-14 | 展讯通信（上海）有限公司 | 一种印制电路板检测方法、装置、计算机设备和存储介质 |
| CN113096169B (zh) * | 2021-03-31 | 2022-05-20 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113096169A (zh) * | 2021-03-31 | 2021-07-09 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113269092A (zh) * | 2021-05-26 | 2021-08-17 | 中国石油大学(华东) | 基于多尺度条件对抗网络的海上溢油检测方法 |
| CN113240669A (zh) * | 2021-06-11 | 2021-08-10 | 上海市第一人民医院 | 一种基于核磁影像的脊椎图像处理方法 |
| CN113283848A (zh) * | 2021-07-21 | 2021-08-20 | 湖北浩蓝智造科技有限公司 | 一种货物入库检测方法、仓储入库***及存储介质 |
| CN113687352A (zh) * | 2021-08-05 | 2021-11-23 | 南京航空航天大学 | 一种顺轨干涉合成孔径雷达海表流场反演方法 |
| CN113780444A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN113780444B (zh) * | 2021-09-16 | 2023-07-25 | 平安科技（深圳）有限公司 | 基于渐进式学习的舌苔图像分类模型的训练方法 |
| CN114841878A (zh) * | 2022-04-27 | 2022-08-02 | 广东博迈医疗科技股份有限公司 | 光学相干层析图像散斑去噪方法、装置及电子设备 |
| CN117706514A (zh) * | 2024-02-04 | 2024-03-15 | 中南大学 | 基于生成对抗网络的杂波消除方法、***及设备 |
| CN117706514B (zh) * | 2024-02-04 | 2024-04-30 | 中南大学 | 基于生成对抗网络的杂波消除方法、***及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345469B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345469A (zh) | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 | |
| CN109493954B (zh) | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** | |
| CN110390650B (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
| Mou et al. | CS2-Net: Deep learning segmentation of curvilinear structures in medical imaging | |
| CN110517235B (zh) | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 | |
| JP7193343B2 (ja) | 機械学習技法を用いたｏｃｔアンギオグラフィにおけるアーチファクトを減少させるための方法及び装置 | |
| US9380935B2 (en) | Image processing apparatus, image processing method, and program | |
| CN109684915B (zh) | 瞳孔跟踪图像处理方法 | |
| CN102112044A (zh) | 自动杯盘比测量*** | |
| CN113574542A (zh) | 宽场自发荧光图像中患有年龄相关性黄斑变性的患者中地理萎缩模式分割与分类 | |
| CN111292338A (zh) | 一种从眼底oct图像中分割脉络膜新生血管的方法及*** | |
| CN113557714A (zh) | 医学图像处理装置、医学图像处理方法和程序 | |
| CN104318565B (zh) | 基于等梯度距离的双向区域增长的视网膜血管分割交互式方法 | |
| CN110428385A (zh) | 一种基于无监督对抗神经网络的sd-oct去噪方法 | |
| CN116188488B (zh) | 基于灰度梯度的b超图像病灶区域分割方法及装置 | |
| CN110575132A (zh) | 一种基于偏心摄影的斜视程度的计算方法 | |
| Monemian et al. | Analysis of a novel segmentation algorithm for optical coherence tomography images based on pixels intensity correlations | |
| CN109377472A (zh) | 一种眼底图像质量评价方法 | |
| CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN117391955A (zh) | 基于多帧光学相干层析图像的凸集投影超分辨率重建方法 | |
| CN110096978A (zh) | 基于机器视觉的偏心摄影验光图像处理的方法 | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN114092405A (zh) | 一种针对黄斑水肿oct图像的视网膜层自动分割方法 | |
| Garcia-Marin et al. | Patch-based CNN for corneal segmentation of AS-OCT images: Effect of the number of classes and image quality upon performance | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |