CN116681641A - 一种基于生成对抗网络的眼底oct图像生成方法 - Google Patents

一种基于生成对抗网络的眼底oct图像生成方法 Download PDF

Info

Publication number
CN116681641A
CN116681641A CN202210589102.6A CN202210589102A CN116681641A CN 116681641 A CN116681641 A CN 116681641A CN 202210589102 A CN202210589102 A CN 202210589102A CN 116681641 A CN116681641 A CN 116681641A
Authority
CN
China
Prior art keywords
image
improved
treatment
choroid
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210589102.6A
Other languages
English (en)
Inventor
吴昌凡
奚祥品
朱向冰
李晨皓
董敬红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Wannan Medical College
Original Assignee
First Affiliated Hospital of Wannan Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Wannan Medical College filed Critical First Affiliated Hospital of Wannan Medical College
Publication of CN116681641A publication Critical patent/CN116681641A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种采用条件生成对抗网络(CGAN)的眼底OCT图像生成方法，根据未进行抗VEGF治疗的AMD病人的眼底OCT图像，采用人工智能算法生成抗VEGF治疗后的眼底OCT图像，医生根据生成的OCT图像预测治疗效果。在图像预处理阶段，采用改进的边缘检测算法识别出OCT图像中内界膜和脉络膜，对内界膜和脉络膜以外部分采用背景替换方式去除噪声，对内界膜和脉络膜之间部分采取中值滤波去噪，在CGAN网络中改进U‑net算法，采用8个下采样层和8个上采样层对图像进行特征提取和图像生成，降低了图像生成过程中的计算量，提高了生成图像的质量，为医生选择治疗方案提供依据。

Description

一种基于生成对抗网络的眼底OCT图像生成方法
技术领域
本发明属于医学图像领域，特别是采用条件生成对抗网络基于已有的眼底OCT图像生成新的OCT图像，为医生判断治疗效果提供图片依据的技术。
背景技术
很多人患有眼疾病，据世界卫生组织在2019年发布的《世界视觉报告》的统计，全球估计有1.96亿人患有老年性黄斑变性(AMD)。目前AMD治疗方法尚不理想，以抗血管内皮生长因子(VEGF)药物和亚阈值激光为主要手段，价格高昂。抗VEGF药物一针价格在数千元人民币左右，一次亚阈值激光治疗的价格也为数千元人民币，需要经过多次治疗，医疗费用较高，但是不同病人治疗的效果差异较大，现阶段缺乏一些有效的技术预测治疗后的效果。
相干光断层扫描(OCT)技术使眼科医生能够直观且定量地观察评估视网膜和脉络膜的病理形态改变，因此OCT图像成为监测AMD疾病进展、制定治疗方案、评估治疗效果的主要手段之一。使用人工智能技术对OCT图像进行挖掘，可以获得丰富的疾病信息，根据已有的眼底OCT图像生成抗VEGF治疗后的OCT图像，能够帮助医生预测抗VEGF治疗后效果，为医生选择合适的治疗方法提供依据，减轻病人经济负担，改善治疗效果。
生成对抗网络(GAN)由生成器(generator)和判别器(discriminator)组成。生成器的作用是使用已有的图像生成新的图像，判别器用于评价新的图像的质量。针对原始GAN的各种缺点，在原始的GAN基础上发展了条件生成对抗网络(CGAN)。
公开号为CN113111906A的中国发明专利申请公开了一种基于单对图像训练的条件生成对抗网络模型，包括以下步骤：基于条件生成对抗网络模型架构构建图像翻译模型；选取一张训练图像，并对所述图像进行语义标注获得语义标注图；使用选取的训练图像和标注的语义图，训练图像翻译模型，得到一个基于单对图像训练的条件生成对抗网络模型。该发明在训练图像翻译模型时，仅需要一对训练数据，解决了传统图像翻译模型对大数据的依赖问题；其次通过使用数据增强机制使得模型具有更强的鲁棒性；此外，该发明有效解决了多尺度模型中的误差累积问题，提高了生成图像的质量。但是该模型仅适用于训练图像获得语义标注图，不能利用OCT图像预测生成抗VEGF治疗后OCT图像。
现阶段缺乏一种根据抗VEGF治疗前AMD疾病OCT图像预测抗VEGF治疗效果的技术。
发明内容
本发明为了解决上述问题，公开了一种基于生成对抗网络的眼底OCT图像生成方法，用于生成抗VEGF治疗后OCT图像，预测眼底OCT图像经过抗VEGF治疗后的变化。
一种基于生成对抗网络的眼底OCT图像生成方法，采用CGAN中的pix2pix算法，在图像预处理阶段，在OCT图像中采用改进的边缘检测算法识别出内界膜和脉络膜的边界，对内界膜边界和脉络膜边界之间部分采取中值滤波去噪，对图像的其余部分采用背景替换方式去除噪声；在生成对抗网络中使用改进后的U-net模型。
所述的改进的边缘检测算法采用改进的Prewitt算子，在Prewitt卷积的基础上增添了135°与215°方向的梯度模板计算梯度幅值，将梯度计算增至4个方向。
所述的改进后的U-net模型采用8个下采样层和8个上采样层，采用4×4的卷积核，设置步长为2、填充像素为1的卷积操作对图像进行深层次特征提取。
所述的pix2pix算法的判别器D采用PatchGAN，pix2pix算法中判别器D的输入是两张图像，将这两张图像连接在一起，然后进行4次卷积操作，再经过批归一化和一个LeakyReLU层，再进行卷积操作，得到一个30×30的矩阵。
本发明的有益效果：(1)本申请中在OCT图像中采用改进的边缘检测算法识别出内界膜和脉络膜的边界，OCT图像中有内界膜、神经纤维层、神经节细胞层、内丛状层、内核层、外丛状层、外界膜、视细胞层、脉络膜、bruch膜等层级组成，使用改进的边缘检测算子，层级划分效果更准确，减少了其他层级的干扰。边缘检测算法采用改进的Prewitt算子，在Prewitt卷积的基础上增添了135°与215°方向的梯度模板计算梯度幅值，将梯度计算增至4个方向，使得OCT图像在边缘检测过程中检测了更多方向；不同阶段的病灶在OCT图像中***的程度不一样，改进的Prewitt算子的能够有效的处理各种***的的病灶图像，能提高检测的准确率。(2)对内界膜边界和脉络膜边界之间部分采取中值滤波去噪，对图像的其余部分采用背景替换方式去除噪声，降低了图像生成过程中的计算量，提高了生成图像的质量。(3)在生成对抗网络中改进了U-net算法，由于原始U-net对于OCT图像的特征信息提取不够全面准确，本专利申请采用8个下采样层和8个上采样层对图像进行特征提取和图像生成，增加了更多的上采样层和下采样层，保留了图像中主要信息，提高了网络模型对图像深层次特征的提取能力和提取的准确性。对比原始U-net算法，本申请将原来3×3的卷积核变为4×4的卷积核，保留了更多的图片信息；原始的U-net算法中一般采用步长为1的卷积操作，本申请采用步长为2的卷积操作对图像进行深层次特征提取，减少了卷积次数，降低了计算量；为避免在进行池化操作过程中丢失图像的特征信息，不使用最大池化操作；由于改进了U-net算法，使图像的低级结构信息和高级语义特征得到充分利用。(4)本申请中pix2pix算法的判别器D采用PatchGAN，pix2pix算法中判别器D的输入是两张图像，将这两张图像连接在一起，然后进行4次卷积操作，再经过批归一化和一个Leaky ReLU层，再进行卷积操作，得到一个30×30的矩阵，矩阵中的每一个点即代表着输入图像的一小块区域(patch)的概率值，使用整个矩阵对输入图像进行评价，更加客观全面，解决了眼底OCT图像中感兴趣的区域只占整个图片中一小块的问题，解决了原始的GAN判别器输出值不能精确的反应图片中感兴趣区域情况的问题。
附图说明
图1是公开的CGAN网络中pix2pix算法示意图。
图2是本发明实施例中的Prewitt算子示意图。
图3是本发明实施例中的改进的U-net算法示意图。
图4是本发明实施例中的判别器模型图。
图5是本发明实施例中的抗VEGF治疗前的眼底图像。
图6是本发明实施例中的抗VEGF治疗后真实的眼底图像。
图7是本发明实施例中，软件生成的抗VEGF治疗后眼底图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应属于本发明保护的范围。
在公开的CGAN网络中，pix2pix是常用的算法，参考图1，在使用CGAN网络之前，首先要对网络进行训练，收集图像数据集，图像数据集包括很多对图像，每对图像中的两幅图像分别用x和y表示，x和y之间满足特定的关系；将图片x输入到生成器G中，由生成器G生成新的图像G(x)，将G(x)、x加入判别器D中，判别器D得到概率值。
通过对网络训练调整，优化判别器D的参数，当G(x)和y完全一致的时候，判别器D输出最大概率值，当G(x)远离y时，得到的是较小的概率值，此时完成了判别器的训练。在训练生成器G的过程中，通过优化生成器G的参数，使G(x)接近y，判别器D得到较大的概率值。
在训练完成以后，用生成器G根据已有的图像x’来生成G(x)’，G(x)’接近于y’，在特定的情况下，G(x)’可以代替y’。
在实施例中，需要对CGAN训练。首先采集抗VEGF治疗前和治疗后的眼底OCT图像数据集，每对图像中的x是抗VEGF治疗前的眼底OCT图像，y是抗VEGF治疗后的眼底OCT图像；将抗VEGF治疗前的眼底OCT图像x输入到生成器G中，生成新的治疗后的眼底OCT图像G(x)；将G(x)和x加入判别器D中，判别器D根据G(x)和y的接近程度得到概率值。
通过大量的图片训练判别器D，调整判别器的参数，当G(x)和y完全一致的时候，判别器D得到最大概率值，当G(x)远离y时，得到的是最小的概率值，此时完成了判别器的训练。
公开的pix2pix算法的过程如下：(1)采集图像样本，建立训练集和测试集；(2)将图像训练集St导入网络模型；(3)将图像测试集Sv导入网络模型；(4)设置网络模型参数并开始训练；(5)训练完成后，评价CGAN模型生成的图像的质量；(6)反复调整训练参数，重新训练，直到生成的图像质量较好；(7)使用训练后的网络模型进行预测。在实施例中，基于生成对抗网络的眼底OCT图像生成方法也包括上述步骤。
在实施例的第(1)步中，采集的是AMD疾病眼底OCT图像样本，选取2490对眼底OCT图像，每对图像由抗VEGF治疗前的眼底OCT图像和与之对应的抗VEGF治疗后的眼底OCT图像组成。由医生检查每一张OCT图像，弃去医生无法辨识的图像，剩余2450对图像。
为了得到好的图像数据集，进行图像预处理。在图像预处理阶段，使用公开的算法调整了图像的分辨率，得到的每幅图像的分辨率为256×256；在OCT图像中采用改进的边缘检测算法识别出内界膜和脉络膜的边界，对内界膜和脉络膜以外部分采用背景替换方式去除噪声，对内界膜和脉络膜之间部分采取中值滤波去噪，完成了图像的预处理。将其中的2200对眼底OCT图像保存在指定的文件夹中，得到训练集图像St。再将剩余的250对AMD眼底OCT图像作为测试集Sv，保存在另一个文件夹下。
在实施例中，所述的改进的边缘检测算法如图2所示，图中从g1到g9分别表示9个像素点的像素值，第五个像素点及其周围8个像素点的像素值构成一个3×3的矩阵，在Prewitt卷积的基础上增添了135°与215°方向的梯度模板计算梯度幅值，将梯度计算增至4个方向。X轴方向(图中标示为水平方向)梯度模板为Mx，Y轴方向(图中标示为垂直方向)梯度模板为My，135°轴方向梯度模板为Myx，225°方向梯度模板为Mxy，则：
由上面四个公式(1)、(2)、(3)、(4)对每个像素点及其周围8个像素点进行卷积运算，得出一个点在四个方向上的梯度分量Ex、Ey、Exy、Eyx。计算四个方向上的梯度分量所使用的卷积运算方法是：该像素点及其周围8个像素点的像素值构成一个3×3的矩阵，矩阵每个位置的值与各个梯度模板对应位置的值相乘得到9个乘积，将9个乘积相加得出相应梯度分量。
则该像素点具体的梯度幅值E为：
计算图像中每一点的E，在边界处E的值较大，以此来判断边界。将该像素点与其相邻3×3区域像素点的梯度幅值E比较，若该像素点梯度幅值最大，则该像素点为边缘像素点。将每个边缘像素点连接起来便构成图像边缘。
在实施例中，所述的中值滤波去噪：选取眼底OCT图像中内界膜边界和脉络膜边界之间的部分，这部分图像从内界膜边界到脉络膜边界，将这部分中每一像素点的灰度值设置为该点及其周边8个像素点组成的3×3区域内所有像素点灰度值的中值，采用中值滤波能够有效的降低噪声干扰。
在实施例中，所述的背景替换方式：为了达到去除噪声的目的，不考虑中值滤波的图像区域，将其余图像部分的背景像素全部替换为黑色，这种方法能够有效的减少后续的计算量，并降低干扰。
在实施例中，所述的将眼底OCT图像训练集St导入网络模型的方式为：使用Python提供的图像文件加载函数加载2200对OCT图像，调用Tensorflow的命令将图像数据转化为dtype形式，设置图像通道的加载函数，导入图像数据集。实施例中使用tensorflow框架中的image函数作为图像通道加载函数。
在公开的算法中常采用数据增强，将图像平移、翻转、旋转后生成新的图像，将新的图像也作为训练集的一部分，增加了数据集中图像的数量，提高了模型的泛化性。如果数据集中图像较少时，也可以采用图像增强，实施例中也可以采用图像增强。
在实施例中，所述的导入眼底OCT图像测试集Sv的方式为：导入图像测试集的过程与步骤(2)相同，区别在于测试集的图片数量为250对眼底OCT图像。
在实施例中，所述的设置网络模型参数并开始训练的过程一般包括：(4a)构建生成器模型，(4b)构建判别器模型，(4c)设置损失函数，(4d)设置生成器优化器和判别器优化器，(4e)设置绘图函数等过程。
在实施例的(4a)构建生成器模型的过程中，如图3所示，使用改进的U-net模型作为生成器。原始的U-net模型采用5个下采样层和5个上采样层，本专利申请采用8个下采样层和8个上采样层对图像进行特征提取和图像生成，增加了更多的上采样层和下采样层，不仅保留了主要信息，还提高了网络模型对图像深层次特征的提取能力和提取的准确性。
U-net中的采样层一般采用全卷积网络结构。原始的U-net算法中，上采样层和下采样层中都采用3×3的卷积核，步长为1、填充像素为1。在实施例中，上采样层和下采样层中都采用4×4的卷积核，步长为2、填充像素为1。
在下采样层中使用卷积操作对图像进行深层次特征提取。在图3的实施例中，在下采样模块中，第一个下采样层仅进行了卷积操作，每层的激活函数都采用Leaky ReLU函数。在每次卷积之后,将图像的尺寸缩小为原来的1/2,经过8个下采样层后,图像压缩256倍,通道数量变为512。
上采样过程中使用反卷积操作，实施例中在上采样的前7个激活层采用ReLU函数,最后1层采用Tanh激活函数。为避免在进行池化操作过程中丢失图像的特征信息,不进行最大池化操作。由于改进了U-net算法，使图像的低级结构信息和高级语义特征得到充分利用。
在实施例的(4b)构建判别器模型时，pix2pix算法的判别器D采用PatchGAN，原始GAN的判别器输出的是一个概率值，是对整幅图像的评价。在图4的实施例中，pix2pix算法中判别器D的输入是两张图像，将这两张图像连接在一起(Concatenate)，然后进行4次卷积操作，再经过批归一化(Batch Normalization)和一个Leaky ReLU层，再进行卷积操作，卷积操作的输出结果是一个30×30的矩阵。矩阵中的每一个点即代表着输入图像的一小块区域(patch)的概率值，使用整个矩阵对输入图像进行评价，更加客观全面，解决了眼底OCT图像中感兴趣的区域只占整个图片中一小块的问题，避免了原始的GAN判别器输出值不能精确的反应图片中感兴趣区域情况的问题。
在实施例中，判别器的输入是一对眼底OCT图像，是抗VEGF治疗前的眼底OCT图像x和软件生成的抗VEGF治疗后的眼底OCT图像G(x)；或者是抗VEGF治疗前的眼底OCT图像x和抗VEGF治疗后真实的眼底OCT图像y。
在实施例中(4c)设置损失函数，生成器和判别器都要设置损失函数。在判别器设置损失函数时，使判别器接受真实的图像x和y作为输入时，输出的概率值接近于1；当判别器D输入图像是x和G(x)时，如果G(x)与y相差较大，输出的概率值远离1，接近于0；如果G(x)与y比较接近，输出的概率值接近于1。
在生成器部分设置损失函数时，尽量使生成器生成的图像G(x)接近于y，将G(x)和x输入判别器D时，输出的矩阵中每个点的概率值接近于1。设置损失函数的方法是本领域公知的技术，在实施例中，按照Ian J.Goodfellow,Jean Pouget-Abadiey,Mehdi Mirza等人2014年在Advances in neural information processing systems上发表的标题为Generative Adversarial Nets的论文来设置损失函数，pix2pix模型的损失函数L(G,D)可以表示为：
L(G，D)＝Ex，y[lnD(x，y)]+Ex[ln(1-D(x，G(x)))] (6)
其中，E表示期望值，x表示抗VEGF治疗前的眼底OCT图像，y表示抗VEGF治疗后的眼底OCT图像，G(x)表示生成器产生的抗VEGF治疗后的眼底OCT图像，D(x,y)根据图像x和y得到的概率值。需要最小化生成器网络损失函数和最大化判别器网络损失函数，同时添加L1距离损失函数，则模型的优化目标G*为：
其中，λ表示L1距离损失的惩罚系数，L1＝||y-G(x)||1。
在实施例中(4d)设置生成器优化器和判别器优化器，pix2pix模型中的生成器优化器和判别器优化器均使用自适应矩估计(Adam)优化器，调用Tensorflow中的函数tf.keras.optimizers.Adam直接使用自适应矩估计(Adam)优化器。
在实施例中(4e)设置绘图函数，为了后续训练结果的可视化，使用python中的matplotlib函数作为绘图函数，将x、y、G(x)放在一起显示，效果更加直观。
完成以上设置后，实施例中再将网络模型训练参数batch_size大小设置为8，buffer_size大小设置为100；设置训练批次epochs的值为150，开始训练pix2pix算法模型。batch_size指一次训练所选取的样本数，batch_size的大小影响着模型的优化程度和训练时间。若batch_size设置的过大，则会导致占用内存过大而无法训练；若设置的过小则导致模型的学习率降低。epochs代表训练次数。
按照前文所述的(1)采集图像样本，建立训练集和测试集；(2)将图像训练集St导入网络模型；(3)将图像测试集Sv导入网络模型；(4)设置网络模型参数并开始训练；(5)训练完成后，评价CGAN模型生成的图像的质量，发现生成的OCT图像不能较好的反应抗VEGF治疗前后的变化；根据前文所述的(6)反复调整训练参数，重新训练，直到生成的图像质量较好，得到好的网络模型，图5是未进行抗VEGF治疗的图像，图6是实施例中的抗VEGF治疗后真实的眼底图像，图7是实施例中，网络模型生成的抗VEGF治疗后眼底图像。
在实施例中，判断网络模型生成的图像质量的方法是：(6a)根据前文所述的将抗VEGF治疗前的眼底OCT图像x输入到生成器G中，网络模型生成新的治疗后的眼底OCT图像G(x)；将G(x)和x加入判别器D中，判别器D得到的概率值记为D1，将真实的抗VEGF治疗后的眼底OCT图像y和图像x加入判别器D中，判别器D得到的概率值记为D2，D1与D2是两个矩阵，当两个矩阵中各对应元素相差都不超过10％时，认为生成的图像质量较好。(6b)让有经验的医生比较G(x)和y，医生认为G(x)能够反映y的情况。在实施例中，采用(6a)和(6b)两种方法。
在实施例中，按照前文的(7)使用训练后的网络模型预测治疗效果，生成的OCT图像在病灶区域比较清晰，能体现出抗VEGF治疗前后的变化。将生成的图片提供给医生，为医生选择抗VEGF治疗方案或亚阈值激光治疗方案提供参考。
在实施例中使用的计算机如下：处理器为Intel(R)Core(TM)i3-8100U [email protected]、显卡为NVIDIA GeForce 1080Ti,并在Python 3.7.3,Tensorflow2.3.0,CUDA11.3.2的环境下运行。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于生成对抗网络的眼底OCT图像生成方法，其特征是：采用CGAN中的pix2pix算法，在图像预处理阶段，在OCT图像中采用改进的边缘检测算法识别出内界膜和脉络膜的边界，对内界膜边界和脉络膜边界之间部分采取中值滤波去噪，对图像的其余部分采用背景替换方式去除噪声；在生成对抗网络中使用改进后的U-net模型；
所述的改进的边缘检测算法采用改进的Prewitt算子，在Prewitt卷积的基础上增添了135°与215°方向的梯度模板计算梯度幅值，将梯度计算增至4个方向；
所述的改进后的U-net模型采用8个下采样层和8个上采样层，采用4×4的卷积核，设置步长为2、填充像素为1的卷积操作对图像进行深层次特征提取；
所述的pix2pix算法的判别器D采用PatchGAN，pix2pix算法中判别器D的输入是两张图像，将这两张图像连接在一起，然后进行4次卷积操作，再经过批归一化和一个Leaky ReLU层，再进行卷积操作，得到一个30×30的矩阵。
CN202210589102.6A 2022-04-11 2022-05-27 一种基于生成对抗网络的眼底oct图像生成方法 Pending CN116681641A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022103747497 2022-04-11
CN202210374749 2022-04-11

Publications (1)

Publication Number Publication Date
CN116681641A true CN116681641A (zh) 2023-09-01

Family

ID=87789627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210589102.6A Pending CN116681641A (zh) 2022-04-11 2022-05-27 一种基于生成对抗网络的眼底oct图像生成方法

Country Status (1)

Country Link
CN (1) CN116681641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052746A (zh) * 2024-04-16 2024-05-17 福建医科大学附属第一医院 一种用于磁共振图像的增强处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052746A (zh) * 2024-04-16 2024-05-17 福建医科大学附属第一医院 一种用于磁共振图像的增强处理方法

Similar Documents

Publication Publication Date Title
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
Li et al. Fully automated detection of retinal disorders by image-based deep learning
Tabassum et al. CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
Mayya et al. Automated microaneurysms detection for early diagnosis of diabetic retinopathy: A Comprehensive review
Da Rocha et al. Diabetic retinopathy classification using VGG16 neural network
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Zhong et al. Multi-scale attention generative adversarial network for medical image enhancement
Rajagopalan et al. Diagnosis of retinal disorders from Optical Coherence Tomography images using CNN
CN116681641A (zh) 一种基于生成对抗网络的眼底oct图像生成方法
Guo et al. CAFR-CNN: coarse-to-fine adaptive faster R-CNN for cross-domain joint optic disc and cup segmentation
Miao et al. Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm
Dihin et al. Wavelet-Attention Swin for Automatic Diabetic Retinopathy Classification
CN117314935A (zh) 基于扩散模型的低质量眼底图像的增强及分割方法及***
Ali et al. AMDNet23: hybrid CNN-LSTM Deep learning approach with enhanced preprocessing for age-related macular degeneration (AMD) Detection
CN116092667A (zh) 基于多模态影像的疾病检测方法、***、装置及存储介质
CN115512153A (zh) 基于多尺度残差网络的视网膜oct图像分类方法、***、计算机设备和存储介质
Nandakumar et al. Detection of Diabetic Retinopathy from Retinal Images Using DenseNet Models.
Sheikh Diabetic reinopathy classification using deep learning
Bhandari et al. Soft Attention Mechanism Based Network to Extract Blood Vessels From Retinal Image Modality
Saleh et al. Early diabetic retinopathy detection using convolution neural network
El-Hoseny et al. Optimized Deep Learning Approach for Efficient Diabetic Retinopathy Classification Combining VGG16-CNN.
Moya-Sánchez et al. Data augmentation for deep learning of non-mydriatic screening retinal fundus images
Dhanusha et al. Super-resolution of Retinal Fundus Images Using Generative Adversarial Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination