CN114663318A - 基于生成对抗网络的眼底图像生成方法与*** - Google Patents

基于生成对抗网络的眼底图像生成方法与*** Download PDF

Info

Publication number
CN114663318A
CN114663318A CN202210574154.6A CN202210574154A CN114663318A CN 114663318 A CN114663318 A CN 114663318A CN 202210574154 A CN202210574154 A CN 202210574154A CN 114663318 A CN114663318 A CN 114663318A
Authority
CN
China
Prior art keywords
fundus
image
fundus image
texture
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210574154.6A
Other languages
English (en)
Other versions
CN114663318B (zh
Inventor
夏雪
蔡超
方玉明
姜文晖
左一帆
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202210574154.6A priority Critical patent/CN114663318B/zh
Publication of CN114663318A publication Critical patent/CN114663318A/zh
Application granted granted Critical
Publication of CN114663318B publication Critical patent/CN114663318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提出一种基于生成对抗网络的眼底图像生成方法与***，所述方法包括：获取健康视网膜眼底彩照数据集，对健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理；构建基于注意力机制的图像生成器；构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中视网膜眼底图像结构与纹理模块与眼底图片血管生成辅助模块用于辅助图像生成器；输入用于生成眼底图像的随机高斯噪声，根据基于注意力机制的图像生成器，利用视网膜眼底图像结构与纹理模块以及眼底图片血管生成辅助模块，以最终生成眼底图像。本发明可为自动眼病诊断算法提供良好质量的眼底图像，提高自动眼病诊断算法准确度。

Description

基于生成对抗网络的眼底图像生成方法与***
技术领域
本发明涉及计算机图像技术领域，特别涉及一种基于生成对抗网络的眼底图像生成方法与***。
背景技术
目前，通过分析视网膜眼底图像可为眼科疾病提供诊断。例如，老年性黄斑变性(AMD)、糖尿病视网膜病变 (DR)、青光眼以及心血管疾病。因此，常态化大规模的眼病筛查十分必要。然而，当前仍缺少经验丰富的读图医生，阻碍了眼底疾病的大规模筛查。
近年来，研究人员开始关注机器学习辅助眼科疾病的自动辅助诊断技术，尤其是在病灶分割与眼病分级方面，这些工作都需要专业的眼科医生标注的眼底照片数据。然而，目前公开可用的高质量视网膜眼底数据集非常少，而自动眼病诊断算法需要大量的高质量且标记好的眼底图像。此外，由于眼底照片拍摄时的设备不同、拍摄环境以及拍摄者的操作不同，会导致拍摄到的眼底图像质量差异很大。
基于此，有必要提出一种能够生成高质量的视网膜眼底图像的方法，以减轻专业的眼科医生眼底图片标注的精力耗费，并推动人工智能在眼科临床领域的发展。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种基于生成对抗网络的眼底图像生成方法与***，以解决上述技术问题。
本发明实施例提出一种基于生成对抗网络的眼底图像生成方法，其中，所述方法包括如下步骤：
步骤一：获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理，其中进行医学图像预处理用于引导眼底图像的生成；
步骤二：构建基于注意力机制的图像生成器；
步骤三：构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器；
步骤四：输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
本发明为一阶段端对端的用于生成视网膜眼底图像的生成对抗网络模型；具体的，首先获取健康视网膜眼底彩照数据集，然后构建基于注意力机制的图像生成器，用于更好地获得图像的全局特征；利用视网膜眼底图像结构与纹理模块，测算生成眼底图像与真实眼底图像之间的差异大小，用于引导生成器生成的图像在图像结构与纹理上与真实眼底图像更接近；并在此基础上，引入眼底图片血管生成辅助模块，使用训练好的眼底图像血管分割网络，提取血管特征信息，用于辅助生成器生成血管信息。经对比试验验证：本发明在生成图像的视觉质量上以及结构上都有很好的表现。
所述基于生成对抗网络的眼底图像生成方法，其中，在所述步骤一中，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理的方法包括如下步骤：
去除原始图像中的黑色背景区域，保留彩色眼底图像区域；
将所述健康视网膜眼底彩照数据集中的所有原始图像均裁剪成128×128的固定尺寸；
将所述原始图像中的左眼图像进行水平翻转以得到水平翻转后的左眼图像以备用；
将所有的所述原始图像进行标准化处理，以使像素值分布在
Figure 497881DEST_PATH_IMAGE001
区间，以加快模型训练速度。
所述基于生成对抗网络的眼底图像生成方法，其中，在所述步骤三中，所述视网膜眼底图像结构与纹理模块对应有一视网膜眼底图像结构与纹理损失函数，所述视网膜眼底图像结构与纹理损失函数用于测算生成图片与真实图片之间的差异；
其中所述视网膜眼底图像结构与纹理损失函数的计算方法包括如下步骤：
计算生成眼底图像与真实眼底图像之间的纹理相似度；
计算生成眼底图像与真实眼底图像之间的结构相似度；
根据所述纹理相似度以及所述结构相似度，计算得到深度图像纹理和结构相似度；
根据所述深度图像纹理和结构相似度，计算得到所述视网膜眼底图像结构与纹理损失函数。
所述基于生成对抗网络的眼底图像生成方法，其中，所述纹理相似度的计算公式为：
Figure 961355DEST_PATH_IMAGE002
其中，
Figure 947765DEST_PATH_IMAGE003
表示所述纹理相似度，
Figure 378747DEST_PATH_IMAGE004
表示生成眼底图像
Figure 210436DEST_PATH_IMAGE005
的第
Figure 793996DEST_PATH_IMAGE006
层卷积层的第
Figure 951307DEST_PATH_IMAGE007
个特征图，
Figure 869585DEST_PATH_IMAGE008
表示真实眼底图像
Figure 504966DEST_PATH_IMAGE009
的第
Figure 943031DEST_PATH_IMAGE006
层卷积层的第
Figure 271244DEST_PATH_IMAGE007
个特征图，
Figure 411239DEST_PATH_IMAGE010
表示生成眼底图像
Figure 115890DEST_PATH_IMAGE005
的第
Figure 405532DEST_PATH_IMAGE006
层卷积层的第
Figure 904647DEST_PATH_IMAGE007
个特征图的均值，
Figure 531937DEST_PATH_IMAGE011
表示真实眼底图像
Figure 509120DEST_PATH_IMAGE009
的第
Figure 921778DEST_PATH_IMAGE006
层卷积层的第
Figure 591794DEST_PATH_IMAGE007
个特征图的均值，
Figure 706380DEST_PATH_IMAGE012
为大于零的第一常数，
Figure 487255DEST_PATH_IMAGE006
表示卷积层的索引，
Figure 754419DEST_PATH_IMAGE007
表示特征图的索引。
所述基于生成对抗网络的眼底图像生成方法，其中，所述结构相似度的计算公式为：
Figure 595336DEST_PATH_IMAGE013
其中，
Figure 197219DEST_PATH_IMAGE014
表示所述结构相似度，
Figure 781784DEST_PATH_IMAGE015
表示生成眼底图像
Figure 903455DEST_PATH_IMAGE005
的第
Figure 915273DEST_PATH_IMAGE006
层卷积层的第
Figure 738873DEST_PATH_IMAGE007
个特征图的方差，
Figure 127129DEST_PATH_IMAGE016
表示真实眼底图像
Figure 100376DEST_PATH_IMAGE009
的第
Figure 283096DEST_PATH_IMAGE006
层卷积层的第
Figure 859571DEST_PATH_IMAGE007
个特征图的方差，
Figure 785939DEST_PATH_IMAGE017
表示真实眼底图像
Figure 616622DEST_PATH_IMAGE009
与生成眼底图像
Figure 235823DEST_PATH_IMAGE005
之间的协方差，
Figure 34014DEST_PATH_IMAGE018
为大于零的第二常数。
所述基于生成对抗网络的眼底图像生成方法，其中，所述深度图像纹理和结构相似度的计算公式表示为：
Figure 498494DEST_PATH_IMAGE019
其中，
Figure 449263DEST_PATH_IMAGE020
表示所述深度图像纹理和结构相似度，
Figure 239365DEST_PATH_IMAGE021
表示第
Figure 462536DEST_PATH_IMAGE006
个卷积层第
Figure 793023DEST_PATH_IMAGE007
个特征图对应的第一学习权重，
Figure 598299DEST_PATH_IMAGE022
表示第
Figure 496985DEST_PATH_IMAGE006
个卷积层第
Figure 269769DEST_PATH_IMAGE007
个特征图对应的第二权重，
Figure 341630DEST_PATH_IMAGE023
表示大于零的第一学习权重，
Figure 250680DEST_PATH_IMAGE024
表示大于零的第二学习权重；
所述视网膜眼底图像结构与纹理损失函数表示为：
Figure 153824DEST_PATH_IMAGE025
其中，
Figure 148325DEST_PATH_IMAGE026
表示所述视网膜眼底图像结构与纹理损失函数。
所述基于生成对抗网络的眼底图像生成方法，其中，在所述步骤三中，所述眼底图片血管生成辅助模块对应有一结构相似度损失函数，所述结构相似度损失函数表示为：
Figure 23877DEST_PATH_IMAGE027
其中，
Figure 53013DEST_PATH_IMAGE028
表示所述结构相似度损失函数，
Figure 840972DEST_PATH_IMAGE029
表示结构相似度指标。
所述基于生成对抗网络的眼底图像生成方法，其中，
Figure 588348DEST_PATH_IMAGE030
其中，
Figure 2012DEST_PATH_IMAGE031
表示生成眼底图像
Figure 885654DEST_PATH_IMAGE005
的均值，
Figure 844514DEST_PATH_IMAGE032
表示真实眼底图像
Figure 813607DEST_PATH_IMAGE009
的均值，
Figure 30962DEST_PATH_IMAGE033
均为大于零的常数，
Figure 769111DEST_PATH_IMAGE034
表示生成眼底图像
Figure 164451DEST_PATH_IMAGE005
的方差，
Figure 620840DEST_PATH_IMAGE035
表示真实眼底图像
Figure 376307DEST_PATH_IMAGE009
的方差。
所述基于生成对抗网络的眼底图像生成方法，其中，在所述步骤四中，通过组合损失函数构建的生成对抗网络进行训练，以得到所述生成眼底图像，其中，所述组合损失函数表示为：
Figure 234541DEST_PATH_IMAGE036
其中，
Figure 797853DEST_PATH_IMAGE037
表示所述组合损失函数，
Figure 475959DEST_PATH_IMAGE038
表示第一函数权重，
Figure 35116DEST_PATH_IMAGE039
表示第二函数权重，
Figure 747858DEST_PATH_IMAGE040
表示第三函数权重，
Figure 485000DEST_PATH_IMAGE041
表示第四函数权重，
Figure 915982DEST_PATH_IMAGE042
为第一GAN基础损失函数，
Figure 13251DEST_PATH_IMAGE043
为第二GAN基础损失函数。
本发明还提出一种基于生成对抗网络的眼底图像生成***，其中，所述***包括：
预处理模块，用于获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理，其中进行医学图像预处理用于引导眼底图像的生成；
第一构建模块，用于构建基于注意力机制的图像生成器；
第二构建模块，用于构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器；
图像生成模块，用于输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的基于生成对抗网络的眼底图像生成方法的流程图；
图2为本发明中生成对抗网络模型的结构示意图；
图3为本发明提出的基于生成对抗网络的眼底图像生成***的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1与图2，本发明提出一种基于生成对抗网络的眼底图像生成方法，其中，所述方法包括如下步骤：
S101，获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理。
其中，进行医学图像预处理用于引导眼底图像的生成。
在本步骤中，从公开的眼底数据集DDR、Messidor和ODIR-5K中，人工挑选正常且质量高的眼底彩照，形成新的数据集；与眼科医院合作的数据集中挑选正常且质量高的眼底彩照，形成健康视网膜眼底彩照数据集。在得到了健康视网膜眼底彩照数据集之后，对健康视网膜眼底彩照数据集中的原始图像进行预处理。
具体的，对健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理的方法包括如下步骤：
S1011，去除原始图像中的黑色背景区域，保留彩色眼底图像区域；
S1012，将健康视网膜眼底彩照数据集中的所有原始图像均裁剪成128×128的固定尺寸；
S1013，将原始图像中的左眼图像进行水平翻转以得到水平翻转后的左眼图像以备用；
S1014，将所有的原始图像进行标准化处理，以使像素值分布在
Figure 580498DEST_PATH_IMAGE001
区间，以加快模型训练速度。
S102，构建基于注意力机制的图像生成器。
在本步骤中，采用Wasserstein GAN作为模型主干网，在图像生成器中嵌入Transformer Encoder模块，该Transformer Encoder模块由自注意力、标准化以及前向MLP操作组成。
S103，构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器。
在本步骤中，视网膜眼底图像结构与纹理模块对应有一视网膜眼底图像结构与纹理损失函数。其中，视网膜眼底图像结构与纹理损失函数用于测算生成图片与真实图片之间的差异。
具体的，视网膜眼底图像结构与纹理损失函数的计算方法包括如下步骤：
S1031，计算生成眼底图像与真实眼底图像之间的纹理相似度。
其中，纹理相似度的计算公式为：
Figure 488543DEST_PATH_IMAGE002
其中，
Figure 141241DEST_PATH_IMAGE003
表示所述纹理相似度，
Figure 42201DEST_PATH_IMAGE004
表示生成眼底图像
Figure 729534DEST_PATH_IMAGE005
的第
Figure 808480DEST_PATH_IMAGE006
层卷积层的第
Figure 948474DEST_PATH_IMAGE007
个特征图，
Figure 387546DEST_PATH_IMAGE008
表示真实眼底图像
Figure 929385DEST_PATH_IMAGE009
的第
Figure 176303DEST_PATH_IMAGE006
层卷积层的第
Figure 803593DEST_PATH_IMAGE007
个特征图，
Figure 843093DEST_PATH_IMAGE010
表示生成眼底图像
Figure 255751DEST_PATH_IMAGE005
的第
Figure 129029DEST_PATH_IMAGE006
层卷积层的第
Figure 774774DEST_PATH_IMAGE007
个特征图的均值，
Figure 821228DEST_PATH_IMAGE011
表示真实眼底图像
Figure 88392DEST_PATH_IMAGE009
的第
Figure 929309DEST_PATH_IMAGE006
层卷积层的第
Figure 265612DEST_PATH_IMAGE007
个特征图的均值，
Figure 850178DEST_PATH_IMAGE012
为大于零的第一常数，
Figure 971848DEST_PATH_IMAGE006
表示卷积层的索引，
Figure 983667DEST_PATH_IMAGE007
表示特征图的索引。
在此需要补充说明的是，
Figure 72846DEST_PATH_IMAGE012
的作用是为了避免分母为零。特征图是有一个经过修改后的VGG模型提取得到的。
S1032，计算生成眼底图像与真实眼底图像之间的结构相似度。
结构相似度的计算公式为：
Figure 195522DEST_PATH_IMAGE013
其中，
Figure 168770DEST_PATH_IMAGE014
表示所述结构相似度，
Figure 351490DEST_PATH_IMAGE015
表示生成眼底图像
Figure 662385DEST_PATH_IMAGE005
的第
Figure 588753DEST_PATH_IMAGE006
层卷积层的第
Figure 685016DEST_PATH_IMAGE007
个特征图的方差，
Figure 38637DEST_PATH_IMAGE016
表示真实眼底图像
Figure 836829DEST_PATH_IMAGE009
的第
Figure 566887DEST_PATH_IMAGE006
层卷积层的第
Figure 517657DEST_PATH_IMAGE007
个特征图的方差，
Figure 42179DEST_PATH_IMAGE017
表示真实眼底图像
Figure 327667DEST_PATH_IMAGE009
与生成眼底图像
Figure 861417DEST_PATH_IMAGE005
之间的协方差，
Figure 463430DEST_PATH_IMAGE018
为大于零的第二常数，
Figure 158854DEST_PATH_IMAGE018
的作用也是为了避免分母为零。
S1033，根据纹理相似度以及结构相似度，计算得到深度图像纹理和结构相似度。
其中，深度图像纹理和结构相似度的计算公式表示为：
Figure 134900DEST_PATH_IMAGE019
其中，
Figure 206761DEST_PATH_IMAGE020
表示所述深度图像纹理和结构相似度，
Figure 660352DEST_PATH_IMAGE021
表示第
Figure 792256DEST_PATH_IMAGE006
个卷积层第
Figure 786757DEST_PATH_IMAGE007
个特征图对应的第一学习权重，
Figure 865571DEST_PATH_IMAGE022
表示第
Figure 176598DEST_PATH_IMAGE006
个卷积层第
Figure 479403DEST_PATH_IMAGE007
个特征图对应的第二权重，
Figure 961200DEST_PATH_IMAGE023
表示大于零的第一学习权重，
Figure 125597DEST_PATH_IMAGE024
表示大于零的第二学习权重。
S1034，根据深度图像纹理和结构相似度，计算得到视网膜眼底图像结构与纹理损失函数。
在本实施例中，视网膜眼底图像结构与纹理损失函数表示为：
Figure 9239DEST_PATH_IMAGE025
其中，
Figure 482946DEST_PATH_IMAGE026
表示所述视网膜眼底图像结构与纹理损失函数。在本发明中，最终目标是为了将上述的视网膜眼底图像结构与纹理损失函数最小化。
进一步的，使用训练好的眼底图片血管生成辅助模块，提取真实眼底图像与生成眼底图像的血管特征信息，比较两张图片提取血管特征的SSIM（结构相似度损失）损失情况，来引导图像生成器生成更好的血管结构信息，使得图像生成器的生成眼底图像与真实眼底图像更接近（请参见图2中的生成对抗网络模型）。
其中，上述的眼底图片血管生成辅助模块对应有一结构相似度损失函数。结构相似度损失函数表示为：
Figure 452039DEST_PATH_IMAGE027
其中，
Figure 420126DEST_PATH_IMAGE028
表示所述结构相似度损失函数，
Figure 158275DEST_PATH_IMAGE029
表示结构相似度指标。
Figure 802883DEST_PATH_IMAGE030
其中，
Figure 259272DEST_PATH_IMAGE031
表示生成眼底图像
Figure 762541DEST_PATH_IMAGE005
的均值，
Figure 620775DEST_PATH_IMAGE032
表示真实眼底图像
Figure 170705DEST_PATH_IMAGE009
的均值，
Figure 114391DEST_PATH_IMAGE033
均为大于零的常数，
Figure 424280DEST_PATH_IMAGE034
表示生成眼底图像
Figure 137021DEST_PATH_IMAGE005
的方差，
Figure 123432DEST_PATH_IMAGE035
表示真实眼底图像
Figure 288834DEST_PATH_IMAGE009
的方差。
S104，输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
其中，生成对抗网络的训练过程中，使用RMSprop优化器，图像生成器和判别器的学习率设置为固定值，分别为
Figure 136836DEST_PATH_IMAGE044
和
Figure 969662DEST_PATH_IMAGE045
，一次送入生成对抗网络模型的批次大小设置为8。图像生成器采用组合损失函数：包括GAN生成器的损失函数、最小绝对值误差损失函数、视网膜眼底图像结构与纹理损失函数以及真实眼底图像和生成眼底图像之间的结构相似度损失函数。
具体的，通过组合损失函数构建的生成对抗网络进行训练，以得到所述生成眼底图像。其中，组合损失函数表示为：
Figure 126974DEST_PATH_IMAGE036
其中，
Figure 779672DEST_PATH_IMAGE037
表示所述组合损失函数，
Figure 431365DEST_PATH_IMAGE038
表示第一函数权重，
Figure 118698DEST_PATH_IMAGE039
表示第二函数权重，
Figure 446911DEST_PATH_IMAGE040
表示第三函数权重，
Figure 586906DEST_PATH_IMAGE041
表示第四函数权重，
Figure 508201DEST_PATH_IMAGE042
为第一GAN基础损失函数，
Figure 315620DEST_PATH_IMAGE043
为第二GAN基础损失函数。
一般的，在经验上设置
Figure 814734DEST_PATH_IMAGE046
。
本发明为一阶段端对端的用于生成视网膜眼底图像的生成对抗网络模型；具体的，首先获取健康视网膜眼底彩照数据集，然后构建基于注意力机制的图像生成器，用于更好地获得图像的全局特征；利用视网膜眼底图像结构与纹理模块，测算生成眼底图像与真实眼底图像之间的差异大小，用于引导生成器生成的图像在图像结构与纹理上与真实眼底图像更接近；并在此基础上，引入眼底图片血管生成辅助模块，使用训练好的眼底图像血管分割网络，提取血管特征信息，用于辅助生成器生成血管信息。经对比试验验证：本发明在生成图像的视觉质量上以及结构上都有很好的表现。
请参阅图3，本发明还提出一种基于生成对抗网络的眼底图像生成***，其中，所述***包括：
预处理模块，用于获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理，其中进行医学图像预处理用于引导眼底图像的生成；
第一构建模块，用于构建基于注意力机制的图像生成器；
第二构建模块，用于构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器；
图像生成模块，用于输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于生成对抗网络的眼底图像生成方法，其特征在于，所述方法包括如下步骤：
步骤一：获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理，其中进行医学图像预处理用于引导眼底图像的生成；
步骤二：构建基于注意力机制的图像生成器；
步骤三：构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器；
步骤四：输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
2.根据权利要求1所述的基于生成对抗网络的眼底图像生成方法，其特征在于，在所述步骤一中，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理的方法包括如下步骤：
去除原始图像中的黑色背景区域，保留彩色眼底图像区域；
将所述健康视网膜眼底彩照数据集中的所有原始图像均裁剪成128×128的固定尺寸；
将所述原始图像中的左眼图像进行水平翻转以得到水平翻转后的左眼图像；
将所有的所述原始图像进行标准化处理，以使像素值分布在
Figure 894558DEST_PATH_IMAGE001
区间。
3.根据权利要求1所述的基于生成对抗网络的眼底图像生成方法，其特征在于，在所述步骤三中，所述视网膜眼底图像结构与纹理模块对应有一视网膜眼底图像结构与纹理损失函数，所述视网膜眼底图像结构与纹理损失函数用于测算生成图片与真实图片之间的差异；
其中所述视网膜眼底图像结构与纹理损失函数的计算方法包括如下步骤：
计算生成眼底图像与真实眼底图像之间的纹理相似度；
计算生成眼底图像与真实眼底图像之间的结构相似度；
根据所述纹理相似度以及所述结构相似度，计算得到深度图像纹理和结构相似度；
根据所述深度图像纹理和结构相似度，计算得到所述视网膜眼底图像结构与纹理损失函数。
4.根据权利要求3所述的基于生成对抗网络的眼底图像生成方法，其特征在于，所述纹理相似度的计算公式为：
Figure 218223DEST_PATH_IMAGE002
其中，
Figure 420797DEST_PATH_IMAGE003
表示所述纹理相似度，
Figure 347164DEST_PATH_IMAGE004
表示生成眼底图像
Figure 568061DEST_PATH_IMAGE005
的第
Figure 921682DEST_PATH_IMAGE006
层卷积层的第
Figure 844508DEST_PATH_IMAGE007
个特征图，
Figure 574566DEST_PATH_IMAGE008
表示真实眼底图像
Figure 649970DEST_PATH_IMAGE009
的第
Figure 174492DEST_PATH_IMAGE006
层卷积层的第
Figure 83149DEST_PATH_IMAGE007
个特征图，
Figure 351319DEST_PATH_IMAGE010
表示生成眼底图像
Figure 546808DEST_PATH_IMAGE005
的第
Figure 507811DEST_PATH_IMAGE006
层卷积层的第
Figure 405229DEST_PATH_IMAGE007
个特征图的均值，
Figure 211511DEST_PATH_IMAGE011
表示真实眼底图像
Figure 261506DEST_PATH_IMAGE009
的第
Figure 127831DEST_PATH_IMAGE006
层卷积层的第
Figure 14010DEST_PATH_IMAGE007
个特征图的均值，
Figure 623983DEST_PATH_IMAGE012
为大于零的第一常数，
Figure 528485DEST_PATH_IMAGE006
表示卷积层的索引，
Figure 831290DEST_PATH_IMAGE007
表示特征图的索引。
5.根据权利要求4所述的基于生成对抗网络的眼底图像生成方法，其特征在于，所述结构相似度的计算公式为：
Figure 437721DEST_PATH_IMAGE013
其中，
Figure 851385DEST_PATH_IMAGE014
表示所述结构相似度，
Figure 610393DEST_PATH_IMAGE015
表示生成眼底图像
Figure 84100DEST_PATH_IMAGE005
的第
Figure 682221DEST_PATH_IMAGE006
层卷积层的第
Figure 633997DEST_PATH_IMAGE007
个特征图的方差，
Figure 513091DEST_PATH_IMAGE016
表示真实眼底图像
Figure 157699DEST_PATH_IMAGE009
的第
Figure 738722DEST_PATH_IMAGE006
层卷积层的第
Figure 228609DEST_PATH_IMAGE007
个特征图的方差，
Figure 962210DEST_PATH_IMAGE017
表示真实眼底图像
Figure 777719DEST_PATH_IMAGE009
与生成眼底图像
Figure 347503DEST_PATH_IMAGE005
之间的协方差，
Figure 641081DEST_PATH_IMAGE018
为大于零的第二常数。
6.根据权利要求5所述的基于生成对抗网络的眼底图像生成方法，其特征在于，所述深度图像纹理和结构相似度的计算公式表示为：
Figure 229188DEST_PATH_IMAGE019
其中，
Figure 215599DEST_PATH_IMAGE020
表示所述深度图像纹理和结构相似度，
Figure 771214DEST_PATH_IMAGE021
表示第
Figure 602904DEST_PATH_IMAGE006
个卷积层第
Figure 311097DEST_PATH_IMAGE007
个特征图对应的第一学习权重，
Figure 202829DEST_PATH_IMAGE022
表示第
Figure 744276DEST_PATH_IMAGE006
个卷积层第
Figure 645236DEST_PATH_IMAGE007
个特征图对应的第二权重，
Figure 942356DEST_PATH_IMAGE023
表示大于零的第一学习权重，
Figure 270569DEST_PATH_IMAGE024
表示大于零的第二学习权重；
所述视网膜眼底图像结构与纹理损失函数表示为：
Figure 535197DEST_PATH_IMAGE025
其中，
Figure 239848DEST_PATH_IMAGE026
表示所述视网膜眼底图像结构与纹理损失函数。
7.根据权利要求6所述的基于生成对抗网络的眼底图像生成方法，其特征在于，在所述步骤三中，所述眼底图片血管生成辅助模块对应有一结构相似度损失函数，所述结构相似度损失函数表示为：
Figure 657054DEST_PATH_IMAGE027
其中，
Figure 156169DEST_PATH_IMAGE028
表示所述结构相似度损失函数，
Figure 409558DEST_PATH_IMAGE029
表示结构相似度指标。
8.根据权利要求7所述的基于生成对抗网络的眼底图像生成方法，其特征在于，
Figure 652320DEST_PATH_IMAGE030
其中，
Figure 924033DEST_PATH_IMAGE031
表示生成眼底图像
Figure 594048DEST_PATH_IMAGE005
的均值，
Figure 833269DEST_PATH_IMAGE032
表示真实眼底图像
Figure 614143DEST_PATH_IMAGE009
的均值，
Figure 5941DEST_PATH_IMAGE033
均为大于零的常数，
Figure 846858DEST_PATH_IMAGE034
表示生成眼底图像
Figure 167567DEST_PATH_IMAGE005
的方差，
Figure 486553DEST_PATH_IMAGE035
表示真实眼底图像
Figure 998437DEST_PATH_IMAGE009
的方差。
9.根据权利要求8所述的基于生成对抗网络的眼底图像生成方法，其特征在于，在所述步骤四中，通过组合损失函数构建的生成对抗网络进行训练，以得到所述生成眼底图像，其中，所述组合损失函数表示为：
Figure 10255DEST_PATH_IMAGE036
其中，
Figure 958489DEST_PATH_IMAGE037
表示所述组合损失函数，
Figure 81165DEST_PATH_IMAGE038
表示第一函数权重，
Figure 447556DEST_PATH_IMAGE039
表示第二函数权重，
Figure 630275DEST_PATH_IMAGE040
表示第三函数权重，
Figure 832849DEST_PATH_IMAGE041
表示第四函数权重，
Figure 759217DEST_PATH_IMAGE042
为第一GAN基础损失函数，
Figure 714534DEST_PATH_IMAGE043
为第二GAN基础损失函数。
10.一种基于生成对抗网络的眼底图像生成***，其特征在于，所述***包括：
预处理模块，用于获取健康视网膜眼底彩照数据集，对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理，其中进行医学图像预处理用于引导眼底图像的生成；
第一构建模块，用于构建基于注意力机制的图像生成器；
第二构建模块，用于构建得到视网膜眼底图像结构与纹理模块，以及引入眼底图片血管生成辅助模块，其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅助所述图像生成器；
图像生成模块，用于输入用于得到生成眼底图像的随机高斯噪声，根据所述基于注意力机制的图像生成器，利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模块，以最终得到生成眼底图像。
CN202210574154.6A 2022-05-25 2022-05-25 基于生成对抗网络的眼底图像生成方法与*** Active CN114663318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210574154.6A CN114663318B (zh) 2022-05-25 2022-05-25 基于生成对抗网络的眼底图像生成方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210574154.6A CN114663318B (zh) 2022-05-25 2022-05-25 基于生成对抗网络的眼底图像生成方法与***

Publications (2)

Publication Number Publication Date
CN114663318A true CN114663318A (zh) 2022-06-24
CN114663318B CN114663318B (zh) 2022-08-30

Family

ID=82038264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210574154.6A Active CN114663318B (zh) 2022-05-25 2022-05-25 基于生成对抗网络的眼底图像生成方法与***

Country Status (1)

Country Link
CN (1) CN114663318B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325749A (zh) * 2020-02-17 2020-06-23 东北林业大学 一种基于生成对抗网络的带出血病症的眼底血管图像生成方法
CN111882825A (zh) * 2020-06-18 2020-11-03 闽江学院 一种基于类脑电波数据的疲劳预测方法及装置
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
CN112446436A (zh) * 2020-12-11 2021-03-05 浙江大学 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN113222811A (zh) * 2021-05-24 2021-08-06 北京理工大学 一种基于图像掩膜的人脸属性迁移方法
CN113269818A (zh) * 2021-06-09 2021-08-17 河北工业大学 一种基于深度学习的地震数据纹理特征重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
CN111325749A (zh) * 2020-02-17 2020-06-23 东北林业大学 一种基于生成对抗网络的带出血病症的眼底血管图像生成方法
CN111882825A (zh) * 2020-06-18 2020-11-03 闽江学院 一种基于类脑电波数据的疲劳预测方法及装置
CN112446436A (zh) * 2020-12-11 2021-03-05 浙江大学 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN112837244A (zh) * 2021-03-11 2021-05-25 太原科技大学 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络
CN113222811A (zh) * 2021-05-24 2021-08-06 北京理工大学 一种基于图像掩膜的人脸属性迁移方法
CN113269818A (zh) * 2021-06-09 2021-08-17 河北工业大学 一种基于深度学习的地震数据纹理特征重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TASLEEM KAUSAR ET AL: "《SA-GAN：Stain Acclimation Generative Adversarial Network for Histopathology Analysis》", 《MDPI》 *
康莉等: "基于分步生成模型的视网膜眼底图像合成", 《中国体视学与图像分析》 *
张婧等: "基于无监督学习的单人多姿态图像生成方法", 《光电技术应用》 *
查雪玮: "《条件生成对抗网络的改进研究及其在视网膜OCT影像分析的应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN114663318B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US11790645B2 (en) Diagnosis assistance system and control method thereof
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
KR20200005407A (ko) 안구 이미지 기반의 진단 보조 이미지 제공 장치
CN111598867B (zh) 用于检测特定面部综合征的方法、装置及计算机可读存储介质
WO2020211530A1 (zh) 用于检测眼底图片的模型训练方法和装置、眼底图片的检测方法和装置、计算机设备和介质
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
KR20200023029A (ko) 진단 보조 시스템 및 그 제어 방법
CN113011340B (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及***
CN114693961A (zh) 眼底照片分类方法、眼底图像处理方法和***
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估***
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
JPWO2019073962A1 (ja) 画像処理装置及びプログラム
CN113256638A (zh) 基于卷积神经网络模型的眼球角膜神经分割方法及装置
CN114663318B (zh) 基于生成对抗网络的眼底图像生成方法与***
CN116092667A (zh) 基于多模态影像的疾病检测方法、***、装置及存储介质
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
CN115409857A (zh) 一种基于深度学习的三维脑积水ct图像分割方法
Fu et al. Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation
CN116681641A (zh) 一种基于生成对抗网络的眼底oct图像生成方法
CN112734769A (zh) 基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质
CN115909470B (zh) 基于深度学习的全自动眼睑疾病术后外观预测***和方法
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
CN117058467B (zh) 一种胃肠道病变类型识别方法及***
Aakanksha et al. Corneal Image Segmentation Using Attention U-Net
Naz et al. RetinaCare: Diabetic Retinopathy Detection with VGG16-based Web Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant