CN112992304A - 高分辨率红眼病案例数据生成方法、设备及存储介质 - Google Patents

高分辨率红眼病案例数据生成方法、设备及存储介质 Download PDF

Info

Publication number
CN112992304A
CN112992304A CN202010854745.XA CN202010854745A CN112992304A CN 112992304 A CN112992304 A CN 112992304A CN 202010854745 A CN202010854745 A CN 202010854745A CN 112992304 A CN112992304 A CN 112992304A
Authority
CN
China
Prior art keywords
image data
pinkeye
generator
eye image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010854745.XA
Other languages
English (en)
Other versions
CN112992304B (zh
Inventor
谢松县
邓喜成
彭立宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shuding Intelligent Technology Co ltd
Original Assignee
Hunan Shuding Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shuding Intelligent Technology Co ltd filed Critical Hunan Shuding Intelligent Technology Co ltd
Priority to CN202010854745.XA priority Critical patent/CN112992304B/zh
Publication of CN112992304A publication Critical patent/CN112992304A/zh
Application granted granted Critical
Publication of CN112992304B publication Critical patent/CN112992304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种高分辨率红眼病案例数据生成方法、设备及存储介质，首先获取人眼图像数据集，人眼图像数据集中的眼睛图像数据包括大量正常眼睛图像数据和红眼病图像数据。融合cyclegan网络和esrgan网络，构建高分辨率红眼病案例数据生成模型并对其进行训练，得到训练好的高分辨率红眼病案例数据生成模型。将待生成红眼病案例数据的眼睛图像数据输入到训练好的高分辨率红眼病案例数据生成模型中，得到红眼病数据案例数据。本发明通过融合cyclegan网络和esrgan网络来构建出新的红眼病案例数据生成模型，解决了高分辨率红眼病数据匮乏的问题。

Description

高分辨率红眼病案例数据生成方法、设备及存储介质
技术领域
本发明涉及深度学习领域，尤其涉及一种高分辨率红眼病案例数据生成方法。
背景技术
目前进行红眼病诊断都是靠医生面对面去检查，并没有一项技术可以很好地检测出被检测人员是否患有红眼病。深度学习是学习样本数据的内在规律和表示层次，对图像数据的解释有很大的帮助。因此，可以使用深度学习来解决这一问题。
但是使用深度学习技术来进行红眼病诊断需要大量高分辨率的红眼病案例数据来训练模型，如果红眼病案例数据量太少或者分辨率太低，会影响深度学习技术对案例数据的特征提取，也就影响了深度学习技术对红眼病的诊断效果。
目前由于红眼病案例数据，尤其是高分辨率的红眼病案例数据太少，很难搜集到满足需求的红眼病案例数据来进行分析处理，给红眼病检测技术的发展带来了很大的阻碍。现有的方法只能生成低分辨率的红眼病案例数据，满足不了深度学习对红眼病案例数据的要求。
发明内容
针对现有技术中存在的缺陷，为推动使用深度学习技术来解决红眼病诊断问题，本发明提出了一种高分辨率红眼病案例数据生成方法、设备及存储介质。
为实现上述技术目的，本发明采用的具体技术方案如下：
高分辨率红眼病案例数据生成方法，包括：
获取人眼图像数据集，人眼图像数据集中的眼睛图像数据包括大量正常眼睛图像数据和红眼病图像数据，人眼图像数据集中的所有正常眼睛图像数据构成正常眼睛图像数据集A，人眼图像数据集中的所有红眼病图像数据构成红眼病图像数据集B。
融合cyclegan网络和esrgan网络，构建高分辨率红眼病案例数据生成模型并对其进行训练，得到训练好的高分辨率红眼病案例数据生成模型。
将待生成红眼病案例数据的眼睛图像数据输入到训练好的高分辨率红眼病案例数据生成模型中，得到红眼病数据案例数据。
本发明中，通过采集大量人的正脸图像数据构成正脸图像数据集，并对其中的眼睛部位进行人工标注处理，使用yolov4模型对标注完毕的人的正脸图像数据进行训练，得到训练好的人眼图像提取模型。
采用训练好的人眼图像提取模型提取眼睛图像数据，得到的所有眼睛图像数据作为待生成红眼病案例数据集。对于待生成红眼病案例数据集中的所有眼睛图像数据进行红眼病和正常眼睛的二分类处理，其中所有的正常眼睛图像数据构成正常眼睛图像数据集A。而得到的红眼病图像数据比较少，不满足cyclegan网络对训练数据的要求，因此，需要对搜集到的红眼病图像数据进行翻转、对比度变化和亮度变化等数据增强处理，然后得到足够多的红眼病图像数据作为红眼病图像数据集B。
本发明中，构建高分辨率红眼病案例数据生成模型，包括：
(1)基于cyclegan网络构建红眼病数据生成器G_A2B，生成器G_A2B是cyclegan网络中使正常眼睛图像数据集中的正常眼睛图像数据转换成红眼病图像数据的生成函数。同时，为生成器G_A2B引入一个辨别器D_B，作用是判别生成器G_A2B生成的图像数据是否是红眼病图像数据集B中原始的图像数据。
生成器G_A2B其网络结构是：先利用卷积层对正常眼睛图像数据集A中的正常眼睛图像数据进行特征提取，然后经过多个G_A2B基础模块进行处理之后对处理后的数据进行上采样处理，最后在经过一层卷积层之后即可生成与红眼病图像数据集B中红眼病图像数据相似的图像数据；其中在G_A2B基础模块中先经过卷积层之后进入到归一化层进行数据的归一化处理，然后使用SIREN激活函数对其进行非线性化，接着再次经过一个卷积层和归一化层处理。
辨别器D_B的网络结构是：先使用卷积层对G_A2B生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到D_B基础模块进行卷积、非线性化和归一化处理，如此经过多个D_B基础模块进行处理之后再次进行卷积和非线性化处理，最后使用回归函数(sigmoid)进行回归处理，得到的结果显示G_A2B生成的图像数据是否属于红眼病图像数据集B中原始的图像数据。
(2)基于cyclegan网络构建正常眼睛数据生成器G_B2A，生成器G_B2A是cyclegan网络中使红眼病图像数据集中的红眼病图像数据转换成正常眼睛图像数据的生成函数。同时，为生成器G_B2A引入一个辨别器D_A，作用是判别生成器G_B2A生成的图像数据是否是正常眼睛图像数据集A中原始的图像数据。
生成器G_B2A其网络结构是：先利用卷积层对红眼病图像数据集B中的红眼病图像数据进行特征提取，然后经过多个G_B2A基础模块进行处理之后对处理后的数据进行上采样处理，最后在经过一层卷积层之后即可生成与正常眼睛图像数据集A中正常眼睛图像数据相似的图像数据；其中在G_B2A基础模块中先经过卷积层之后进入到归一化层进行数据的归一化处理，然后使用SIREN激活函数对其进行非线性化，接着再次经过一个卷积层和归一化层处理。
辨别器D_A的网络结构是：先使用卷积层对G_B2A生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到D_A基础模块进行卷积、非线性化和归一化处理，如此经过多个D_A基础模块进行处理之后再次进行卷积和非线性化处理，最后使用回归函数(sigmoid)进行回归处理，得到的结果显示G_B2A生成的图像数据是否属于正常眼睛图像数据集A中原始的图像数据。
(3)基于esrgan网络构建高分辨率图像数据生成器G_E。高分辨率图像数据生成器G_E是esrgan网络中提升图像数据分辨率的生成器。同时，为高分辨率图像数据生成器G_E引入辨别器D_E，作用是判别高分辨率图像数据生成器G_E生成的图像数据是否是高分辨率的图像数据。
高分辨率图像数据生成器G_E高分辨率图像数据生成器其网络结构是：首先利用卷积层对输入的图像数据进行特征提取，然后使用多个残差密集模块(RRDB)对数据进行处理之后再进行上采样处理，最后经过一层卷积层之后得到处理之后的图像数据。其中输入到残差密集模块(RRDB)中的数据经过多次卷积层和非线性化处理后输出。具体地，在残差密集模块(RRDB)中经过卷积层之后使用SIREN激活函数进行非线性化处理，重复卷积层、非线性化处理此过程三次之后即完成一次残差密集模块(RRDB)处理。
辨别器D_E其网络结构是：首先使用卷积层对高分辨率图像数据生成器G_E生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到基础模块进行卷积、非线性化和归一化处理。如此经过多个基础模块进行处理之后送入到密集连接模块(Dense)进行特征处理，再经非线性化处理后使用sigmoid进行处理，得到的结果显示G_E生成的图像数据是否属于高分辨率的图像数据。
优选地，本发明中所述高分辨率红眼病案例数据生成模型的训练方法，包括；
先使生成器G_A2B和生成器G_B2A保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据输入到辨别器D_A中进行训练。同时，将红眼病图像数据集B中的红眼病图像数据和由G_A2B生成的红眼病图像数据输入到辨别器D_B中进行训练。
辨别器D_A的损失函数
Figure BDA0002646027670000051
为：
Figure BDA0002646027670000052
其中GB2A表示生成器G_B2A，DA表示辨别器D_A，GB2A(b)表示由生成器G_B2A生成的图像数据；
Figure BDA0002646027670000053
为生成器生成的数据pB(b)在数据集B上的分布情况，
Figure BDA0002646027670000054
为生成器生成的数据pA(a)在数据集A上的分布情况；DA(a)表示辨别器D_A对数据集A中的某一图像a进行辨别所得的结果，DA(GB2A(b))表示辨别器DA对生成器G_B2A生成的图像GB2A(b)进行辨别所得的结果。
当
Figure BDA0002646027670000055
达到最大时，辨别器D_A可以准确地分辨正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据时，使辨别器D_A保持不变，将红眼病图像数据集B中的原始的红眼病图像数据输入到生成器G_B2A中进行训练。
辨别器D_B的损失函数为：
Figure BDA0002646027670000056
其中GA2B表示生成器G_A2B，DB表示辨别器D_B，GA2B(a)表示由生成器G_A2B生成的图像数据；DB(b)表示辨别器D_B对数据集B中的某一图像b进行辨别所得的结果，DB(GA2B(a))表示辨别器DB对生成器G_A2B生成的图像GA2B(a)进行辨别所得的结果。
当辨别器D_B的损失函数达到最大时，辨别器D_B可以准确分辨红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据时，使辨别器D_B保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据输入到生成器G_A2B中进行训练。
生成器G_A2B的损失函数为：
Figure BDA0002646027670000061
生成器G_B2A的损失函数为：
Figure BDA0002646027670000062
当生成器G_A2B的损失函数和生成器G_B2A的损失函数达到最小时，由生成器G_A2B生成的红眼病图像数据和由G_B2A生成的正常眼睛图像数据分别与原始的红眼病图像数据和正常眼睛图像数据高度相似，此时辨别器D_A无法将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据区分开来，辨别器D_B无法将红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据区分开来，生成器G_B2A和生成器G_A2B效果达到最佳。将由此时的生成器G_A2B生成的红眼病图像数据输入到高分辨率图像数据生成器G_E中进行训练，并使用辨别器D_E来判别高分辨率图像数据生成器G_E生成数据的效果，当整体的损失达到最小时，即得到高分辨率红眼病案例数据生成模型。其中整体的损失为：
Figure BDA0002646027670000063
其中
Figure BDA0002646027670000064
为循环一致性损失，
Figure BDA0002646027670000071
睛图像数据集A中的某一图像，b为红眼病图像数据集B中的某一图像。
Figure BDA0002646027670000072
为感知损失，
Figure BDA0002646027670000073
φ为损失函数网络，CjHjWj表示第j层特征图的大小，φj(b)表示红眼病图像数据集B中图像b的损失，
Figure BDA0002646027670000074
表示生成的图像
Figure BDA0002646027670000075
的损失；
Figure BDA0002646027670000076
Figure BDA0002646027670000077
本发明还提供一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述高分辨率红眼病案例数据生成方法的步骤。
本发明另外还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述高分辨率红眼病案例数据生成方法的步骤。
本发明的有益效果如下：
本发明通过融合cyclegan网络和esrgan网络来构建出新的红眼病案例数据生成模型，解决了高分辨率红眼病数据匮乏的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为生成器G_A2B和G_B2A的网络结构图；
图2为辨别器D_A和D_B的网络结构图；
图3为生成器G_E的网络结构图；
图4为辨别器D_E的网络结构图；
图5为高分辨率红眼病案例数据生成模型的网络结构图。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
实施例1：
参照图1至图5，本实施例提供一种高分辨率红眼病案例数据生成方法，包括：
(S1)搜集大量人的正脸图像数据，并对其中的眼睛部位进行标注处理，得到眼睛图像数据，构成人眼图像数据集。对于人眼图像数据集中的所有眼睛图像数据进行红眼病和正常眼睛的二分类处理。其中所有的正常眼睛图像数据构成正常眼睛图像数据集A。对于其中的红眼病图像数据，由于搜集到的红眼病图像数据比较少，因此，需要对搜集到的红眼病图像数据进行翻转、对比度变化和亮度变化等数据增强处理后，得到最终的红眼病图像数据集B。
(S2)选取yolov4构建人眼图像提取模型，采用人眼图像数据集训练人眼图像提取模型。
(S3)融合cyclegan网络和esrgan网络，构建高分辨率红眼病案例数据生成模型并对其进行训练，得到训练好的高分辨率红眼病案例数据生成模型。
(S3.1)基于cyclegan网络构建红眼病数据生成器G_A2B，生成器G_A2B是cyclegan网络中使正常眼睛图像数据集中的正常眼睛图像数据转换成红眼病图像数据的生成函数。同时，为生成器G_A2B引入一个辨别器D_B，作用是判别生成器G_A2B生成的图像数据是否是红眼病图像数据集B中原始的图像数据。
参照图1，生成器G_A2B其网络结构是：先利用卷积层(Conv)对正常眼睛图像数据集A中的正常眼睛图像数据进行特征提取，然后经过多个G_A2B基础模块(Basic Block)进行处理之后对处理后的数据进行上采样处理，最后在经过一层卷积层之后即可生成与红眼病图像数据集B中红眼病图像数据相似的图像数据；其中在G_A2B基础模块中先经过卷积层之后进入到归一化层(BN层)进行数据的归一化处理，然后使用SIREN激活函数对其进行非线性化，接着再次经过一个卷积层和归一化层(BN层)处理。
参照图2，辨别器D_B的网络结构是：先使用卷积层对G_A2B生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到D_B基础模块进行卷积、非线性化和归一化处理，如此经过多个D_B基础模块(Basic Block)进行处理之后再次进行卷积和非线性化处理，最后使用回归函数(sigmoid)进行回归处理，得到的结果显示G_A2B生成的图像数据是否属于红眼病图像数据集B中原始的图像数据。
(S3.2)基于cyclegan网络构建正常眼睛数据生成器G_B2A，生成器G_B2A是cyclegan网络中使红眼病图像数据集中的红眼病图像数据转换成正常眼睛图像数据的生成函数。同时，为生成器G_B2A引入一个辨别器D_A，作用是判别生成器G_B2A生成的图像数据是否是正常眼睛图像数据集A中原始的图像数据。生成器G_B2A的网络结构与生成器G_A2B的网络结构相同，辨别器D_A的网络结构与辨别器D_B的网络结构相同。
参照图1，生成器G_B2A其网络结构是：先利用卷积层对红眼病图像数据集B中的红眼病图像数据进行特征提取，然后经过多个G_B2A基础模块进行处理之后对处理后的数据进行上采样处理，最后在经过一层卷积层之后即可生成与正常眼睛图像数据集A中正常眼睛图像数据相似的图像数据；其中在G_B2A基础模块中先经过卷积层之后进入到归一化层进行数据的归一化处理，然后使用SIREN激活函数对其进行非线性化，接着再次经过一个卷积层和归一化层处理。
参照图2，辨别器D_A的网络结构是：先使用卷积层对G_B2A生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到D_A基础模块进行卷积、非线性化和归一化处理，如此经过多个D_A基础模块进行处理之后再次进行卷积和非线性化处理，最后使用回归函数(sigmoid)进行回归处理，得到的结果显示G_B2A生成的图像数据是否属于正常眼睛图像数据集A中原始的图像数据。
(S3.3)基于esrgan网络构建高分辨率图像数据生成器G_E。高分辨率图像数据生成器G_E是esrgan网络中提升图像数据分辨率的生成器。同时，为高分辨率图像数据生成器G_E引入辨别器D_E，作用是判别高分辨率图像数据生成器G_E生成的图像数据是否是高分辨率的图像数据。
参照图3，高分辨率图像数据生成器G_E其网络结构是：首先利用卷积层对输入的图像数据进行特征提取，然后使用多个残差密集模块(RRDB)对数据进行处理之后再进行卷积、上采样处理，最后经过一层卷积层之后得到处理之后的图像数据。其中输入到残差密集模块(RRDB)中的数据经过多次卷积层和非线性化处理后输出。具体地，在残差密集模块(RRDB)中经过卷积层之后使用SIREN激活函数进行非线性化处理，重复卷积层、非线性化处理此过程三次之后即完成一次残差密集模块(RRDB)处理。
参照图4，辨别器D_E其网络结构是：首先使用卷积层对高分辨率图像数据生成器G_E生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到基础模块进行卷积、激活函数非线性化处理、归一化处理。如此经过多个基础模块进行处理之后送入到密集连接模块(Dense)进行特征处理，再经激活函数进行非线性化处理后送入到下一个密集连接模块(Dense)进行特征处理，最后使用sigmoid进行处理，得到的结果显示G_E生成的图像数据是否属于高分辨率的图像数据。
(S3.4)训练高分辨率红眼病案例数据生成模型；
如附图5所示，先使生成器G_A2B和生成器G_B2A保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据输入到辨别器D_A中进行训练。同时，将红眼病图像数据集B中的红眼病图像数据和由G_A2B生成的红眼病图像数据输入到辨别器D_B中进行训练。
辨别器D_A的损失函数为：
Figure BDA0002646027670000111
其中GB2A表示生成器G_B2A，DA表示辨别器D_A，GB2A(b)表示由生成器G_B2A生成的图像数据；
Figure BDA0002646027670000112
为生成器生成的数据pB(b)在红眼病图像数据集B上的分布情况，
Figure BDA0002646027670000113
为生成器生成的数据pA(a)在正常眼睛图像数据集A上的分布情况；DA(a)表示辨别器D_A对正常眼睛图像数据集A中的某一图像a进行辨别所得的结果，DA(GB2A(b))表示辨别器DA对生成器G_B2A生成的图像GB2A(b)进行辨别所得的结果。
当辨别器D_A的损失函数达到最大时，辨别器D_A可以准确地分辨正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据时，使辨别器D_A保持不变，将红眼病图像数据集B中的原始的红眼病图像数据输入到生成器G_B2A中进行训练。
辨别器D_B的损失函数为：
Figure BDA0002646027670000121
其中GA2B表示生成器G_A2B，DB表示辨别器D_B，GA2B(a)表示由生成器G_A2B生成的图像数据；DB(b)表示辨别器D_B对红眼病图像数据集B中的某一图像b进行辨别所得的结果，DB(GA2B(a))表示辨别器DB对生成器G_A2B生成的图像GA2B(a)进行辨别所得的结果。
当辨别器D_B的损失函数达到最大时，辨别器D_B可以准确分辨红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据时，使辨别器D_B保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据输入到生成器G_A2B中进行训练。
生成器G_A2B的损失函数为：
Figure BDA0002646027670000122
生成器G_B2A的损失函数为：
Figure BDA0002646027670000123
当生成器G_A2B的损失函数和生成器G_B2A的损失函数达到最小时，由生成器G_A2B生成的红眼病图像数据和由G_B2A生成的正常眼睛图像数据分别与原始的红眼病图像数据和正常眼睛图像数据高度相似，此时辨别器D_A无法将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据区分开来，辨别器D_B无法将红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据区分开来，生成器G_B2A和生成器G_A2B效果达到最佳。将由此时的生成器G_A2B生成的红眼病图像数据输入到高分辨率图像数据生成器G_E中进行训练，并使用辨别器D_E来判别高分辨率图像数据生成器G_E生成数据的效果，当整体的损失达到最小时，即得到高分辨率红眼病案例数据生成模型，其中整体的损失为：
Figure BDA0002646027670000131
其中
Figure BDA0002646027670000132
为循环一致性损失，
Figure BDA0002646027670000133
a为正常眼睛图像数据集A中的某一图像，b为红眼病图像数据集B中的某一图像，
Figure BDA0002646027670000134
为感知损失，
Figure BDA0002646027670000135
φ为损失函数网络，CjHjWj表示第j层特征图的大小，φj(b)表示红眼病图像数据集B中图像b的损失，
Figure BDA0002646027670000136
表示生成的图像
Figure BDA0002646027670000137
的损失，
Figure BDA0002646027670000138
(S4)获取待生成红眼病案例数据的人脸正面图像，将其输入到(S2)中训练好的人眼图像提取模型中，提取得到对应的待生成红眼病案例数据的眼睛部位数据。然后将提取得到的眼睛部位图像数据输入到(S3)中训练好的高分辨率红眼病案例数据生成模型，得到高分辨率红眼病图像数据。
实施例2
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述实施例1所提供的高分辨率红眼病案例数据生成方法的步骤。
实施例3
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例1所提供的高分辨率红眼病案例数据生成方法的步骤。
综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视权利要求书界定的范围为准。

Claims (10)

1.高分辨率红眼病案例数据生成方法，其特征在于，包括：
获取人眼图像数据集，人眼图像数据集中的眼睛图像数据包括大量正常眼睛图像数据和红眼病图像数据，人眼图像数据集中的所有正常眼睛图像数据构成正常眼睛图像数据集A，人眼图像数据集中的所有红眼病图像数据构成红眼病图像数据集B；
融合cyclegan网络和esrgan网络，构建高分辨率红眼病案例数据生成模型并对其进行训练，得到训练好的高分辨率红眼病案例数据生成模型；
将待生成红眼病案例数据的眼睛图像数据输入到训练好的高分辨率红眼病案例数据生成模型中，得到红眼病数据案例数据。
2.根据权利要求1所述的高分辨率红眼病案例数据生成方法，其特征在于，通过采集大量人的正脸图像数据构成正脸图像数据集，并对其中的眼睛部位进行人工标注处理，使用yolov4模型对标注完毕的人的正脸图像数据进行训练，得到训练好的人眼图像提取模型；
采用训练好的人眼图像提取模型提取眼睛图像数据，得到的所有眼睛图像数据作为待生成红眼病案例数据集；
对于待生成红眼病案例数据集中的所有眼睛图像数据进行红眼病和正常眼睛的二分类处理，其中所有的正常眼睛图像数据构成正常眼睛图像数据集A，对于其中的红眼病图像数据进行翻转、对比度变化和亮度变化的数据增强处理后，得到足够多的红眼病图像数据作为红眼病图像数据集B。
3.根据权利要求1所述的高分辨率红眼病案例数据生成方法，其特征在于，构建高分辨率红眼病案例数据生成模型，包括：
基于cyclegan网络构建红眼病数据生成器G_A2B，生成器G_A2B是cyclegan网络中使正常眼睛图像数据集中的正常眼睛图像数据转换成红眼病图像数据的生成函数；同时，为生成器G_A2B引入一个辨别器D_B，作用是判别生成器G_A2B生成的图像数据是否是红眼病图像数据集B中原始的图像数据；
基于cyclegan网络构建正常眼睛数据生成器G_B2A，生成器G_B2A是cyclegan网络中使红眼病图像数据集中的红眼病图像数据转换成正常眼睛图像数据的生成函数；同时，为生成器G_B2A引入一个辨别器D_A，作用是判别生成器G_B2A生成的图像数据是否是正常眼睛图像数据集A中原始的图像数据；
基于esrgan网络构建高分辨率图像数据生成器G_E；高分辨率图像数据生成器G_E是esrgan网络中提升图像数据分辨率的生成器；同时，为高分辨率图像数据生成器G_E引入辨别器D_E，作用是判别高分辨率图像数据生成器G_E生成的图像数据是否是高分辨率的图像数据。
4.根据权利要求3所述的高分辨率红眼病案例数据生成方法，其特征在于，生成器G_B2A的网络结构与生成器G_A2B的网络结构相同，生成器G_A2B其网络结构是：先利用卷积层对正常眼睛图像数据集A中的正常眼睛图像数据进行特征提取，然后经过多个G_A2B基础模块进行处理之后对处理后的数据进行上采样处理，最后在经过一层卷积层之后即可生成与红眼病图像数据集B中红眼病图像数据相似的图像数据；其中在G_A2B基础模块中先经过卷积层之后进入到归一化层进行数据的归一化处理，然后使用SIREN激活函数对其进行非线性化，接着再次经过一个卷积层和归一化层处理。
5.根据权利要求4所述的高分辨率红眼病案例数据生成方法，其特征在于，辨别器D_A的网络结构与辨别器D_B的网络结构相同，辨别器D_B的网络结构是：先使用卷积层对G_A2B生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到D_B基础模块进行卷积、非线性化和归一化处理，如此经过多个D_B基础模块进行处理之后再次进行卷积和非线性化处理，最后使用回归函数进行回归处理，得到的结果显示G_A2B生成的图像数据是否属于红眼病图像数据集B中原始的图像数据。
6.根据权利要求3所述的高分辨率红眼病案例数据生成方法，其特征在于，高分辨率图像数据生成器G_E高分辨率图像数据生成器其网络结构是：首先利用卷积层对输入的图像数据进行特征提取，然后使用多个残差密集模块对数据进行处理之后再进行上采样处理，最后经过一层卷积层之后得到处理之后的图像数据；其中在残差密集模块中经过卷积层之后使用SIREN激活函数进行非线性化处理，重复卷积层、非线性化处理此过程三次之后即完成一次残差密集模块处理。
7.根据权利要求6所述的高分辨率红眼病案例数据生成方法，其特征在于，辨别器D_E其网络结构是：首先使用卷积层对高分辨率图像数据生成器G_E生成的图像数据进行特征提取，然后使用Leaky ReLU激活函数对其进行非线性化之后送入到基础模块进行卷积、非线性化和归一化处理；如此经过多个基础模块进行处理之后送入到密集连接模块进行特征处理，再经非线性化处理后使用sigmoid进行处理，得到的结果显示G_E生成的图像数据是否属于高分辨率的图像数据。
8.根据权利要求3所述的高分辨率红眼病案例数据生成方法，其特征在于，高分辨率红眼病案例数据生成模型的训练方法，包括：
先使生成器G_A2B和生成器G_B2A保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据输入到辨别器D_A中进行训练；同时，将红眼病图像数据集B中的红眼病图像数据和由G_A2B生成的红眼病图像数据输入到辨别器D_B中进行训练；
辨别器D_A的损失函数为：
Figure FDA0002646027660000041
其中GB2A表示生成器G_B2A，DA表示辨别器D_A，GB2A(b)表示由生成器G_B2A生成的图像数据；
Figure FDA0002646027660000042
为生成器生成的数据pB(b)在红眼病图像数据集B上的分布情况，
Figure FDA0002646027660000043
为生成器生成的数据pA(a)在正常眼睛图像数据集A上的分布情况；DA(a)表示辨别器D_A对正常眼睛图像数据集A中的某一图像a进行辨别所得的结果，DA(GB2A(b))表示辨别器D_A对生成器G_B2A生成的图像GB2A(b)进行辨别所得的结果；
当辨别器D_A的损失函数达到最大时，辨别器D_A能够准确地分辨正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据时，使辨别器D_A保持不变，将红眼病图像数据集B中的原始的红眼病图像数据输入到生成器G_B2A中进行训练；
辨别器D_B的损失函数为：
Figure FDA0002646027660000044
其中GA2B表示生成器G_A2B，DB表示辨别器D_B，GA2B(a)表示由生成器G_A2B生成的图像数据；DB(b)表示辨别器D_B对红眼病图像数据集B中的某一图像b进行辨别所得的结果，DB(GA2B(a))表示辨别器D_B对生成器G_A2B生成的图像GA2B(a)进行辨别所得的结果；
当辨别器D_B的损失函数达到最大时，辨别器D_B能够准确分辨红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据时，使辨别器D_B保持不变，将正常眼睛图像数据集A中的原始的正常眼睛图像数据输入到生成器G_A2B中进行训练；
生成器G_A2B的损失函数为：
Figure FDA0002646027660000051
生成器G_B2A的损失函数为：
Figure FDA0002646027660000052
当生成器G_A2B的损失函数和生成器G_B2A的损失函数达到最小时，由生成器G_A2B生成的红眼病图像数据和由G_B2A生成的正常眼睛图像数据分别与原始的红眼病图像数据和正常眼睛图像数据高度相似，此时辨别器D_A无法将正常眼睛图像数据集A中的原始的正常眼睛图像数据和由生成器G_B2A生成的正常眼睛图像数据区分开来，辨别器D_B无法将红眼病图像数据集B中的原始的红眼病图像数据和由生成器G_A2B生成的红眼病图像数据区分开来，生成器G_B2A和生成器G_A2B效果达到最佳；将由此时的生成器G_A2B生成的红眼病图像数据输入到高分辨率图像数据生成器G_E中进行训练，并使用辨别器D_E来判别高分辨率图像数据生成器G_E生成数据的效果，当整体的损失达到最小时，即得到高分辨率红眼病案例数据生成模型，其中整体的损失为：
Figure FDA0002646027660000053
其中
Figure FDA0002646027660000054
为循环一致性损失，
Figure FDA0002646027660000055
a为正常眼睛图像数据集A中的某一图像，b为红眼病图像数据集B中的某一图像，
Figure FDA0002646027660000056
为感知损失，
Figure FDA0002646027660000057
φ为损失函数网络，CjHjWj表示第j层特征图的大小，φj(b)表示红眼病图像数据集B中图像b的损失，
Figure FDA0002646027660000058
表示生成的图像
Figure FDA0002646027660000059
的损失，
Figure FDA00026460276600000510
9.一种设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一权利要求所述高分辨率红眼病案例数据生成方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一权利要求所述高分辨率红眼病案例数据生成方法的步骤。
CN202010854745.XA 2020-08-24 2020-08-24 高分辨率红眼病案例数据生成方法、设备及存储介质 Active CN112992304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010854745.XA CN112992304B (zh) 2020-08-24 2020-08-24 高分辨率红眼病案例数据生成方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010854745.XA CN112992304B (zh) 2020-08-24 2020-08-24 高分辨率红眼病案例数据生成方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112992304A true CN112992304A (zh) 2021-06-18
CN112992304B CN112992304B (zh) 2023-10-13

Family

ID=76344280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010854745.XA Active CN112992304B (zh) 2020-08-24 2020-08-24 高分辨率红眼病案例数据生成方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112992304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569655A (zh) * 2021-07-02 2021-10-29 广州大学 基于眼部色彩监控的红眼病患者识别***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别***和方法
CN110363068A (zh) * 2019-05-28 2019-10-22 中国矿业大学 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
CN111028146A (zh) * 2019-11-06 2020-04-17 武汉理工大学 基于双判别器的生成对抗网络的图像超分辨率方法
US20200160153A1 (en) * 2018-11-15 2020-05-21 L'oreal System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111340173A (zh) * 2019-12-24 2020-06-26 中国科学院深圳先进技术研究院 一种针对高维数据的生成对抗网络训练方法、***及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
US20200160153A1 (en) * 2018-11-15 2020-05-21 L'oreal System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别***和方法
CN110363068A (zh) * 2019-05-28 2019-10-22 中国矿业大学 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN111028146A (zh) * 2019-11-06 2020-04-17 武汉理工大学 基于双判别器的生成对抗网络的图像超分辨率方法
CN111340173A (zh) * 2019-12-24 2020-06-26 中国科学院深圳先进技术研究院 一种针对高维数据的生成对抗网络训练方法、***及电子设备
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENYU YOU ET AL.: "CT Super-Resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE)", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 39, no. 01 *
GWANTAE KIM ET AL.: "Unsupervised Real-World Super Resolution with Cycle Generative Adversarial Network and Domain Discriminator", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
NEHA SHARMA ET AL.: "An Improved Technique for Face Age Progression and Enhanced Super-Resolution with Generative Adversarial Networks", 《WIRELESS PERSONAL COMMUNICATIONS》 *
叶晨 等: "生成式对抗网络的应用综述", 《同济大学学报(自然科学版)》, no. 04 *
连帅龙: "基于生成对抗网络的图像超分辨算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569655A (zh) * 2021-07-02 2021-10-29 广州大学 基于眼部色彩监控的红眼病患者识别***

Also Published As

Publication number Publication date
CN112992304B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110823574B (zh) 一种基于半监督学习深度对抗网络的故障诊断方法
Wang et al. A self-boosting framework for automated radiographic report generation
CN113724880A (zh) 一种异常脑连接预测***、方法、装置及可读存储介质
CN109493342B (zh) 一种基于深度学习的皮肤病图片病变类型分类方法
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN110731773B (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN115223715A (zh) 一种基于多模态信息融合的癌症预测方法与***
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN110660041A (zh) 基于深度神经网络的肺部退行性疾病判别技术
CN115358337A (zh) 一种小样本故障诊断方法、装置及存储介质
An et al. COVID-19 screening in chest X-ray images using lung region priors
Huang et al. TMED 2: a dataset for semi-supervised classification of echocardiograms
Wang et al. Semantic-powered explainable model-free few-shot learning scheme of diagnosing COVID-19 on chest x-ray
CN112992304A (zh) 高分辨率红眼病案例数据生成方法、设备及存储介质
CN113592769A (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN113360643A (zh) 一种基于短文本分类的电子病历数据质量评价方法
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及***
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和***
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和***
CN115810109A (zh) 一种舌像特征提取方法、***和存储介质
CN115659991A (zh) 一种基于共现关系分层注意力的脑ct医学报告自动生成方法
Lai et al. Towards more faithful natural language explanation using multi-level contrastive learning in vqa
CN114663910A (zh) 基于多模态学习状态分析***
CN113421212A (zh) 一种医学影像的增强方法、装置、设备和介质
CN111709946A (zh) 一种影像数据分析方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant