CN111563839A - 眼底图像转换方法及设备 - Google Patents
眼底图像转换方法及设备 Download PDFInfo
- Publication number
- CN111563839A CN111563839A CN202010401356.1A CN202010401356A CN111563839A CN 111563839 A CN111563839 A CN 111563839A CN 202010401356 A CN202010401356 A CN 202010401356A CN 111563839 A CN111563839 A CN 111563839A
- Authority
- CN
- China
- Prior art keywords
- fundus
- fundus image
- image
- processor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000000586 desensitisation Methods 0.000 claims abstract description 12
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 10
- 210000001525 retina Anatomy 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种眼底图像转换方法及设备，其中涉及的模型训练方法包括获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。
Description
技术领域
本发明涉及医学图像处理领域，具体涉及一种眼底图像转换方法及设备。
背景技术
随着机器学习技术的发展，尤其以深度学习为代表的机器学习技术在医疗影像领域得到了广泛的应用。如何提高机器学习模型的准确性和训练效率依然是非常具有挑战性的工作。现有技术通过优化模型结构，以及通过对眼底图像进行预处理的手段，对模型的训练效率和识别准确性产生了一定的促进作用。
具体就眼底图像识别领域而言，无论是用于识别眼底病变类型的神经网络还是用于分割异常区域的神经网络，都需要大量的眼底图像样本作为训练数据。然而不同的眼底相机由于相机结构不同、参数不同，甚至是成像原理不同，所拍摄的眼底图像的视觉效果有着明显的区别。根据神经网络的原理，如果在训练阶段固定地使用某种相机拍摄的样本图像作为训练数据，而在使用时应用该神经网络去识别另一种眼底相机拍摄的图像，其准确性可能会下降。因此，应当尽可能地使用各种眼底相机拍摄的图像作为训练数据对网络进行训练以提高其适应能力，并且应当尽可能地均衡各种眼底图像的数量。
但是现实中眼底图像并不是一种公开的数据集，本领域技术人员很难获取到各种相机拍摄的眼底图像，更难获取到具有各种病灶特征且是通过不同相机拍摄的眼底图像，训练数据稀缺一直是眼底图像识别领域需要攻克的难题之一。
发明内容
有鉴于此，本发明提供一种眼底图像转换模型训练方法，包括：
获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；
利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。
可选地，所述神经网络为生成对抗网络，包括生成器和鉴别器，所述生成器用于根据所述第一眼底图像生成眼底图像，所述鉴别器用于判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像，训练过程中根据损失函数优化所述生成器和所述鉴别器的参数。
可选地，所述损失函数包括三个部分，第一部分用于协调所述生成器和所述鉴别器同步地进行改进，第二部分用于保证生成的眼底图像与所述第二眼底图像具备对应关系，第三部分用于确保眼底图像关键区域的信息不被修改。
可选地，所述生成器包括具有跳跃连接的层的神经网络，用于对所述第一眼底图像提取特征数据，并将不同深度的层所提取的特征数据进行拼接，以根据拼接后的特征数据生成眼底图像。
可选地，所述鉴别器用于将生成的眼底图像划分为图像块，通过分别判断各个图像块来判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像。
可选地，获取训练数据包括：
获取两种不同眼底相机所拍摄的同一眼球的原始眼底图像；
分别在两张原始眼底图像中识别同一目标；
基于所述目标将两张眼底图像的位置对齐；
对其中一张眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响。
本发明还提供一种眼底图像转换方法，包括：
获取眼底图像；
对所述眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响；
利用上述方法训练的神经网络对脱敏后的眼底图像进行处理得到转换后的眼底图像。
可选地，所述神经网络为生成对抗网络，利用所述生成对抗网络中的生成器根据所述眼底图像生成眼底图像。
相应地，本发明还提供一种眼底图像转换模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像转换模型训练方法。
相应地，本发明还提供一种眼底图像转换设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底图像转换方法。
根据本发明提供的眼底图像转换模型训练方法及设备，通过两种不同眼底相机所拍摄的同一眼球的视网膜图像对神经网络进行训练，可以使神经网络学习如何将其中一种相机拍的眼底图像的色彩属性转换为另一种相机的色彩属性，并且可使其保留眼底中的所有线条和轮廓，本方案训练的模型可以有效解决训练数据稀缺的问题。
根据本发明提供的眼底图像转换方法及设备，先对某种相机拍摄的、具有任何特征的眼底图像进行脱敏处理，去除相机属性对图像内容的影响,然后将处理后的图像作为经过训练的神经网络的输入数据，从而得到色彩属性转换后的眼底图像，转换后的图像可保留输入的眼底图像的线条和轮廓，该图像可被视为另一种相机所拍摄的图像，本方案可作为本领域中十分有效的数据增强手段，从而优化眼底图像识别模型的性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中所使用的一组训练数据；
图2为本发明实施例中对眼底图像进行脱敏处理的对比图；
图3为本发明实施例中的一种优选的神经网络模型的结构示意图；
图4为本发明实施例中对眼底图像进行预处理的示意图；
图5为本发明实施例中转换眼底图像的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种眼底图像转换模型训练方法，本方法可以由计算机或服务器等电子设备执行，使用训练数据训练一个用于处理眼底图像的神经网络作为所述模型。
首先获取多个训练数据，各个训练数据分别包括两张眼底图像，两张眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，所谓不同的眼底相机可以是不同型号的、不同厂商的等等，由于相机的镜片结构不同、光源不同、各种参数不同，甚至可能是成像原理不同，所拍摄出的眼底图像通常在色彩上有一定的区别，或者是在对比度、亮度等方面存在区别，因此可以解释为眼底相机的属性会对图像内容产生影响，也即眼底图像具有眼底相机域特征。
本实施例所使用的如图1所示的训练数据中，位于左侧的是通过佳能公司(Canon)的眼底相机拍摄的图像(第一眼底图像)，并且经过了脱敏处理，去除了眼底相机属性对图像内容的影响，或者称为去除了眼底相机域特征。本申请所述脱敏处理有多种可选的实施方式，比如可以直接将原始的眼底照片转换为灰度图，或者基于原始眼底照片各通道的值进行计算，利用计算结果还原出眼底图像，因此可以称训练数据中的第一眼底图像与其原始图像之间存在特定的函数关系。
这种脱敏处理目的是尽可能去除相机的各种因素或特点对成像的影响，保留视网膜最原始的信息。如图2所示，其中展示了四种眼底相机拍摄的原始图像(上方)，以及脱敏处理的结果(下方)，对比这四组图像可以看出，尽管原始图像在色彩、亮度等方面明显不同(由于本申请附图为灰度图，所以表现出的色彩差异不够明显。实际图像为彩色图像，差异更加明显)，但经过脱敏处理后的图像在色彩、亮度等方面已经十分接近。本实施例所采用的脱敏处理方式是首先对眼底图像进行模糊处理，然后计算眼底图像原图与模糊处理后的图像的差值，以此作为脱敏处理的结果。
图1中位于右侧的是通过明达医学公司(Crystalvue)的眼底相机拍摄的图像(第二眼底图像)。由于两张图像是针对同一人的同一眼球拍摄的图像，所以其中各种组织的纹路和轮廓是一致的，但是第二眼底图像保持原貌，也即包含眼底相机的属性对图像内容的影响。为了便于在下文中描述二者的区别，简称两种眼底图像的色彩属性不同，但应当对本申请所述色彩属性做广义理解，一切由相机特点对图像内容带来的影响，例如色调、对比度、亮度等等都属于本申请所述色彩属性。
本实施例训练模型的目的是使其能够将一张眼底图像的色彩属性转换为另一种色彩属性，而不更改眼底图像中的如血管、视盘和黄斑等组织或病灶的纹路和轮廓等特征。为了实施本方案，可以采用具有编码器-解码器结构的神经网络，利用多个训练数据对神经网络进行训练，使其学习眼底图像中与色彩属性相关的知识。网络中的编码器提取训练数据中的第一眼底图像中的特征数据，由解码器根据特征数据重建眼底图像，通过大量数据及损失函数优化网络中的参数，使其重建的眼底图像的色彩属性尽可能接近训练数据中的第二眼底图像的色彩属性。由于两种眼底图像的组织和病灶的纹路和轮廓一致，这可以指示神经网络不改变眼底图像的纹路和轮廓，而只是改变色彩属性。
根据本发明实施例提供的眼底图像转换模型训练方法，通过两种不同眼底相机所拍摄的同一眼球的视网膜图像对神经网络进行训练，可以使神经网络学习如何将其中一种相机拍的眼底图像的色彩属性转换为另一种相机的色彩属性，并且可使其保留眼底中的所有线条和轮廓，本方案可以有效解决训练数据稀缺的问题。
为了得到更优质的转换结果，本实施例提供一种优选的神经网络作为所述模型。如图3所示，本实施例的神经网络是一种生成对抗网络(GAN)，包括生成器21(Generator)和鉴别器22(Discriminator)。生成器21用于根据训练数据中的第一眼底图像生成眼底图像，结合图1所示图像进行举例说明，生成器21的作用例如是根据左侧的眼底图像x生成一张眼底图像G(x)，实际上生成器21是对眼底图像x提取特征数据，然后利用特征数据和给定信息(比如随机的噪声信息z)重建出眼底图像G(x)。
鉴别器22用于判断生成的眼底图像G(x)是否是属于第二图像的眼底相机域特征的真实图像。结合图1所示图像进行举例说明，左侧(眼底图像x)和右侧(眼底图像y)这两种图像均作为鉴别器22的输入数据，经过大量训练数据训练后，使得生成器21的损失函数减少，生成图像拟合所述真实图像的分布，同时使得鉴别器22不能对眼底图像x和眼底图像y进行有效区分。
训练过程中根据损失函数优化生成器21和鉴别器22的参数。具体地，本实施例的损失函数表示为argminG maxD LGAN(G,D)+λ1Ll1(G)+λ2Ll2(G)，其中λ1、λ2为权重。第一部分为LGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))]，LGAN(G,D)为协调生成器21和鉴别器22同时改进的损失函数，G(x,z)表示生成的眼底图像，D(x,G(x,z))和D(x,y)分别表示对生成眼底图像的鉴别和真实眼底图像的鉴别。当鉴别器22强于生成器21的时候，则Ex,y[logD(x,y)]较小，而Ex,z[log(1-D(x,G(x,z)))]较大，则生成器21会接受到较大loss，而被较大幅度更新，反之同理。
以上函数不能保证生成的眼底图像和真实眼底图像具备严格对应关系，所以引入第二部分损失函数Ll1(G)，其定义为：
Ll1(G)＝Ex,y,z||y-G(x,z)||
即眼底图像y和生成图像G(x,z)在三个色彩通道上的像素要求差异最小。此外，医学图像的不同区域有特殊的医学意义，要求在特殊的区域保留完整的医学信息。比如黄斑区、视盘区、血管、出血点、渗出这些具备特殊医学意义的关键区域或病灶不能被修改或者抹去。因此本实施例引入第三部分Ll2(G)，作为一个额外的惩罚项目来约束模型：
Ll2(G)＝Ex,y,z||wy-wG(x,z)||
其中w为眼底图像中具备医学意义的关键区域的权重。眼底图像的黄斑、视盘区、血管、出血点、渗出所在关键区域都有更高的权重来确保该信息不被模型修改。而w可以通过人工分割标注进行获取，一般可以使用mask标记出这些区域其值可以设置为1，而其他区域设置为0。
进一步地，作为优选的实施例，生成器21包括具有跳跃连接(skip-connection)的层的卷积神经网络，用于对眼底图像x提取特征数据，并将不同深度的层所提取的特征数据进行拼接(concatenate)，以根据拼接后的特征数据生成眼底图像。作为举例，生成器21可以采用U-Net的结构，通过跳跃连接结构，可将对应的特征数据(feature maps)和解码(decode)之后的同样大小的特征数据(feature maps)按通道拼(concatenate)一起，这种结构对提升眼底图像细节的效果非常明显。
本实施的生成器与常见的先降采样到低维度，再升采样到原始分辨率的编解码(Encoder-Decoder)结构的网络相比，可保留不同分辨率下像素级的细节信息，对提升细节的效果非常明显，并由此可以使生成的眼底图像G(x)更清楚。
由于本实施例的生成对抗网络解决了眼底图像的高频成分，也即生成器21只用于构建眼底图像G(x)的高频信息，对于鉴别器22而言，就可以不将整张眼底图像作为输入，而将生成的眼底图像G(x)划分为较小的图像块，将图像块作为鉴别器22的输入，分别得到对各个图像块的识别结果，然后将所有图像块的结果取平均作为最终的判别器输出即可。由于输入鉴别器22的图像维度大大降低，所以参数量少，运算速度也比直接输入整张眼底图像的方式更快。
在实际应用时，考虑到两种眼底图像的匹配问题，还可以在训练模型前对眼底图像进行一些预处理。在可选的实施例中，首先获取两种不同眼底相机所拍摄的同一眼球的眼底图像，这两种图像的整体尺寸可能是不同的，并且眼底区域的位置也可能是不匹配的。可以分别在两张眼底图像中识别同一目标，例如是视盘中心、黄斑中心等等，然后基于该目标将两张眼底图像的位置对齐，形成训练数据。
如图4所示，旋转眼底图像，将视盘(中心点)调整至设定的水平线上，图4中左侧是调整前的眼底图像、右侧为旋转调整后的眼底图像。按此方式对所有眼底图像进行调整，然后去除眼底图像的黑色背景，并将它们调整为同样的尺寸,再对图像进行上述脱敏处理，即可得到高度匹配的眼底图像对，由此可以提高模型的训练效率，使其生成的眼底图像与真实眼底图像中的纹路和轮廓一致。
通过训练使模型性能达到预期后，即可使用该模型进行眼底图像的转换。本实施例提供一种眼底图像转换方法，提取模型中用于生成图像的部分，例如编码器和解码器，或者是生成对抗网络的生成器21。本方法包括如下步骤：
S1,获取待转换的眼底图像。如图5所示，本实施例将佳能公司相机所拍摄的眼底图像41作为待转换的图像；
S2，对眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响，得到脱敏处理后的眼底图像42。
S2，利用生成器21对眼底图像42进行处理，通过提取特征数据而得到重建眼底图像43，作为转换结果。
根据本发明实施例提供的眼底图像转换方案，先对某种相机拍摄的、具有任何特征的眼底图像进行脱敏处理，去除相机属性对图像内容的影响,然后将处理后的图像作为经过训练的神经网络的输入数据，从而得到色彩属性转换后的眼底图像，转换后的图像可保留输入的眼底图像的线条和轮廓，该图像可被视为另一种相机所拍摄的图像，本方案可作为本领域中十分有效的数据增强手段，从而优化眼底图像识别模型的性能。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种眼底图像转换模型训练方法，其特征在于，包括：
获取多个训练数据，所述训练数据包括第一眼底图像和第二眼底图像，所述第一眼底图像和第二眼底图像是通过不同眼底相机所拍摄的同一眼球的视网膜图像，并且所述第一眼底图像经过脱敏处理去除了眼底相机属性对图像内容的影响；
利用所述多个训练数据对神经网络进行训练，使其根据所述第一眼底图像生成与所述第二眼底图像相似的眼底图像。
2.根据权利要求1所述的方法，其特征在于，所述神经网络为生成对抗网络，包括生成器和鉴别器，所述生成器用于根据所述第一眼底图像生成眼底图像，所述鉴别器用于判断生成的眼底图像是否是属于所述第二图像的眼底相机域特征的真实图像，训练过程中根据损失函数优化所述生成器和所述鉴别器的参数。
3.根据权利要求2所述的方法，其特征在于，所述损失函数包括三个部分，第一部分用于协调所述生成器和所述鉴别器同步地进行改进，第二部分用于保证生成的眼底图像与所述第二眼底图像具备对应关系，第三部分用于确保眼底图像关键区域的信息不被修改。
4.根据权利要求2所述的方法，其特征在于，所述生成器包括具有跳跃连接的层的神经网络，用于对所述第一眼底图像提取特征数据，并将不同深度的层所提取的特征数据进行拼接，以根据拼接后的特征数据生成眼底图像。
5.根据权利要求2或3所述的方法，其特征在于，所述鉴别器用于将生成的眼底图像划分为图像块，通过分别判断各个图像块来判断生成的眼底图像是否为是属于所述第二图像的眼底相机域特征的真实图像。
6.根据权利要求1所述的方法，其特征在于，获取训练数据包括：
获取两种不同眼底相机所拍摄的同一眼球的原始眼底图像；
分别在两张原始眼底图像中识别同一目标；
基于所述目标将两张眼底图像的位置对齐；
对其中一张眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响。
7.一种眼底图像转换方法，其特征在于，包括：
获取眼底图像；
对所述眼底图像进行脱敏处理去除眼底相机属性对图像内容的影响；
利用权利要求1-6中任一项所述方法训练的神经网络对处脱敏后的眼底图像进行处理得到转换后的眼底图像。
8.根据权利要求7所述的方法，其特征在于，所述神经网络为生成对抗网络，利用所述生成对抗网络中的生成器根据处理后的眼底图像生成眼底图像。
9.一种眼底图像转换模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6中任意一项所述的眼底图像转换模型训练方法。
10.一种眼底图像转换设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求7或8所述的眼底图像转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010401356.1A CN111563839B (zh) | 2020-05-13 | 2020-05-13 | 眼底图像转换方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010401356.1A CN111563839B (zh) | 2020-05-13 | 2020-05-13 | 眼底图像转换方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563839A true CN111563839A (zh) | 2020-08-21 |
| CN111563839B CN111563839B (zh) | 2024-03-22 |
Family
ID=72073443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010401356.1A Active CN111563839B (zh) | 2020-05-13 | 2020-05-13 | 眼底图像转换方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563839B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950737A (zh) * | 2021-03-17 | 2021-06-11 | 中国科学院苏州生物医学工程技术研究所 | 基于深度学习的眼底荧光造影图像生成方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
| US20200000331A1 (en) * | 2015-10-23 | 2020-01-02 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
-
2020
- 2020-05-13 CN CN202010401356.1A patent/CN111563839B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200000331A1 (en) * | 2015-10-23 | 2020-01-02 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 康莉;江静婉;黄建军;黄德渠;张体江;: "基于分步生成模型的视网膜眼底图像合成" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950737A (zh) * | 2021-03-17 | 2021-06-11 | 中国科学院苏州生物医学工程技术研究所 | 基于深度学习的眼底荧光造影图像生成方法 |
| CN112950737B (zh) * | 2021-03-17 | 2024-02-02 | 中国科学院苏州生物医学工程技术研究所 | 基于深度学习的眼底荧光造影图像生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563839B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bian et al. | Optic disc and optic cup segmentation based on anatomy guided cascade network | |
| JP2008234342A (ja) | 画像処理装置及び画像処理方法 | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN113724354A (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN114187201A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN111563839B (zh) | 眼底图像转换方法及设备 | |
| CN112785540B (zh) | 一种扩散加权图像的生成***及方法 | |
| CN113658097A (zh) | 一种眼底图像质量增强模型的训练方法及装置 | |
| CN113096117A (zh) | 异位骨化ct图像分割方法、三维重建方法、装置 | |
| CN116030042B (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 | |
| Zhang et al. | Consecutive context perceive generative adversarial networks for serial sections inpainting | |
| CN109919098B (zh) | 目标对象的识别方法和装置 | |
| CN116580187A (zh) | 基于人工智能的膝关节图像分割方法、装置及电子设备 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| Priya et al. | A novel approach to the detection of macula in human retinal imagery | |
| CN113379716B (zh) | 一种色斑预测方法、装置、设备及存储介质 | |
| Shaikha et al. | Optic Disc Detection and Segmentation in Retinal Fundus Image | |
| CN112907438B (zh) | 肖像生成方法、装置、电子设备及存储介质 | |
| CN112949585A (zh) | 一种眼底图像血管的识别方法、装置、电子设备及存储介质 | |
| CN111539940B (zh) | 超广角眼底图像生成方法及设备 | |
| de Almeida Simões | Image Quality Improvement of Medical Images Using Deep Learning for Computer-Aided Diagnosis | |
| JP2022147713A (ja) | 画像生成装置、学習装置、及び、画像生成方法 | |
| CN114972148A (zh) | 一种眼底图像质量评估方法、***及其装置 | |
| CN112884699A (zh) | 用于分割图像数据的方法和图像处理设备和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |