CN113850804B - 基于生成对抗网络的视网膜图像生成***及方法 - Google Patents

Abstract

本发明提供了视网膜图像生成方法及***，其以训练集中的视网膜图像及其对应分割标注图构成的拼接图和基于疾病不同阶段的风格向量之间的差异所产生的风格向量作为输入训练生成式对抗网络，利用训练好的生成器自动生成能准确反映疾病演化过程的各种异常的视网膜图像及其对应的分割标注图，从而为机器学习模型提供丰富的训练样本数据。

Description

基于生成对抗网络的视网膜图像生成***及方法

技术领域

本发明涉及医疗信息化领域，尤其涉及用于生成视网膜图像的***和方法。

背景技术

人体的很多疾病如黄斑变性、视网膜肿瘤、糖尿病性视网膜病变（糖网）、动脉硬化等会波及眼睛，引起视网膜的变化。因此可以通过视网膜图像来检测眼底异常改变，从而监测疾病的进程。近年来，机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在视网膜图像检测方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变、年龄相关性黄斑变性等眼底疾病的检测，并取得了良好效果。在实际医学应用场景中，青光眼诊断所依据的杯盘比、糖尿病的诊断所依据的出血、渗出、视网膜新生血管、年龄相关性黄斑变性诊断所依据的玻璃膜疣、地图状萎缩、脉络膜新生血管等视网膜病灶出现的位置、数量会影响到眼底疾病的危重程度的判断及医生的诊断方案。

已经有现有技术利用深度学习的技术对多种视网膜病灶进行分割和分类。对于深度学习模型来说，输入越多的且标注质量越高的样本图像，就能获取更加准确的分割及其分类的预测结果。但是视网膜图像通常病灶较多且边缘复杂，通过有经验的医生人工进行分割标注的成本非常高，而且时间长，因此常常由于训练样本数据不足而导致深度学习模型预测准确度较低。尤其是对于一些相对罕见的视网膜疾病而言，比如新生血管性黄斑变性、糖网增殖期等，训练数据获取难度更大，相应的疾病分类模型的性能也会更受限。

发明内容

因此，本发明实施例的目的在于提供自动生成视网膜图像及其对应分割标注图的方法及设备。上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供了一种视网膜图像生成器的训练方法，包括：经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器；以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练，所述生成器用于生成视网膜图像及其对应分割标注图。

在本发明的一些实施例中，对生成器进行训练时还可以采用的损失函数包括用来衡量生成图像的血管不变性的损失函数，其通过比较生成的分割图与输入的分割图中血管图像来计算。

在本发明的一些实施例中，作为生成器输入的拼接图可以包括四个通道，其中前三个通道为视网膜图像的RGB通道，另一个通道为该视网膜图像对应的分割标注图。

根据本发明实施例的第二方面，提供了一种用于视网膜图像生成的方法，包括：接收与疾病第一阶段相关的视网膜图像；利用预先训练好的映射网络获取新的风格向量，所获取的风格向量与疾病第二阶段相关；以接收的视网膜图像及其对应分割标注图构成的拼接图和所获取的风格向量作为输入提供至预先训练好的生成器，所述生成器输出相应的视网膜图像及其对应分割标注图；其中所述生成器和映射网络是根据本发明实施例第一方面所述的方法训练的；其中所述风格向量是通过下列步骤获取的：

由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量以提供给生成器。

在本发明的一些实施例中，还可以包括响应于确定接收到的视网膜图像没有对应的分割标注图，以像素值全为零的图作为该视网膜图像对应的分割标注图。

根据本发明实施例的第三方面，提供了一种视网膜图像生成***，其包括训练模块和图像生成模块。其中训练模块被配置为经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器；以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练。图像生成模块被配置为利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。

在本发明的一些实施例中，所述训练模块对生成器进行训练时可以采用的损失函数包括用来衡量生成图像的血管不变性的损失函数，其通过比较生成的分割图与输入的分割图中血管图像来计算。

在本发明的一些实施例中，作为生成器输入的拼接图可以包括四个通道，其中前三个通道为视网膜图像的RGB通道，另一个通道为该视网膜图像对应的分割标注图。

根据本发明实施例的第四方面，提供了一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，所述程序被执行时根据本发明实施例第一方面或第二方面所述的方法。

根据本发明实施例的第五方面，提供了一种电子设备，包括处理器和存储器，其中存储器用于存储可执行指令；所述处理器被配置为经由执行所述可执行指令来实现根据本发明实施例第一方面或第二方面所述的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了StarGAN V2网络的结构示意图。

图2示出了根据本发明一个实施例的视网膜图像生成器的训练方法的流程示意图。

图3示出了根据本发明一个实施例的视网膜图像生成方法的流程示意图。

图4示出了根据本发明一个实施例的糖网图像演化示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在不经创造性劳动获得的所有其他实施例，都属于本发明保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在介绍本发明的实施例之前，首先对生成式对抗网络(Generative adversarialnetwork, GAN)进行简单介绍。生成对抗网络GAN通常由一个生成网络（Generator,也可以称为生成器）与一个判别网络（Discriminator，也可以称为判别器）组成。生成网络从隐含空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。以生成图片为例，生成器G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。判别器D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率。在训练过程中，生成器G的目标就是尽量生成真实的图片去欺骗判别器D。而判别器D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”最后博弈的结果是，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) =0.5。这样就得到了一个训练好的生成G，它可以用来生成图片。G和 D 不一定是神经网络，只要是能拟合相应生成和判别的函数即可。但优选地使用深度神经网络作为 G 和 D。现在已经有很多种基于GAN架构的机器学习模型，例如pix2pix、coGAN、cycleGAN、DiscoGAN、StarGAN（星型生成式对抗网络）。应指出，上述仅是对于GAN架构简单介绍，如果要将GAN应用到具体技术领域得到性能较好的模型，则需要有良好的训练方法。基于不同的训练样本的选择，采用不同的训练方法所得到的GAN模型的性能差别很大。

在本发明的实施例中基于星型生成式对抗网络StarGAN V2的架构来训练相应的机器学习模型以自动生成视网膜图像及其对应的分割标注图。图1给出了StarGAN V2的网络架构示意。该网络主要包括四个模块：生成器、映射网络、风格编码器及判别器。其中生成器结合风格编码生成指定类别的图像；映射网络及风格编码器主要是以从隐含空间随机生成的隐含编码或某一类别的图像为输入，经过不同的分支输出表示不同类别的风格编码；判别器与传统的GAN的判别器相同，主要用于判别生成的图像是否接近于同类别的原始输入，即区分真假图像。其训练过程如下： 1）将任意类别的图片x与任意风格编码s（也可以称为风格向量）作为输入提供至生成器G，其输出所生成的风格为s的图像，记为G(x, s)。其中作为生成器G的输入之一风格编码s可以由风格编码器或映射网络产生，其中风格编码器根据输入的图像，输出对应类别的风格编码，如图1所示，每个域代表一个类别。而映射网络根据在隐含空间随机采样得到的隐含编码z（即在隐含空间随机采用的向量，也可称为隐含向量）映射到相应类别的风格编码。映射网络和风格编码器的域的数量（即输出类别的数量）是在训练之前预先设置的。2）将利用生成器G所生成的图像与原始图像分别作为输入至判别器D，其由多个输出分支组成。每个分支二元学习一个二元分类，确定输入的图像是相应类别的真实图像还是由生成器生成的假图像。判别器D的输出分支的数量与映射网络和风格编码器中域的数量是一致的。在训练过程中，所采用的损失函数包括对抗损失函数L _adv 、风格重建损失函数L _sty 、风格多样性损失函数L _ds 和一致性损失函数L _cyc 。对抗损失函数L _adv 的目标是使得输出图像尽可能接近于真实图像。风格重建损失函数L _sty 目标是使得风格编码器及映射网络输出能够尽量表征某一类别风格的编码向量。风格多样性损失函数L _ds 的目标是使得经过不同的风格编码后生成的图像尽可能具有多样性。一致性损失函数L _cyc 的目标是尽可能保持生成图像与原始图像结构上的不变性。因此最终训练目标是使得这四个损失函数的加权和尽可能地小。其中每次计算上述损失函数的加权和之后，进行梯度的反向传播，更新各个模块的参数，如此迭代训练，知道G可以生成足以“以假乱真”的图片。这样，利用经训练后得到的生成器可以基于输入的图像和指定的风格（类别）生成该指定风格的图像。

可以看出，StarGAN V2网络可以实现不同类别图像之间的相互转换，将一种类别的图像转换成另一种类别的图像。然而对于反映患者疾病状况的视网膜图像(也可以称为“眼底图像”)，疾病变化过程中不同阶段的视网膜图像之间往往并没有明确的划分或界限。例如，以糖尿病性视网膜病变（可简称为糖网）为例，虽然糖网病变过程可以大体上分为未见明显异常、非增殖期糖网轻度、非增殖期糖网中度、非增殖期糖网重度、糖网增值期等几个阶段，但实际上在上述阶段之间仍存在很多中间状态，而且视网膜图像还会因不同年龄阶段不同生理特征的患者以及疾病发展的不同时期等因素而不断发生变化，很难对某种疾病的视网膜图像进行准确的阶段（也可称“类别”，本发明实施例中两者可以互换）划分。因此，在将StarGAN V2应用于生成视网膜图像的过程中面临很多挑战。而且，本发明并非旨在将一种类别（或一个阶段）的视网膜图像转换成另一种类别（或另一阶段）的视网膜图像，而是提供自动生成能准确反映疾病变化过程中不同阶段的视网膜图像及其对应的分割标注图的方法，从而为机器学习模型提供丰富的训练样本数据，以解决由于训练样本数据不足而导致针对视网膜图像的机器学习模型预测准确度较低的问题。

图2给出了根据本发明一个实施例的视网膜图像生成器的训练方法。该方法包括：步骤S1）经由映射网络基于隐含空间随机采样的第一数量的向量分别生成相应数量的与特定眼底相关疾病第一阶段风格向量和相应数量的第二阶段风格向量；步骤S2）确定该疾病第一阶段对应的中心风格向量和第二阶段对应中心风格向量；步骤S3）基于该疾病第一阶段对应的中心风格向量与第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的一个向量共同生成新的风格向量提供给生成器；步骤S4）以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练，该生成器用于自动生成所述疾病的视网膜图像及其对应分割标注图。应理解，本发明的实施例中所述的“第一阶段”，“第二阶段”仅用于区别与眼底相关疾病的不同发展阶段，而不必用于描述特定的顺序或先后次序。为描述方便，下面均以糖网作为与眼底相关疾病的示例来对本发明的实施例进行描述。但应理解，本发明的实施例也适用于其他诸如黄斑变性、视网膜肿瘤、动脉硬化等引起视网膜异常的疾病类型。考虑到在训练阶段和在线处理阶段对于特征的提取和处理是基本相同的，下文主要结合图2对于训练阶段进行详细介绍。

如上文提到的，在训练过程中，映射网络和风格编码器的域的数量（即输出类别的数量）是在训练之前预先设置的。在该实施例中以糖网作为疾病的示例，因此可以根据糖网的特点将映射网络、风格编码器以及判别器的类别大体上划分为健康、糖网轻度、糖网中度、糖网重度四个阶段。为了能更好地模拟眼底疾病的演化进程，例如从糖网轻度到糖网重度中间病灶的变化过程，在本发明的实施例中，对于生成器所需的风格向量进行了调整，并不是直接使用由映射网络或风格编码器产生的风格向量作为输入。例如，要模拟的是从糖网轻度到糖网重度中间病灶的变化过程，因此第一阶段即为糖网轻度，第二阶段为糖网重度，经过训练后得到的生成器可生成从糖网轻度到糖网重度演化过程中的各个时期的中间病灶的视网膜图像及其对应分割标注图，而无需疾病演化过程中各个时期的视网膜图像的详细类别划分。更具体地，在步骤S1），首先经由映射网络基于从隐含空间随机采样的N个向量分别生成N个糖网轻度的风格向量和N个糖网重度的风格向量。在步骤S2）基于经由映射网络生成N个糖网轻度风格向量确定中心向量作为糖网轻度对应的中心风格向量s ₁ ，基于N个糖网重度风格向量确定中心向量来作为糖网重度对应中心风格向量s ₂ 。接着在步骤S3）基于糖网轻度对应的中心风格向量s ₁ 与糖网重度对应中心风格向量s ₂ 之间的差异以及从隐含空间随机采样的任一向量s’共同生成新的风格向量s _new 提供给生成器。例如，s _new =s’+λ(s ₂ - s ₁ )，其中λ的取值范围在0～1之间。采用这样得到的风格向量作为输入训练生成器，能得到从糖网轻度到糖网重度之间的更多更接近真实演化过程的中间演化图像及分割图。这里的N至少大于2，N的取值越大，后续经过平均后，通过两组风格向量获得的中心向量之间差异就越稳定，但相应地计算量也越大大，因此其可以根据实际需求和***性能而定，在此不进行限制。

在该实施例中，除了上述对作为生成器的输入之一的风格向量进行处理之外，还对生成器的另一输入进行了调整。如上文提到的，本发明的实施例并非简单地将一种视网膜图像转换成另一种视网膜图像，而是旨在得到能准确反映疾病变化过程的各种异常的视网膜图像及其对应的分割标注图来提供丰富的训练样本数据。因此在步骤S4）作为生成器的图像输入，除采用了原始视网膜图像外，还额外加入了原始图像所对应的分割图像。也就是将训练集中的视网膜图像及其对应分割图像拼接后成为一个四通道图像x输入到生成器。该输入的图像x包含四个通道，前三个通道为视网膜图像的RGB通道，最后一个通道为分割图。这样，就可以输入图像x与在步骤S3）生成新的风格向量s _new 一起作为输入提供给生成器，以对其进行训练。训练集中的视网膜图像及其对应分割图像可以部分来源于人工标注的训练样本数据，也可以利用现有的训练好的血管或病灶分割模型来对视网膜图像进行分割以得到视网膜图像对应的分割图像（例如专利申请CN112418263A）。本文对此不进行限制。

在一些实施例中，为了提高所训练的生成器的性能，在训练过程中除了采用上述的对抗损失函数L _adv 、风格重建损失函数L _sty 、风格多样性损失函数L _ds 和一致性损失函数L _cyc 之外，还针对上述训练用的输入的图像的调整，设置了通过比较生成的分割图与输入的分割图中血管图像来计算的损失函数L _stru ，用来衡量生成图像的血管不变性。例如在一个示例中，损失函数L _stru 用来计算生成的分割图与输入的分割图中血管之间的交叉熵损失，其公式为：

(

)

其中y为输入分割图中像素的类别，当像素点在标注为血管的区域时，y的值取1， 否则为0.

为生成的分割图中属于血管类的概率。在又一个示例中，损失函数L _stru 用于衡 量生成的分割图的血管分割区域与输入的分割图中的血管标注区域之间的Dice Loss，其 计算方式为：

其中，

为输入的分割图中的血管区域，

为依据风格s和输入图像x 生成的分割图中的血管区域。在通常疾病演化过程中，不同视网膜图像的血管结构和位置 往往很少发生变化，因此，通过进一步加入上述用来衡量生成图像的血管不变性的损失函 数后，更有利于改善生成器所输出的图像的真实性。这样，训练阶段中的训练目标是使得这 五个损失函数的加权和尽可能地小。其中每次计算上述损失函数的加权和之后，进行梯度 的反向传播，更新各个模块的参数，如此迭代训练。尽管在步骤S1）提到利用映射网络生成 风格向量，但在又一些实施例中，在训练过程中也可以交替通过映射网络或风格编码器生 成风格向量。

经过训练完成后得到一个能够根据输入图像和指定的风格向量生成所需风格的图像及其对应分割图的生成器模型以及一个能按照指定的类别将随机产生的向量映射成指定类别的风格向量的映射网络。然后，就可以利用训练好的生成器自动生成相应疾病的视网膜图像及其对应分割标注图。以糖网为例，通过上述训练好的生成器可以实现糖网发展预测，任意输入某一分期的糖网图像，能够通过上述生成器获得该图像所对应的更轻分期的图像及更重分期的图像。而且上述生成器不仅可以实现疾病不同阶段图像之间的转换如糖网轻度到中度、轻度到健康、轻度到重度等，还可以模拟疾病不同阶段之间演化过程，从而可实现糖网各个分级数据的扩增，尤其是罕见的糖网增殖期数据。另外，上述生成器能同步生成指定的糖网分级的图像及其所对应的分割标注图，从而可以为机器学习模型提供丰富的训练样本数据，进一步提高针对视网膜图像的机器学习模型预测准确度。

另外，在上述在训练时为了提高血管结构的不变性及病灶分割图生成的准确性，加入分割图作为输入图像的通道之一，但在实际应用中，有时候很难获取图像对应分割图，但这并不影响上述生成器的使用。在使用该训练好的生成器时，如果待处理的图像没有对应的分割图，那么将该输入图像的分割图的通道替换为像素值全为零的图即可。

图3给出了根据本发明一个实施例的用于视网膜图像生成的方法，其包括：步骤S31）接收与眼底相关疾病第一阶段的视网膜图像；步骤S32）利用预先训练好的映射网络获取与该疾病第二阶段相关的风格向量；步骤S33）以接收的第一阶段的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至预先训练好的生成器，所述生成器输出相应的视网膜图像及其对应分割标注图。其中利用映射网络获取与疾病第二阶段相关的风格向量方式与上文结合步骤S1）-S3）介绍的方式类似：由映射网络基于随机采样的第一数量的向量分别生成相应数量的与眼底相关疾病第一阶段风格向量和相应数量的第二阶段风格向量，从而确定该疾病第一阶段对应的中心风格向量和第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量以提供给生成器。

应理解，映射网络是基于随机产生的向量输出指定类别的风格向量，因此上述步骤S31）-S33）可以循环反复地执行直至生成所需数量的视网膜图像，每次执行都会产生不同的图像。并且其中第一阶段和第二阶段也不仅限于举例的从轻度到重度，而是可以从健康到轻度、轻度到中度、轻度到健康、轻度到重度、重度到中度、重度到轻度等等，在此不进行任何限制。在又一些实施例中，该方法还可以包括响应于确定接收到的视网膜图像没有对应的分割标注图，以像素值全为零的图作为该视网膜图像对应的分割标注图。经发明人实验表明，尽管在生成时缺少了分割图的参与，但是上述生成器仍然能够同时生成眼底图和分割图。在实验中，以图4（a）左上角第一幅图作为输入，由于其没有对应的分割图，因此在图4（b）左上角显示其对应分割图为以像素值全为零的图，以此为输入循环执行上述过程17次，得到17个新的视网膜图像及其对应分割图。如图4所示，从糖网轻度至糖网重度的演化过程中，生成的视网膜图像视觉看起来非常接近于真实眼底图。此外，无论是眼底图上还是分割图的表现来看，出血渗出等相关病灶不断增多，而眼底的基本结构视盘、血管走向等保持不变。由此可以看出，根据本发明实施例的视网膜图像生成方法，可以根据需要，输出更多演化阶段的扩增的视网膜图像，由此可以支持对罕见眼底疾病图像的扩增，提升分类模型的准确性。而且在输出具有相应病灶类别的视网膜图像的同时产生并输出其相应分割图，也实现对分割标注数据集的扩增，从而还可以改善分割模型的准确性。此外，还能够模拟眼底疾病的演化进程，如从糖网轻度至糖网重度中间病灶的变化过程，这无疑会给医生和病人提供具有一定临床价值的信息。

在本发明的又一个实施例中，提供了一种视网膜图像生成***，其包括训练模块和图像生成模块。其中训练模块被配置为如上文结合图2所述的，经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器；以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练。其中图像生成模块被配置为如上文结合图3所述的，利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。

在本发明的又一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序或可执行指令，当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案，其实现原理类似，此处不再赘述。在本发明的实施例中，计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器（NAS）、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机***上的计算机可读介质，以便可以分布式地存储和执行计算机程序或指令。

在本发明的又一个实施例中，还提供了一种电子设备，包括处理器和存储器，其中所述存储器用于存储可由处理器执行的可执行指令，其中所述处理器被配置为执行存储器上存储的可执行指令，所述可执行指令被执行时实现前述任一实施例中介绍的技术方案，其实现原理类似，此处不再赘述。

本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。

本说明书中“包括”和“具有”以及类似含义的术语表达，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、***、产品或设备并不限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。

虽然本发明已经通过上述实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (8)

1.一种视网膜图像生成器的训练方法，包括：

经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而基于所生成的相应数量的疾病第一阶段风格向量确定疾病第一阶段对应的中心风格向量，并基于所生成的相应数量的疾病第二阶段风格向量确定疾病第二阶段对应中心风格向量；

基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器，其中所述新的风格向量以如下公式获得：

s _new =s’+λ(s ₂ - s ₁ )，其中s _new 为所述新的风格向量，s ₁ 表示疾病第一阶段对应的中心风格向量，s ₂ 表示疾病第二阶段对应中心风格向量，s’表示从隐含空间随机采样的向量，λ的取值范围在0～1之间；

以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新的风格向量作为输入提供至生成器对其进行训练，所述生成器用于生成视网膜图像及其对应分割标注图，其中作为生成器输入的拼接图包括四个通道，其中前三个通道为视网膜图像的RGB通道，另一个通道为该视网膜图像对应的分割标注图；

基于生成器的输出判断与该生成器对应的损失函数是否达到预设标准，如果没有，则更新映射网络和生成器的相应参数，重复上述步骤以进行下一轮训练；否则，结束训练。

2.根据权利要求1所述的方法，其中，对生成器进行训练时采用的损失函数包括用来衡量生成图像的血管不变性的损失函数，其通过比较生成的分割图与输入的分割图中血管图像来计算。

3.一种用于视网膜图像生成的方法，包括：

接收与疾病第一阶段相关的视网膜图像；

利用预先训练好的映射网络获取新的风格向量，所获取的风格向量与疾病第二阶段相关；

以接收的视网膜图像及其对应分割标注图构成的拼接图和所获取的风格向量作为输入提供至预先训练好的生成器，所述生成器输出相应的视网膜图像及其对应分割标注图；

其中所述生成器和映射网络是根据如权利要求1-2中任一项所述的方法训练的。

4.根据权利要求3所述的方法，还包括响应于确定接收到的视网膜图像没有对应的分割标注图，以像素值全为零的图作为该视网膜图像对应的分割标注图。

5.一种视网膜图像生成***，其包括训练模块和图像生成模块，其中：

训练模块被配置为经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量，从而基于所生成的相应数量的疾病第一阶段风格向量确定疾病第一阶段对应的中心风格向量，并基于所生成的相应数量的疾病第二阶段风格向量确定疾病第二阶段对应中心风格向量；基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器；以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新的风格向量作为输入提供至生成器对其进行训练；以及基于生成器的输出判断与该生成器对应的损失函数是否达到预设标准，如果没有，则更新映射网络和生成器的相应参数，重复上述步骤以进行下一轮训练；否则，结束训练；其中，所述新的风格向量以如下公式获得：s _new =s’+λ(s ₂ - s ₁ )，其中s _new 为所述新的风格向量，s ₁ 表示疾病第一阶段对应的中心风格向量，s ₂ 表示疾病第二阶段对应中心风格向量，s’表示从隐含空间随机采样的向量，λ的取值范围在0～1之间；其中作为生成器输入的拼接图包括四个通道，其中前三个通道为视网膜图像的RGB通道，另一个通道为该视网膜图像对应的分割标注图；

图像生成模块被配置为利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。

6.根据权利要求5所述的***，其中，所述训练模块对生成器进行训练时采用的损失函数包括用来衡量生成图像的血管不变性的损失函数，其通过比较生成的分割图与输入的分割图中血管图像来计算。

7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，所述程序被执行时实现权利要求1-4中任一项所述的方法。

8.一种电子设备，包括处理器和存储器，其中存储器用于存储可执行指令；所述处理器被配置为经由执行所述可执行指令来实现权利要求1-4中任一项所述的方法。

Images