CN111178499A - 一种基于生成对抗网络改进的医学图像超分辨率方法 - Google Patents

Abstract

一种基于生成对抗网络改进的医学图像超分辨率方法，获取高分辨率医学图像数据集，分为训练数据集和测试数据集；将高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集；在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积，得到第一网络结构模型；将第一网络结构模型的生成器模块的批归一化层去掉，得到第二网络结构模型；利用平均结构相似性感知损失函数改进SRGAN的感知损失函数，得到结构感知损失函数；将高分辨训练数据集和低分辨率训练数据集作为第二网络结构模型的输入，利用结构感知损失函数对第二网络结构模型进行训练；利用高分辨测试数据集和低分辨率测试数据集，对训练后的第二网络结构模型进行验证，完成医学图像超分辨率。

Description

一种基于生成对抗网络改进的医学图像超分辨率方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络改进的医学图像超分辨率方法。

背景技术

医学影像广泛使用于临床医学辅助诊断中，医生凭借它对病人身体内部的情况有一个更直观清晰的了解，从而进行精准诊断。但是由于硬件和扫描时间等因素，真实场景下的医学图像受限于空间分辨率，医生无法对微小的病灶区域和病理特征进行准确的疾病分析，同时也造成了很多严重疾病无法及时被诊断出来，错过了治疗的最佳时机。

在过去几十年里，已经提出了很多的工作来提高图像分辨率。超分辨率算法最早由Harris和Goodman分别于1964和1968年提出，被称为HarrisGoodman频谱外推法。超分辨率算法越来越受重视，直到现在已经发展成为图像处理领域的一个重要的研究方向。

随着深度学习技术的发展和成熟，基于深度学习的方法已经超越了传统超分辨率算法。SRCNN是首个基于深度学习的端到端的超分辨率算法。做法是先将低分辨率图像使用双三次插值放大至目标尺寸(如放大至2倍、3倍、4倍)，然后使用了三层卷积层，最终时间和性能都比当时最先进的传统算法好很多。后续在图像超分辨率领域里出现了一批优秀模型比如EDSR、CARN、RDN等。他们在图像质量评价指标(比如说峰值信噪比PSNR)上做的越好越好，图像质量也相应提升。这些网络虽然在PSNR上表现的很好，但是在更高分辨率下图像的保真度和视觉感知质量令人不太满意。于是有人利用生成对抗网络(GAN)来对超分辨率工作进行创新,SRGAN由此诞生。它是图像超分辨率算法研究中的卓越之作，虽然在PSNR上的表现没有其他模型那么优秀，但是在图像视觉感知效果上却优秀的多。

SRGAN虽然很优秀，但是他只针对自然图像效果很好，医学影像仍然还是不够好，因为医学图像本身信息相对于自然图像更少，所以医学图像超分辨率仍然是一个没有解决的问题。同时SRGAN训练出来的图像会产生伪影，而且图像质量评价指标并不高。

发明内容

针对现有技术中的技术问题，本发明提供了一种基于生成对抗网络改进的医学图像超分辨率方法，用于克服上述技术问题。

为了解决上述技术问题，本发明通过以下技术方案予以解决：

一种基于生成对抗网络改进的医学图像超分辨率方法，包括以下步骤：

步骤1：获取高分辨率医学图像数据集，将其分为训练数据集和测试数据集；

步骤2：将步骤1获取的高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集；

步骤3：在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积，得到第一网络结构模型；

步骤4：将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉，得到第二网络结构模型；

步骤5：利用平均结构相似性感知损失函数改进SRGAN的感知损失函数，得到结构感知损失函数；

步骤6：将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入，并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练；

步骤7：利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集，对步骤6训练后的第二网络结构模型进行验证，完成医学图像超分辨率。

进一步地，步骤2中，采用MATLAB的bicubic核函数进行4倍下采样。

进一步地，步骤3中，所述第一网络结构模型包括生成器模块和判别器模块；

所述第一网络结构模型的生成器模块的结构为：1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接，且16个残差块和第二卷积层组成1个组合残差块；

其中，每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层，其结构为：1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接；

每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层，其结构为：1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接；

所述第一网络结构模型的判别器模块的结构为：1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接；

其中，每个组合层的结构为：1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。

进一步地，步骤4中，所述第二网络结构模型包括生成器模块和判别器模块；

将所述第一网络结构模型的生成器模块中的所有批归一化层去掉，得到所述第二网络结构模型的生成器模块；

所述第二网络结构模型的判别器模块结构与所述第一网络结构模型的判别器模块的结构相同。

进一步地，所述第一网络结构模型的生成器模块和所述第二网络结构模型的生成器模块中：所有卷积层的卷积核尺寸均为3×3，步长为1；第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个；第四卷积层的卷积核个数均为256个；第三卷积层的卷积核个数为3个；所有激活层均为PRelu层；

所述第一网络结构模型的判别器模块和所述第二网络结构模型的判别器模块中：所有卷积层的卷积核尺寸均为3×3；按照连接顺序，从第五卷积层开始：卷积层的步长依次为1，2，1，2，1，2，1，2，卷积层的卷积核个数依次为64，64，128，128，256，256，512，512，最后一个激活层为sigmod层，其他激活层均为Leaky Relu层，第一个全连接层为1024维，第二个全连接层为1维。

进一步地，所述空洞卷积层中空洞卷积的膨胀率为2。

进一步地，步骤5中，所述结构感知损失函数为：

其中，平均结构相似性感知损失函数为：

其中，N是训练的batchsize；x_k和y_k为第k个图像对；SR是超分辨率superresolution的简称；SSIM是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性，表示为：

其中，x和y为给定的两个图像，u_x和u_y分别是x和y的像素平均值，

和

分别是x和y的像素方差，σ_xy是x和y的像素协方差；c₁和c₂是用来维持稳定的常数，表示为：c₁＝(k₁L)²,c₂＝(k₂L)²

其中，L是像素值的动态范围，k₁＝0.01,k₂＝0.03；

VGG内容感知损失函数为:

W_i,j和H_i,j描述了VGG网络内的各个特征图的尺寸，用φ_i,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积(激活后)获得的特征图；

为重建图像；I^HR为参考图像；LR表示低分辨率，HR表示高分辨率，I表示图像；

Gen生成对抗感知损失函数为:

其中，

代表重建图像

为高分辨率图像的概率。

与现有技术相比，本发明至少具有与以下有益效果：本发明一种基于生成对抗网络改进的医学图像超分辨率方法，使用了空洞卷积层，该结构在不用pooling层(pooling层会导致信息损失)且参数量相当的情况下，提供更大的感受野，充分利用图像的信息，能最大程度上保留超分辨率后的图像语义信息。医学图像相对于自然图像来说信息更少，所以数据集为医学图像时，使用空洞卷积比普通卷积更好，更适用于医学图像超分辨率。本发明移除了生成器模块中残差块的批归一化层(BN层)，避免了因为训练数据集和测试数据集样本分布不一致的情况下图片伪影的产生，使模型鲁棒性更强。本发明提出新的感知损失函数(结构感知损失函数)，从亮度、对比度、结构三方面来约束超分辨图像的质量，同时提高了人类视觉效果和图像质量评价指标值。

进一步地，本发明通过图像翻转和图像裁剪来扩充原始数据集的图像数量，这几种扩充数据量的操作被证实一定程度上可以提高网络模型的性能。本发明对空洞卷积的膨胀率设为2，该参数相对其他参数设置更适合第二网络结构模型。本发明将第二网络结构模型的生成器模块中的激活层设为PRelu层，可以加速网络训练速度，可以更好的训练网络模型。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的基于SRGAN改进的第二网络结构图；

图2是本发明的网络结构模型中的Residual block(ResB)结构图；

图3是本发明的对照实验效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明的具体实施方式，一种基于生成对抗网络改进的医学图像超分辨率方法，包括以下步骤：

步骤1：下载医学图像数据集Deeplesion，获取高分辨率医学图像数据集，随即从约92万张医学图像中抽取一部分数据集作为训练数据集和测试数据集。具体工作流程如下：

首先下载Deeplesion数据集，按照图片唯一编号作为索引，从中随机选取800张图片作为训练数据集，100张图片作为测试数据集。

步骤2：将步骤1获取的高分辨率医学图像数据集采用MATLAB的bicubic核函数进行4倍下采样，得到相应的训练低分辨率(LR)数据集和低分辨率(LR)测试数据集。

步骤3：在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积，得到第一网络结构模型，使用空洞卷积的目的是在不用pooling层(pooling层会导致信息损失)且参数量相当的情况下，提供更大的感受野，让每个卷积输出都包含更大范围的信息，这样可以充分利用图像的信息，能最大程度上保留超分辨率后的图像语义信息，医学图像相对于自然图像来说信息更少，所以数据集为医学图像时，使用空洞卷积比普通卷积更好。具体的，第一网络结构模型包括生成器模块和判别器模块；

第一网络结构模型的生成器模块的结构为：1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接，且16个残差块和第二卷积层组成1个组合残差块；

其中，每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层，其结构为：1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接；

每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层，其结构为：1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接；

第一网络结构模型的判别器模块的结构为：1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接；

其中，每个组合层的结构为：1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。

作为本发明的某一优选实施例，第一网络结构模型的生成器模块中：所有卷积层的卷积核尺寸均为3×3，步长为1；第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个；第四卷积层的卷积核个数均为256个；第三卷积层的卷积核个数为3个；所有激活层均为PRelu层；空洞卷积层中空洞卷积的膨胀率为2。

第一网络结构模型的判别器模块中：所有卷积层的卷积核尺寸均为3×3；按照连接顺序，从第五卷积层开始：卷积层的步长依次为1，2，1，2，1，2，1，2，卷积层的卷积核个数依次为64，64，128，128，256，256，512，512，最后一个激活层为sigmod层，其他激活层均为Leaky Relu层，第一个全连接层为1024维，第二个全连接层为1维。

步骤4：将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉，得到第二网络结构模型，具体的，第二网络结构模型包括生成器模块和判别器模块；

将第一网络结构模型的生成器模块中的所有批归一化层去掉，得到第二网络结构模型的生成器模块；去除BN层已经在实际的SR任务中被证明可以提高性能并且降低计算复杂性，同时也可以防止伪影产生。

第二网络结构模型的判别器模块结构与第一网络结构模型的判别器模块的结构相同。

作为本发明的某一优选实施例，第二网络结构模型的生成器模块中：所有卷积层的卷积核尺寸均为3×3，步长为1；第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个；第四卷积层的卷积核个数均为256个；第三卷积层的卷积核个数为3个；所有激活层均为PRelu层；空洞卷积层中空洞卷积的膨胀率为2；

第二网络结构模型的判别器模块中：所有卷积层的卷积核尺寸均为3×3；按照连接顺序，从第五卷积层开始：卷积层的步长依次为1，2，1，2，1，2，1，2，卷积层的卷积核个数依次为64，64，128，128，256，256，512，512，最后一个激活层为sigmod层，其他激活层均为Leaky Relu层，第一个全连接层为1024维，第二个全连接层为1维；

最终得到的第二网络结构如图1所示，图1中的残差块ResB的具体结构如图2所示。

步骤5：利用平均结构相似性感知损失函数改进SRGAN的感知损失函数，得到结构感知损失函数，它不仅可以提升超分辨率图像的视觉感知质量，也可以提高超分辨率图像的图像质量评估指标值；

结构感知损失函数为：

其中，平均结构相似性感知损失函数为：

其中，N是训练的batchsize；x_k和y_k为第k个图像对；SR是超分辨率superresolution的简称；SSIM是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性，表示为：

其中，x和y为给定的两个图像，u_x和u_y分别是x和y的像素平均值，

和

分别是x和y的像素方差，σ_xy是x和y的像素协方差；c₁和c₂是用来维持稳定的常数，表示为：c₁＝(k₁L)²,c₂＝(k₂L)²；

其中，L是像素值的动态范围，k₁＝0.01,k₂＝0.03；

VGG内容感知损失函数为:

W_i,j和H_i,j描述了VGG网络内的各个特征图的尺寸，用φ_i,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积(激活后)获得的特征图；

为重建图像；I^HR为参考图像；LR表示低分辨率，HR表示高分辨率，I表示图像；

Gen生成对抗感知损失函数为:

代表重建图像

为高分辨率图像的概率。

步骤6：将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入，并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练，其中各类参数设置情况为：batchsize设为8；结构感知损失函数的系数λ为2×10^-5，μ为1×10^-2；训练轮数为1000，初始学***台上训练模型；通过调整参数使得损失函数达到最小，即完成模型训练，得到医学图像超分辨率模型。

步骤7：利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集，分别对BIUCBIU算法、第一网络结构模型、第二网络结构模型、使用结构感知损失函数的第二网络结构模型进行验证，获得相应的超分辨率图。如图3所示，左边部分是高分辨率图像，右边四张小图分别为：左上是BIUCBIU算法效果图，右上是第一网络结构模型效果图，右下是第二网络结构模型效果图，左下是使用结构感知损失函数的第二网络结构模型效果图；从图3可以看出使用结构感知损失函数的第二网络结构模型的超分辨率图视觉感知效果是最好的。

步骤8：利用步骤1获取的高分辨率测试数据集和步骤7得到的超分辨率图像依次分别进行图像质量指标评估，得到相应的指标值，并且依照改进的步骤，每个步骤得出的网络模型都做了对照实验，实验得出的具体指标值参照表1；其中，所述质量评估指标分别为峰值信噪比(PSNR)和结构相似性(SSIM)，可以从参照表1看出来使用结构感知损失的第二网络结构模型的指标值均为最高。

表1测试图像的图像质量评估指标值

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，包括以下步骤：

步骤1：获取高分辨率医学图像数据集，将其分为训练数据集和测试数据集；

步骤2：将步骤1获取的高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集；

步骤3：在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积，得到第一网络结构模型；

步骤4：将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉，得到第二网络结构模型；

步骤5：利用平均结构相似性感知损失函数改进SRGAN的感知损失函数，得到结构感知损失函数；

步骤6：将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入，并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练；

步骤7：利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集，对步骤6训练后的第二网络结构模型进行验证，完成医学图像超分辨率。

2.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，步骤2中，采用MATLAB的bicubic核函数进行4倍下采样。

3.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，步骤3中，所述第一网络结构模型包括生成器模块和判别器模块；

所述第一网络结构模型的生成器模块的结构为：1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接，且16个残差块和第二卷积层组成1个组合残差块；

其中，每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层，其结构为：1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接；

每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层，其结构为：1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接；

所述第一网络结构模型的判别器模块的结构为：1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接；

其中，每个组合层的结构为：1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。

4.根据权利要求3所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，步骤4中，所述第二网络结构模型包括生成器模块和判别器模块；

将所述第一网络结构模型的生成器模块中的所有批归一化层去掉，得到所述第二网络结构模型的生成器模块；

所述第二网络结构模型的判别器模块结构与所述第一网络结构模型的判别器模块的结构相同。

5.根据权利要求4所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，所述第一网络结构模型的生成器模块和所述第二网络结构模型的生成器模块中：所有卷积层的卷积核尺寸均为3×3，步长为1；第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个；第四卷积层的卷积核个数均为256个；第三卷积层的卷积核个数为3个；所有激活层均为PRelu层；

所述第一网络结构模型的判别器模块和所述第二网络结构模型的判别器模块中：所有卷积层的卷积核尺寸均为3×3；按照连接顺序，从第五卷积层开始：卷积层的步长依次为1，2，1，2，1，2，1，2，卷积层的卷积核个数依次为64，64，128，128，256，256，512，512，最后一个激活层为sigmod层，其他激活层均为Leaky Relu层，第一个全连接层为1024维，第二个全连接层为1维。

6.根据权利要求5所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，所述空洞卷积层中空洞卷积的膨胀率为2。

7.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法，其特征在于，步骤5中，所述结构感知损失函数为：

其中，平均结构相似性感知损失函数为：

其中，N是训练的batchsize；x_k和y_k为第k个图像对；SR是超分辨率super resolution的简称；SSIM是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性，表示为：

其中，x和y为给定的两个图像，u_x和u_y分别是x和y的像素平均值，

和

分别是x和y的像素方差，σ_xy是x和y的像素协方差；c₁和c₂是用来维持稳定的常数，表示为：c₁＝(k₁L)²,c₂＝(k₂L)²；

其中，L是像素值的动态范围，k₁＝0.01,k₂＝0.03；

VGG内容感知损失函数为：

W_i,j和H_i,j描述了VGG网络内的各个特征图的尺寸，用φ_i,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积获得的特征图；

为重建图像；I^HR为参考图像；LR表示低分辨率，HR表示高分辨率，I表示图像；

Gen生成对抗感知损失函数为：

代表重建图像

为高分辨率图像的概率。

Images