CN113888432A - 一种图像增强方法、装置和用于图像增强的装置 - Google Patents

Abstract

本申请实施例公开了一种图像增强方法、装置和用于图像增强的装置。该方法的实施例包括：将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到原始图像的局部特征和全局特征；将局部特征和全局特征输入至图像增强模型中的特征处理网络，得到原始图像对应的第一增强图像。该实施方式提高了图像增强效果。

Description

一种图像增强方法、装置和用于图像增强的装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及一种图像增强方法、装置和用于图像增强的装置。

背景技术

图像增强是一种图像处理方法，具体方式为对原始图像进行一些处理，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配。

现有技术中，通常使用同一特征提取网络提取图像的局部特征和全局特征，并基于所提取的特征进行图像增强。当输入图像较大时，这种方式所生成的增强图像的效果较差。

发明内容

本申请实施例提出了一种图像增强方法、装置和用于图像增强的装置，以解决现有技术中增强图像效果较差的技术问题。

第一方面，本申请实施例提供了一种图像增强方法，该方法包括：将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，得到所述原始图像的局部特征和全局特征；将所述局部特征和所述全局特征输入至所述图像增强模型中的特征处理网络，分别得到所述原始图像对应的第一增强图像。

第二方面，本申请实施例提供了一种图像增强装置，该装置包括：特征提取单元，被配置成将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，得到所述原始图像的局部特征和全局特征；第一图像增强单元，被配置成将所述局部特征和所述全局特征输入至所述图像增强模型中的特征处理网络，分别得到所述原始图像对应的第一增强图像。

第三方面，本申请实施例提供了一种用于图像增强的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，所述程序被一个或者一个以上处理器执行时，实现如上述第一方面中所描述的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所描述的方法。

本申请实施例提供的图像增强方法、装置和用于图像增强的装置，通过预先训练包含局部特征提取网络、全局特征提取网络和特征处理网络的图像增强模型，从而可通过局部特征提取网络和全局特征提取网络提取原始图像的局部特征和全局特征，进而通过特征处理网络对所提取的局部特征和全局特征进行处理，分别得到对原始图像增强后的第一增强图像。由于图像的局部特征和全局特征分别使用不同特征提取网络提取，因而在图像较大时，提取局部特征的过程无需受全局特征限制而对所输入的图像进行缩小，提高了局部特征的准确性，从而提高了所生成的增强图像的效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的图像增强方法的一个实施例的流程图；

图2是根据本申请的图像增强模型中的局部特征提取网络和全局特征提取网络的结构示意图；

图3是根据本申请的图像增强方法的又一个实施例的流程图；

图4是根据本申请的图像增强装置的一个实施例的结构示意图；

图5是根据本申请的一种用于图像增强的装置的结构示意图；

图6是根据本申请的一些实施例中服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了根据本申请的图像增强方法的一个实施例的流程100。上述图像增强方法可运行于各种电子设备，上述电子设备包括但不限于：服务器、智能手机、平板电脑、电子书阅读器、MP4(动态影像专家压缩标准音频层面4，Moving Picture ExpertsGroup Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。

本实施例中的图像增强方法，可以包括以下步骤：

步骤101，将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到原始图像的局部特征和全局特征。

在本实施例中，图像增强方法的执行主体(如服务器等电子设备)中可以存储预先训练的图像增强模型，图像增强模型可以对输入至其中的图像进行处理，并输出增强后的图像。图像增强模型可以采用机器学习方法对GAN(Generative Adversarial Net，生成式对抗网络)、CNN(Convolutional Neural Network、卷积神经网络)等图像处理网络预先训练得到。

在本实施例中，图像增强模型中可包括局部特征提取网络、全局特征提取网络和特征处理网络。其中，局部特征提取网络可用于提取图像的局部特征，局部特征即为局部区域的特征。全局特征提取网络可用于提取图像的全局特征。特征处理网络可用于对所提取的局部特征和全局特征进行处理(如卷积、池化、反卷积、反池化等)，得到一个新的图像。该新的图像即为对原始图像进行图像增强后的增强图像。

作为示例，图2示出了图像增强模型中的局部特征提取网络和全局特征提取网络的结构示意图。如图2所示，全局特征提取网络包括输入层、卷积块(可包含一个或多个卷积层)和输出层。全局特征提取网络的输入可以是经过下采样(如通过卷积、池化等操作进行下采样)到固定大小(如512×512)后的图像。

局部特征提取网络可包括输入层、至少一个卷积块(每个卷积块可包含一个或多个卷积层)、输出层。局部特征提取网络的输入为原尺寸的图像。实践中，如果图像尺寸小于512则可以只使用局部特征提取网络进行增强。如果图像尺寸大于512则可以将全局特征提取网络输出的全局特征以按元素相加(element-wise add)的方式与局部特征提取模型生成的中间数据进行融合。

在本实施例中，上述执行主体可以将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到原始图像的局部特征和全局特征。由于图像的局部特征和全局特征分别使用具有不同网络参数的局部特征提取网络和全局特征提取网络提取，因而在图像较大时，提取局部特征的过程无需受全局特征限制而对所输入的图像进行缩小，提高了局部特征的准确性，从而提高了所生成的增强图像的效果。

在本实施例的一些可选的实现方式中，图像增强模型通过对GAN训练得到。相比于CNN，GAN可以学习到更真实的图像特征，增强效果更佳。GAN中包括生成网络和判别网络，上述生成网络可以是用于对所输入的图像进行处理的卷积神经网络(例如包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样)，上述判别网络可以用于确定所输入的图像是否为上述生成网络所输出的图像。实践中，上述判别网络也可以是卷积神经网络(例如包含全连接层的各种卷积神经网络结构，其中，上述全连接层可以实现分类功能)。需要说明的是，将上述生成网络所输出的图像可以用RGB三通道的矩阵进行表达。通过对GAN训练得到图像增强模型的操作可参见如下子步骤S11和子步骤S12：

子步骤S11，获取样本集。

此处，样本集中可包括大量的样本图像以及对每个样本图像进行图像增强后所得到的标签图像。实践中，样本集可以通过多种方式来获取。例如，可以通过有线连接方式或无线连接方式，从用于存储样本的另一服务器(例如数据库服务器)中获取存储于其中的现有的样本集。再例如，用户可以通过终端设备来收集样本，这样，上述执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。需要指出的是，上述无线连接方式可包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX(World Interoperabilityfor Microwave Access，全球微波接入互操作性)连接、Zigbee(紫蜂协议)连接、UWB(ultrawideband，超宽带)连接、以及其他现在已知或将来开发的无线连接方式。

可选的，样本集中的样本图像可以通过对已有的图像集中的图像进行扩展后得到。具体地，可将已有的图像集作为初始图像集，对初始图像集中的初始图像进行预处理，得到扩展图像。将初始图像和扩展图像进行汇总，得到样本图像。其中，预处理可包括但不限于以下至少一项：翻转、缩放、裁剪、平移、旋转、插值。由此，可弥补有监督学习训练数据不足的问题，从而提高模型的泛化性。

子步骤S12，基于样本集对GAN进行训练，并将训练后的生成式对抗网络中的生成网络确定为图像增强模型。

此处，GAN中包括待训练的局部特征提取网络、全局特征提取网络和特征处理网络。基于样本集，上述执行主体可以采用机器学习方法对GAN进行训练，并将训练后的GAN中的生成网络确定为图像增强模型。

实践中，可以通过训练GAN的常规方式进行训练。即，迭代进行生成网络的训练和判别网络的训练。具体地，可以首先固定生成网络，对判别网络进行优化，使判别网络准确区分真实数据和生成数据；再固定判别网络，对生成网络进行改进，使判别网络无法区分输入的图像是否是生成网络所生成的。不断进行上述迭代，直至最终收敛。此时，上述生成网络所生成的图像与标签图像接近，上述判别网络无法准确区分真实数据和生成数据(即准确率接近50％)。

可选的，GAN中的激活函数可以为缩放指数型线性单元激活函数(scaledexponential linear unit，SELU)。SELU作为激活函数，可提高模型训练过程中的收敛能力，即每层的输出都会接近于某个固定的分布，避免了梯度***或梯度消失。

可选的，在子步骤S12中，可以通过对全局特征提取网络、局部特征提取网络两部分协同训练的方式进行GAN模型的训练，具体参见如下：

第一步，基于样本集，对全局特征提取网络进行训练。

此处，可以迭代执行如下训练步骤，直至满足预设的停止训练条件(如迭代训练次数达到预设次数等)：首先，将样本集中的样本图像分别输入至全局特征提取网络和局部特征提取网络，基于生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和生成式对抗网络中的判别网络输出的判别结果，确定生成式对抗网络的损失值。之后，固定局部特征提取网络的参数，基于损失值，更新全局特征提取网络的参数。需要说明的是，基于损失值，除更新全局特征提取网络的参数外，还可以更新特征处理网络、判别网络的参数。

其中，上述损失值为损失函数(loss function)的值，损失函数是非负实值函数，可以用于表征检测结果与真实结果的差异。一般情况下，损失值越小，模型的鲁棒性就越好。损失函数可以根据实际需求来设置。

可选的，可采用多任务进行全局特征提取网络的训练。此时，损失值可以通过损失函数共同确定。例如，可以将生成网络生成的图像和所输入的样本图像对应的标签图像输入至预设的均方误差(Mean Square Error，MSE)损失函数，得到第一损失值。另外，可以将生成网络生成的图像输入至已训练的特征提取模型(如VGG模型)，将特征提取模型的目标层(如Stage 4/5层)输出的特征图和生成网络生成的图像输入至预设的感知损失函数(Perceptual Loss)，得到第二损失值。感知损失函数具体可以采用MSE损失的计算原理。此外，可以将生成网络生成的图像和所输入的样本图像输入至预设的身份损失函数(Identity Loss)，得到第三损失值。身份损失函数具体也可以采用MSE损失的计算原理。身份损失函数可以保证模型对输入图像不会产生很大的修改导致图片内容发生变化。此外，可以将生成式对抗网络中的判别网络输出的判别结果输入至预设的生成式对抗网络损失函数(GAN loss)，得到第四损失值。生成式对抗网络损失函数具体可采用交叉熵损失、Hinge loss(铰链损失)等计算原理。最终，可以结合第一损失值、第二损失值、第三损失值和第四损失值，确定生成式对抗网络的损失值。例如，可对上述各损失函数相加、或者加权求和等，得到生成式对抗网络的损失值。采用MSE Loss、Perceptual Loss、Identity Loss、GAN Loss等多任务学习的方式进行训练，可以提高GAN训练的稳定性。

第二步，基于样本集，对局部特征提取网络进行训练。

此处，可迭代执行如下训练步骤：将样本集中的样本图像分别输入至全局特征提取网络和局部特征提取网络，基于生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和生成式对抗网络中的判别网络输出的判别结果，确定生成式对抗网络的损失值；固定全局特征提取网络的参数，基于损失值，更新局部特征提取网络的参数。需要说明的是，基于损失值，除更新局部特征提取网络的参数外，还可以更新特征处理网络、判别网络的参数。此处，训练局部特征提取网络的步骤与训练全局特征提取网络的步骤类似，确定损失值的过程也类似，此处不再赘述。

第三步，基于样本集，对生成式对抗网络进行整体训练。

此处，整体训练的过程即为迭代训练GAN的生成网络和判别网络的过程。具体可参见上述描述，此处不作赘述。

通过对全局特征提取网络、局部特征提取网络两部分协同训练，可使全局特征提取网络、局部特征提取网络均能够更好地学习到图像中的局部特征和全局特征的提取能力，帮助两种尺度特征的配齐。

步骤102，将局部特征和全局特征输入至图像增强模型中的特征处理网络，得到原始图像对应的第一增强图像。

在本实施例中，上述执行主体可以将局部特征和全局特征输入至图像增强模型中的特征处理网络，得到原始图像对应的第一增强图像。实践中，特征处理网络可包括包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样，最终实现一个新图像的输出。所输出的新图像即为第一增强图像。

本申请的上述实施例提供的方法，通过预先训练包含局部特征提取网络、全局特征提取网络和特征处理网络的图像增强模型，从而可通过局部特征提取网络和全局特征提取网络提取原始图像的局部特征和全局特征，进而通过特征处理网络对所提取的局部特征和全局特征进行处理，得到对原始图像增强后的第一增强图像。由于图像的局部特征和全局特征分别使用具有不同网络参数的局部特征提取网络和全局特征提取网络提取，因而在图像较大时，提取局部特征的过程无需受全局特征限制而对所输入的图像进行缩小，提高了局部特征的准确性，从而提高了所生成的增强图像的效果。

进一步参考图3，其示出了图像增强方法的又一个实施例的流程300。该图像增强方法的流程300，包括以下步骤：

步骤301，将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到原始图像的局部特征和全局特征。

本实施例中的步骤201可参见图1对应实施例的步骤101，此处不再赘述。

步骤302，将局部特征和全局特征输入至图像增强模型中的特征处理网络，得到原始图像对应的第一增强图像。

本实施例中的步骤202可参见图1对应实施例的步骤102，此处不再赘述。

步骤303，对第一增强图像进行滤波处理，得到滤波后图像。

在本实施例中，上述执行主体可以对第一增强图像进行滤波处理，如进行均值滤波处理，得到滤波后图像。均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(以目标像素为中心的周围8个像素，构成一个滤波模板，即包括目标像素本身)，再用模板中的全体像素的平均值来代替原来像素值。均值滤波可实现对图像去噪的效果。

步骤304，将第一增强图像与滤波后图像进行加权平均，得到第二增强图像。

在本实施例中，上述执行主体可将第一增强图像与滤波后图像进行加权平均，得到第二增强图像。其中，滤波后的图像的权重系数为负数，由此，滤波后的图像会保留图像的高频信息，对应的低频信息即为接***均值的像素值，因此通过系数为负的求和，即可将低频信息去掉，对输入图像的高频信息进行增强。通过对第一增强图像进行滤波并将滤波后图像与第一增强图像加权平均，对图像增强模型输出的第一增强图像的图像增强效果进一步提高。

从图2中可以看出，与图1对应的实施例相比，本实施例中的图像增强方法的流程200涉及了对第一增强图像进行滤波并将滤波后图像与第一增强图像加权平均的步骤。由于在通过图像增强模型的基础上，引入了额外的图像增强算法，因此进一步提高了图像增强的效果。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种图像增强装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例上述的图像增强装置400包括：特征提取单元401，被配置成将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到上述原始图像的局部特征和全局特征；第一图像增强单元402，被配置成将上述局部特征和上述全局特征输入至上述图像增强模型中的特征处理网络，得到上述原始图像对应的第一增强图像。

在本实施例的一些可选的实现方式中，上述装置还包括第二图像增强单元，被配置成：对上述第一增强图像进行滤波处理，得到滤波后图像；将上述第一增强图像与上述滤波后图像进行加权平均，得到第二增强图像。

在本实施例的一些可选的实现方式中，上述图像增强模型通过如下步骤训练得到：获取样本集，上述样本集中包括样本图像和对上述样本图像增强后的标签图像；基于上述样本集对生成式对抗网络进行训练，并将训练后的生成式对抗网络中的生成网络确定为图像增强模型，上述生成网络中包括上述局部特征提取网络、上述全局特征提取网络和上述特征处理网络。

在本实施例的一些可选的实现方式中，上述获取样本集中的样本图像通过如下步骤获取：对初始图像集中的初始图像进行预处理，得到扩展图像，上述预处理包括以下至少一项：翻转、缩放、裁剪、平移、旋转、插值；将上述初始图像和上述扩展图像进行汇总，得到样本图像。

在本实施例的一些可选的实现方式中，上述基于上述样本集，对生成式对抗网络进行训练，包括：基于上述样本集，对上述全局特征提取网络进行训练；基于上述样本集，对上述局部特征提取网络进行训练；基于上述样本集，对上述生成式对抗网络进行整体训练。

在本实施例的一些可选的实现方式中，上述基于上述样本集，对生成式对抗网络进行训练，包括：迭代执行如下训练步骤：将上述样本集中的样本图像分别输入至上述全局特征提取网络和上述局部特征提取网络，基于上述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和上述生成式对抗网络中的判别网络输出的判别结果，确定上述生成式对抗网络的损失值；固定上述局部特征提取网络的参数，基于上述损失值，更新上述全局特征提取网络的参数。

在本实施例的一些可选的实现方式中，上述基于上述样本集，对生成式对抗网络进行训练，包括：迭代执行如下训练步骤：将上述样本集中的样本图像分别输入至上述全局特征提取网络和上述局部特征提取网络，基于上述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和上述生成式对抗网络中的判别网络输出的判别结果，确定上述生成式对抗网络的损失值；固定上述全局特征提取网络的参数，基于上述损失值，更新上述局部特征提取网络的参数。

在本实施例的一些可选的实现方式中，上述基于上述样本集，对生成式对抗网络进行训练，包括：上述基于上述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和上述生成式对抗网络中的判别网络输出的判别结果，确定上述生成式对抗网络的损失值，包括：将上述生成网络生成的图像和所输入的样本图像对应的标签图像输入至预设的均方误差损失函数，得到第一损失值；将上述生成网络生成的图像输入至已训练的特征提取模型，将上述特征提取模型的目标层输出的特征图和上述生成网络生成的图像输入至预设的感知损失函数，得到第二损失值；将上述生成网络生成的图像和所输入的样本图像输入至预设的身份损失函数，得到第三损失值；将上述生成式对抗网络中的判别网络输出的判别结果输入至预设的生成式对抗网络损失函数，得到第四损失值；基于上述第一损失值、上述第二损失值、上述第三损失值和上述第四损失值，确定上述生成式对抗网络的损失值。

在本实施例的一些可选的实现方式中，上述基于上述样本集，对生成式对抗网络进行训练，包括：上述生成式对抗网络中的激活函数为缩放指数型线性单元激活函数。

本申请的上述实施例提供的装置，通过预先训练包含局部特征提取网络、全局特征提取网络和特征处理网络的图像增强模型，从而可通过局部特征提取网络和全局特征提取网络提取原始图像的局部特征和全局特征，进而通过特征处理网络对所提取的局部特征和全局特征进行处理，得到对原始图像增强后的第一增强图像。由于图像的局部特征和全局特征分别使用具有不同网络参数的局部特征提取网络和全局特征提取网络提取，因而在图像较大时，提取局部特征的过程无需受全局特征限制而对所输入的图像进行缩小，提高了局部特征的准确性，从而提高了所生成的增强图像的效果。

图5是根据一示例性实施例示出的用于图像增强的装置500的框图，该装置500可以为智能终端或者服务器。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理***，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在上述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如上述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，上述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是本申请的一些实施例中服务器的结构示意图。该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processingunits，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。

服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，一个或一个以上键盘656，和/或，一个或一个以上操作***641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

一种非临时性计算机可读存储介质，当上述存储介质中的指令由装置(智能终端或者服务器)的处理器执行时，使得装置能够执行一种图像增强方法，上述方法包括：将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到所述原始图像的局部特征和全局特征；将所述局部特征和所述全局特征输入至所述图像增强模型中的特征处理网络，得到所述原始图像对应的第一增强图像。

可选的，所述装置经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对所述第一增强图像进行滤波处理，得到滤波后图像；将所述第一增强图像与所述滤波后图像进行加权平均，得到第二增强图像。

可选的，所述图像增强模型通过如下步骤训练得到：获取样本集，所述样本集中包括样本图像和对所述样本图像增强后的标签图像；基于所述样本集对生成式对抗网络进行训练，并将训练后的生成式对抗网络中的生成网络确定为图像增强模型，所述生成网络中包括所述局部特征提取网络、所述全局特征提取网络和所述特征处理网络。

可选的，所述获取样本集中的样本图像通过如下步骤获取：对初始图像集中的初始图像进行预处理，得到扩展图像，所述预处理包括以下至少一项：翻转、缩放、裁剪、平移、旋转、插值；将所述初始图像和所述扩展图像进行汇总，得到样本图像。

可选的，所述基于所述样本集，对生成式对抗网络进行训练，包括：基于所述样本集，对所述全局特征提取网络进行训练；基于所述样本集，对所述局部特征提取网络进行训练；基于所述样本集，对所述生成式对抗网络进行整体训练。

可选的，所述基于所述样本集，对所述全局特征提取网络进行训练，包括：迭代执行如下训练步骤：将所述样本集中的样本图像分别输入至所述全局特征提取网络和所述局部特征提取网络，基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值；固定所述局部特征提取网络的参数，基于所述损失值，更新所述全局特征提取网络的参数。

可选的，所述基于所述样本集，对所述局部特征提取网络进行训练，包括：迭代执行如下训练步骤：将所述样本集中的样本图像分别输入至所述全局特征提取网络和所述局部特征提取网络，基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值；固定所述全局特征提取网络的参数，基于所述损失值，更新所述局部特征提取网络的参数。

可选的，所述基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值，包括：将所述生成网络生成的图像和所输入的样本图像对应的标签图像输入至预设的均方误差损失函数，得到第一损失值；将所述生成网络生成的图像输入至已训练的特征提取模型，将所述特征提取模型的目标层输出的特征图和所述生成网络生成的图像输入至预设的感知损失函数，得到第二损失值；将所述生成网络生成的图像和所输入的样本图像输入至预设的身份损失函数，得到第三损失值；将所述生成式对抗网络中的判别网络输出的判别结果输入至预设的生成式对抗网络损失函数，得到第四损失值；基于所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，确定所述生成式对抗网络的损失值。

可选的，所述生成式对抗网络中的激活函数为缩放指数型线性单元激活函数。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

以上对本申请所提供的一种图像增强方法、装置和一种用于图像增强的装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像增强方法，其特征在于，所述方法包括：

将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到所述原始图像的局部特征和全局特征；

将所述局部特征和所述全局特征输入至所述图像增强模型中的特征处理网络，得到所述原始图像对应的第一增强图像。

2.根据权利要求1所述的方法，其特征在于，在得到所述原始图像对应的增强图像后，所述方法还包括：

对所述第一增强图像进行滤波处理，得到滤波后图像；

将所述第一增强图像与所述滤波后图像进行加权平均，得到第二增强图像。

3.根据权利要求1所述的方法，其特征在于，所述图像增强模型通过如下步骤训练得到：

获取样本集，所述样本集中包括样本图像和对所述样本图像增强后的标签图像；

基于所述样本集对生成式对抗网络进行训练，并将训练后的生成式对抗网络中的生成网络确定为图像增强模型，所述生成网络中包括所述局部特征提取网络、所述全局特征提取网络和所述特征处理网络。

4.根据权利要求3所述的方法，其特征在于，所述获取样本集中的样本图像通过如下步骤获取：

对初始图像集中的初始图像进行预处理，得到扩展图像，所述预处理包括以下至少一项：翻转、缩放、裁剪、平移、旋转、插值；

将所述初始图像和所述扩展图像进行汇总，得到样本图像。

5.根据权利要求3所述的方法，其特征在于，所述基于所述样本集，对生成式对抗网络进行训练，包括：

基于所述样本集，对所述全局特征提取网络进行训练；

基于所述样本集，对所述局部特征提取网络进行训练；

基于所述样本集，对所述生成式对抗网络进行整体训练。

6.根据权利要求5所述的方法，其特征在于，所述基于所述样本集，对所述全局特征提取网络进行训练，包括：

迭代执行如下训练步骤：

将所述样本集中的样本图像分别输入至所述全局特征提取网络和所述局部特征提取网络，基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值；

固定所述局部特征提取网络的参数，基于所述损失值，更新所述全局特征提取网络的参数。

7.根据权利要求5所述的方法，其特征在于，所述基于所述样本集，对所述局部特征提取网络进行训练，包括：

迭代执行如下训练步骤：

将所述样本集中的样本图像分别输入至所述全局特征提取网络和所述局部特征提取网络，基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值；

固定所述全局特征提取网络的参数，基于所述损失值，更新所述局部特征提取网络的参数。

8.根据权利要求6或7所述的方法，其特征在于，所述基于所述生成网络生成的图像、所输入的样本图像、所输入的样本图像对应的标签图像和所述生成式对抗网络中的判别网络输出的判别结果，确定所述生成式对抗网络的损失值，包括：

将所述生成网络生成的图像和所输入的样本图像对应的标签图像输入至预设的均方误差损失函数，得到第一损失值；

将所述生成网络生成的图像输入至已训练的特征提取模型，将所述特征提取模型的目标层输出的特征图和所述生成网络生成的图像输入至预设的感知损失函数，得到第二损失值；

将所述生成网络生成的图像和所输入的样本图像输入至预设的身份损失函数，得到第三损失值；

将所述生成式对抗网络中的判别网络输出的判别结果输入至预设的生成式对抗网络损失函数，得到第四损失值；

基于所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，确定所述生成式对抗网络的损失值。

9.根据权利要求3所述的方法，其特征在于，所述生成式对抗网络中的激活函数为缩放指数型线性单元激活函数。

10.一种图像增强装置，其特征在于，所述装置包括：

特征提取单元，被配置成将原始图像分别输入至预先训练的图像增强模型中的局部特征提取网络和全局特征提取网络，分别得到所述原始图像的局部特征和全局特征；

第一图像增强单元，被配置成将所述局部特征和所述全局特征输入至所述图像增强模型中的特征处理网络，得到所述原始图像对应的第一增强图像。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括第二图像增强单元，被配置成：

对所述第一增强图像进行滤波处理，得到滤波后图像；

将所述第一增强图像与所述滤波后图像进行加权平均，得到第二增强图像。

12.根据权利要求10所述的装置，其特征在于，所述图像增强模型通过如下步骤训练得到：

获取样本集，所述样本集中包括样本图像和对所述样本图像增强后的标签图像；

基于所述样本集对生成式对抗网络进行训练，并将训练后的生成式对抗网络中的生成网络确定为图像增强模型，所述生成网络中包括所述局部特征提取网络、所述全局特征提取网络和所述特征处理网络。

13.根据权利要求12所述的方法，其特征在于，所述获取样本集中的样本图像通过如下步骤获取：

对初始图像集中的初始图像进行预处理，得到扩展图像，所述预处理包括以下至少一项：翻转、缩放、裁剪、平移、旋转、插值；

将所述初始图像和所述扩展图像进行汇总，得到样本图像。

14.一种用于图像增强的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，所述程序被一个或者一个以上处理器执行时，实现权利要求1-9中任一所述方法的步骤。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images