CN107948529B - 图像处理方法及装置 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法及装置，其中方法包括：获取待处理图像，将待处理图像输入至图像处理模型，调用图像处理模型中的编码单元，对待处理图像进行编码，得到待处理图像对应的特征图；确定待处理图像对应的目标风格；在图像处理模型包含的多个处理单元中，选取目标风格对应的目标处理单元，调用目标处理单元按照目标风格对特征图进行风格化处理，得到处理后的特征图；其中，每个处理单元对应一种图像风格；调用图像处理模型中的解码单元，对处理后的特征图进行解码，得到待处理图像对应的风格化图像。通过本实施例，能够对图像的显示效果进行调节，使图像满足用户的显示要求。

Description

图像处理方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

目前，图像拍摄已经成为一种常见的休闲方式，用户可以使用专业的拍摄相机进行拍摄，还可以利用移动终端如手机、平板电脑进行图像拍摄，其中。利用移动终端进行图像拍摄基于其方便、快捷、无需携带专业设备的优势，已经成为越来越多用户的选择。

受到图像拍摄时拍摄光线、拍摄场合、拍摄技术等限制，用户拍摄出的图像难以避免存在显示缺陷，达不到用户理想的效果，比如图像亮度过低、曝光过度等。因此，为提高图像质量，有必要提供一种图像处理方法，以对图像的显示效果进行调节，使图像满足用户的显示要求。

发明内容

本申请实施例的目的是提供一种图像处理方法及装置，能够对图像的显示效果进行调节，使图像满足用户的显示要求。

为到达上述目的，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，应用于移动终端，包括：

获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像。

第二方面，本申请实施例提供了一种图像处理装置，应用于移动终端，包括：

编码单元调用模块，用于获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

图像风格确定模块，用于根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

处理单元调用模块，用于在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

解码单元调用模块，用于调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像。

第三方面，本申请实施例提供了一种图像处理设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法的步骤。

通过本申请实施例，可以根据用户指定的目标风格，对待处理图像进行风格化处理，得到待处理图像对应的风格化图像，从而实现对图像的显示效果的调节，使图像满足用户的显示要求。并且，本申请实施例中调用的图像处理模型，包括编码单元、多个处理单元和解码单元，其中每个处理单元对应一种图像风格，因此该图像处理模型对应的多种图像风格的处理单元共享编码单元。待处理图像在经过一次风格化处理后，若用户切换图像风格，则无需对图像进行重复编码，可以直接利用之前编码得到的特征图再次进行风格化处理，从而在用户切换图像风格的场景下，免去了重复的编码过程，提高了图像处理速度。并且，图像处理模型包括编码单元、多个处理单元和解码单元，采用多个处理单元融合，共享编码单元和解码单元的方式，相比于每种图像风格分别配置一个编码单元和一个解码单元的结构，省去了重复的编码单元和解码单元，减小了图像处理模型的体积及数据量，进一步提高了图像处理速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的图像处理方法的流程示意图；

图2为本申请一实施例提供的图像处理模型的结构示意图；

图3为本申请一实施例提供的目标处理单元的结构示意图；

图4为本申请一实施例提供的解码单元的结构示意图；

图5为本申请一实施例提供的图像处理装置的模块组成示意图；

图6为本申请一实施例提供的图像处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为了对图像的显示效果进行调节，使图像满足用户的显示要求，本申请实施例提供了一种图像处理方法和一种图像处理装置，该方法能够应用在移动终端上，由移动终端执行，本申请实施例涉及的移动终端包括但不限于手机、平板电脑、电脑、可穿戴设备等智能终端。

图1为本申请一实施例提供的图像处理方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤S102，获取待处理图像，将待处理图像输入至图像处理模型，调用图像处理模型中的编码单元，对待处理图像进行编码，得到待处理图像对应的特征图；

步骤S104，根据用户的触发操作确定待处理图像对应的目标风格；其中，目标风格为用户触发的图像风格；

步骤S106，在图像处理模型包含的多个处理单元中，实时选取目标风格对应的目标处理单元，并调用目标处理单元按照目标风格对上述特征图进行风格化处理，得到处理后的特征图；其中，每个处理单元对应一种图像风格；

步骤S108，调用图像处理模型中的解码单元，对处理后的特征图进行解码，得到待处理图像对应的风格化图像。

通过本申请实施例，可以根据用户指定的目标风格，对待处理图像进行风格化处理，得到待处理图像对应的风格化图像，从而实现对图像的显示效果的调节，使图像满足用户的显示要求。并且，本申请实施例中调用的图像处理模型，包括编码单元、多个处理单元和解码单元，其中每个处理单元对应一种图像风格，因此该图像处理模型对应的多种图像风格的处理单元共享编码单元。待处理图像在经过一次风格化处理后，若用户切换图像风格，则无需对图像进行重复编码，可以直接利用之前编码得到的特征图再次进行风格化处理，从而在用户切换图像风格的场景下，免去了重复的编码过程，提高了图像处理速度。并且，图像处理模型包括编码单元、多个处理单元和解码单元，采用多个处理单元融合，共享编码单元和解码单元的方式，相比于每种图像风格分别配置一个编码单元和一个解码单元的结构，省去了重复的编码单元和解码单元，减小了图像处理模型的体积及数据量，进一步提高了图像处理速度。

本申请实施例中，风格化处理指的是将待处理图像调整为目标风格的处理方式，目标风格可以来自于艺术画，处理得到的风格化图像包括待处理图像的内容和目标风格。举例，待处理图像为动物图像，目标风格为梵高的经典名画《星空》对应的风格，则通过本实施例中的风格化处理，可以将动物图像处理成《星空》对应的风格，处理得到的风格化图像为具有《星空》风格的动物图像。

图2为本申请一实施例提供的图像处理模型的结构示意图，如图2所示，该图像处理模型包括一个编码单元，多个处理单元和一个解码单元，其中编码单元的输出作为处理单元的输入，处理单元的输出作为解码单元的输入。图2中的处理单元用于实现上述的风格化处理，且每个处理单元对应一种图像风格。图2中，多个处理单元共同组成的整体可以称为残差模块。

上述步骤S102中，待处理图像可以为用户通过移动终端拍摄的图像，移动终端获取待处理图像后，将待处理图像输入至图2中的图像处理模型，并调用图2中的编码单元，对待处理图像进行编码，得到待处理图像对应的特征图，具体地，将待处理图像输入至编码单元，以使编码单元对待处理图像进行编码，将编码单元的输出作为待处理图像对应的特征图。其中，编码单元在对待处理图像进行编码的过程中，会将待处理图像的尺寸放大一定倍数。

上述步骤S104中，移动终端根据用户的触发操作，确定待处理图像对应的目标风格；其中，目标风格为用户触发的图像风格。其中，用户的触发操作可以为选择操作。

具体地，移动终端在获取到待处理图像后，移动终端的屏幕上可以显示多个图像风格以供用户选择，移动终端根据用户的选择操作，将用户首次选择的图像风格，确定为待处理图像对应的目标风格，或者，移动终端在根据用户已经选择的图像风格完成图像处理过程后，将用户再次选择的图像风格，确定为待处理图像对应的目标风格。一个实施例中，移动终端展示多个待选择图像，每个待选择图像对应一种图像风格，用户通过在移动终端的屏幕上点击待选择图像的方式选择图像风格，移动终端将用户选择的图像风格确定为目标风格。

上述步骤S106中，由于图像处理模型中每个处理单元对应一种图像风格，因此移动终端在确定目标风格后，需要在图像处理模型包含的多个处理单元中，选取目标风格对应的目标处理单元，然后，调用目标处理单元按照目标风格对上述特征图进行风格化处理，得到处理后的特征图。其中，由于上述用户的触发操作是实时发生的，因此移动终端可以实时选取目标风格对应的目标处理单元。

其中，每个处理单元对应一种图像风格，且每个处理单元具有所对应的图像风格的处理参数(包括偏移参数和尺度变换参数)，从而处理单元能够根据所对应的处理参数，对特征图进行相应的风格化处理。

上述步骤S106中，调用目标处理单元按照目标风格对特征图进行风格化处理，得到处理后的特征图，具体为：

(1)将特征图输入至图像处理模型的目标处理单元；

(2)将目标处理单元的处理结果，作为处理后的特征图；

其中，目标处理单元用于，按照目标风格，对特征图分别进行第一预设次数的第一卷积运算和第一预设次数的实时归一化处理。

图3为本申请一实施例提供的目标处理单元的结构示意图，如图3所示，目标处理单元包括交替设置的多层第一卷积运算层和多层实时归一化处理层，其中，第一卷积运算层和实时归一化处理层的层数相同，均为第一预设次数。

本实施例中，移动终端将编码得到的特征图输入至目标处理单元，目标处理单元接收到特征图后，将特征图输入至第一层第一卷积运算层，第一卷积运算层对特征图进行第一卷积运算，并将运算结果输入至第一层实时归一化处理层，实时归一化处理层对输入的数据进行实时归一化处理，并将输出的数据输入至下一层的第一卷积运算层，以此重复进行，直至进行第一预设次数的第一卷积运算和第一预设次数的实时归一化处理。移动终端获取最后一层实时归一化处理层的输出结果，将输出结果作为处理后的特征图。

一个具体的实施例中，编码单元编码后得到的特征图为N幅，目标处理单元中，第一层第一卷积运算层具有N个输入通道，每个输入通道对应一幅特征图，第一层第一卷积运算层具有M个输出通道，每个输出通道对应一幅卷积后的特征图，与第一层第一卷积运算层相接的第一层实时归一化处理层具有M个输入通道，每个输入通道对应一幅卷积后的特征图，第一层实时归一化处理层具有P个输出通道，每个输出通道对应一幅实时归一化处理后的特征图。其中，N、M、P均为整数。按照这种方式，第一卷积运算层的输入通道的数量，等于向其传送的特征图的数量，实时归一化处理层的输入通道的数量，等于向其传送的特征图的数量，从而保证特征图在各个第一卷积运算层和各个实时归一化处理层中传输处理。

本实施例中，每个处理单元中，第一卷积运算层和实时归一化处理层的层数相同，均为第一预设次数，也即，每个处理单元均能够对输入数据进行第一预设次数的第一卷积运算和第一预设次数的实时归一化处理。其中，第一预设次数是在训练处理单元的过程中确定的数值，其大小决定处理单元的处理精度和处理速度，第一预设次数的大小可以采用以下方式设定：

(1)获取训练样本图，调用图像处理模型中的编码单元，分别对训练样本图进行编码，得到训练样本图对应的样本特征图；

(2)对样本特征图依次进行第一卷积运算和实时归一化处理，得到第一处理结果；

(3)根据预设的损失函数，计算第一处理结果与预设处理结果之间的损失差值；其中，预设的损失函数为内容损失函数、风格损失函数和整体方差损失函数的线性组合；

(4)重复执行上述第一卷积运算、实时归一化处理、损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值的大小关系满足预设大小要求；

(5)将重复上述第一卷积运算、实时归一化处理、损失差值计算的步骤所对应的次数，确定为第一预设次数。

动作(1)中，获取训练样本图，训练样本图可以由人工整理得到。然后，调用图像处理模型中的编码单元，对训练样本图进行编码，得到训练样本图对应的样本特征图。

动作(2)中，对样本特征图依次进行第一卷积运算和实时归一化处理，得到第一处理结果，也即，利用处理单元中的第一卷积运算和实时归一化处理，对样本特征图进行处理，得到第一处理结果，该第一处理结果可以看作模拟处理单元的处理方式得到的处理结果。

动作(3)中，预设处理结果可以为VGG16模型对样本特征图进行处理的处理结果。预设的损失函数为：

L_perceptual＝αL_style+βL_content+γL_tv

其中，L_perceptual为预设的损失函数，L_style为风格损失函数(通过Vgg16网络计算得到)，L_content为内容损失函数，L_tv为整体方差损失函数，α、β、γ为各项函数的权重，为用于控制输出的图像的风格化程度的参数，其具体值可以根据经验设置。

上述公式中，

其中，P和F分别表示第一处理结果和预设处理结果，l表示当前运算的次数，k表示特征图序号，减法是矩阵元素减，i，j是矩阵坐标，M根据经验确定，可以为第l次运算时P和F的所有特征图的欧式距离之和。

上述公式中，

其中，P和F分别表示第一处理结果和预设处理结果，l表示当前运算的次数，w_l表示第l次运算时特征损失的权重参数(一般各次是相等的)，k表示特征图序号，乘法是矩阵元素乘法，生成的Gram矩阵是一种未中心化的协方差矩阵，i，j是矩阵坐标，N根据经验确定。

上述公式中，

其中，(x_i,j+1-x_i,j)²和(x_i+1,j-x_i,j)²分别表示特征图像在水平方向和垂直方向的梯度，i，j是矩阵坐标，x为坐标(i，j)的值，β为系数，通常取1。

在预设的损失函数中增加整体方差损失函数，可以提高风格化图片的空间平滑程度，提高处理单元输出的图像的空间平滑程度。

通过上述动作(3)，能够根据预设的损失函数，计算第一处理结果与预设处理结果之间的损失差值，该损失差值为内容损失函数、风格损失函数和整体方差损失函数计算得到的结果分别乘以各自的权重后的加和。

上述动作(4)中，重复执行第一卷积运算、实时归一化处理、损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值的大小关系满足预设大小要求。

具体地，计算一次损失差值后，再次对第一处理结果依次进行第一卷积运算和实时归一化处理，得到第二处理结果，并计算第二处理结果与预设处理结果之间的损失差值，然后，再对第二处理结果依次进行第一卷积运算和实时归一化处理，如此重复，直至当次计算得到的损失差值与前次计算得到的损失差值的大小关系满足预设大小要求，比如，当次计算得到的损失差值与前次计算得到的损失差值的大小相等，或，当次计算得到的损失差值与前次计算得到的损失差值的差值，在预定差值范围内。

当次计算得到的损失差值与前次计算得到的损失差值的大小关系满足预设大小要求，说明对样本特征图重复多次第一卷积运算和实时归一化处理后，其处理结果与预设处理结果之间的损失差值趋于平稳，说明处理单元训练完成。

上述动作(5)中，将重复上述第一卷积运算、实时归一化处理、损失差值计算的步骤所对应的次数，确定为第一预设次数，这里重复上述第一卷积运算、实时归一化处理、损失差值计算的步骤所对应的次数，即为执行上述第一卷积运算、实时归一化处理、损失差值计算的步骤所对应的次数。比如，在执行5次上述第一卷积运算、实时归一化处理、损失差值计算的步骤时，确定当次计算得到的损失差值与前次计算得到的损失差值的大小关系满足预设大小要求，则确定第一预设次数设置为5次。通过本实施例，能够保证处理单元在对特征图进行处理时，经过多次运算过程后得到的处理结果相对于预设处理结果之间的损失差值趋于平稳，从而得到准确的处理结果。

上述步骤S108中，调用图像处理模型中的解码单元，对处理后的特征图进行解码，得到待处理图像对应的风格化图像，具体为：

(1)将处理后的特征图输入至解码单元；

(2)将解码单元的处理结果，确定为待处理图像对应的风格化图像；

其中，解码单元用于，基于最近临采样的方式对处理后的特征图进行放大处理，以及对放大后的处理后的特征图进行第二卷积运算，生成中间图像。

具体地，将处理后的特征图输入至解码单元，将解码单元的处理结果，确定为待处理图像对应的风格化图像，风格化图像结合了待处理图像的内容和目标风格。

解码单元在接收到处理后的特征图后，首先基于最近临采样的方式对处理后的特征图进行放大处理，以及对放大后的特征图进行第二卷积运算。图4为本申请一实施例提供的解码单元的结构示意图，如图4所示，解码单元包括两层放大处理层，两层第二卷积运算层，放大处理层和第二卷积运算层交替设置。

图4中，解码单元在接收到处理后的特征图后，利用第一层放大处理层，对处理后的特征图进行放大处理，利用第一层第二卷积运算层对放大结果进行第二卷积，然后再利用第二层放大处理层对卷积结果进行放大，继而再利用第二层第二卷积运算层对放大结果进行第二卷积，至此，得到中间图像。

在其他实施例中，解码单元中可以设置其他层数的放大处理层和第二卷积运算层，具体数量可以根据场景需求确定，保证放大处理层和第二卷积运算层交替设置相同层数即可。

本实施例中，解码单元采用最近邻采样放大和卷积相结合的方式取代常见的反卷积，能够在保证输出的风格化图像的尺寸与待处理图像的尺寸相同的同时，避免输出的风格化图像具有棋盘格效应，棋盘格效应指的是图像中存在某个区域的边界不平滑，与其他区域没能平滑相接。

本实施例中，解码单元生成中间图像后，还确定中间图像的各个像素块的像素值的平均值和方差，根据该平均值和方差，分别对中间图像的各个像素块对应的像素值进行归一化调整。

具体调整方式为，

其中，A为每个像素块调整后的像素值，B为每个像素块调整前的像素值，P为上述平均值，Q为上述方差。本实施例中，还可以采用相同的办法对中间图像的亮度值和对比度值均做归一化调整。

本实施例中，解码单元对中间图像进行像素值归一化调整，能够避免输出的风格化图像存在黑色块的情况。

一个实施例中，解码单元将中间图像作为处理结果输出，则风格化图像即为中间图像。

另一个实施例中，解码单元将像素值归一化调整后的中间图像作为处理结果输出，则风格化图像即为像素值归一化调整后的中间图像。

又一个实施例中，解码单元将像素值、亮度值和对比度值均归一化调整后的中间图像作为处理结果输出，则风格化图像即为像素值、亮度值和对比度值均归一化调整后的中间图像。

本实施例中，上述目标处理单元用到的第一卷积运算和解码单元用到的第二卷积运算，均包括深度可分离的卷积运算(Depth Wise Separable Convolutions)和逐像素可分离的卷积运算(Point Wise Separable Convolutions)，采用深度可分离的卷积运算和逐像素可分离的卷积运算替换常规的卷积运算，能够大大提高卷积速度，大大减小图像处理模型的尺寸，并得到相同的特征表达，通常，当卷积核大小为9时，可以将模型计算量和模型尺寸减少为原来的九分之一。

利用本申请实施例中的图像处理方法，还能够对待处理图像的不同区域进行不同的风格化处理，具体地，上述步骤S104中，确定待处理图像对应的目标风格，具体为：将待处理图像划分为多个图像单元，分别确定每个图像单元各自对应的目标风格。

具体地，用户可以在移动终端上对待处理图像进行分割，分成多个图像单元，移动终端在接收到用户的图像分割信息后，根据该图像分割信息，将待处理图像划分为多个图像单元，并将用户为每个图像单元选择的目标风格，分别确定为每个图像单元各自对应的目标风格。

相应地，上述步骤S106中，在图像处理模型包含的多个处理单元中，选取目标风格对应的目标处理单元，调用目标处理单元按照目标风格对特征图进行风格化处理，得到处理后的特征图，包括：

(1)在图像处理模型包含的多个处理单元中，选取每个图像单元各自对应的目标风格所对应的目标处理单元；

(2)从上述特征图中，提取得到每个图像单元各自对应的单元特征图；

(3)调用选取的各个目标处理单元，按照各自对应的图像风格，分别对相应的单元特征图各自进行风格化处理，得到处理后的特征图。

具体地，移动终端在将待处理图像划分为多个图像单元后，在图像处理模型包含的多个处理单元中，选取每个图像单元各自对应的目标风格所对应的目标处理单元，并且，从待处理图像的特征图中，提取得到每个图像单元各自对应的单元特征图，最后，调用选取的各个目标处理单元，按照各自对应的图像风格，分别对相应的单元特征图进行风格化处理，得到处理后的特征图，目标处理单元对相应的单元特征图进行风格化处理的过程同上面对步骤S106的解释，这里不再赘述。

可见，由于图像处理模型中的各个处理单元共享编码单元，因此通过本申请实施例中的方法，能够对同一待处理图像的各个区域进行不同的风格化处理，从而实现图像不同部分进行不同的风格变化的效果，丰富图像处理的多样性。

综上，本申请实施例至少具有以下有益效果：

(1)图像处理模型中编码过程和风格化处理过程独立开，多个处理单元共用编码单元和解码单元，大大缩小模型体积，并提高了图像处理速度，非常适合应用在移动终端；

(2)图像处理模型中包括多个处理单元，每个处理单元对应一种图像风格，对于用户指定的图像风格，只需要调用相应的处理单元即可，从而通过同一个图像处理模型实现多种图像风格的处理；

(3)在用户切换图像风格时，由于多个处理单元共用一个编码单元，因此无需对图像进行重复编码，只需要利用前次编码得到的特征图直接进行风格化处理即可，大大节省图像计算量；

(4)由于图像处理模型中，多个处理单元共用一个编码单元，因此可以对同一图像的不同区域进行不同的风格化处理，提高风格化处理的多样性。

对应上述的方法，本申请实施例还提供了一种图像处理装置，图5为本申请一实施例提供的图像处理装置的模块组成示意图，如图5所示，该装置包括：

编码单元调用模块51，用于获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

图像风格确定模块52，用于根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

处理单元调用模块53，用于在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

解码单元调用模块54，用于调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像。

可选地，所述处理单元调用模块53具体用于：

将所述特征图输入至所述图像处理模型中的所述目标处理单元；

将所述目标处理单元的处理结果，作为处理后的特征图；

其中，所述目标处理单元用于，按照所述目标风格，对所述特征图分别进行第一预设次数的第一卷积运算和实时归一化处理。

可选地，该装置还包括训练模块，用于：

获取训练样本图，调用所述图像处理模型中的编码单元，分别对所述训练样本图进行编码，得到所述训练样本图对应的样本特征图；

对所述样本特征图依次进行所述第一卷积运算和所述实时归一化处理，得到第一处理结果；

根据预设的损失函数，计算所述第一处理结果与预设处理结果之间的损失差值；其中，所述预设的损失函数为内容损失函数、风格损失函数和整体方差损失函数的线性组合；

重复执行所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值满足预设大小要求；

将重复所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤所对应的次数，确定为所述第一预设次数。

可选地，所述解码单元调用模块54具体用于：

将所述处理后的特征图输入至所述解码单元；

将所述解码单元的处理结果，确定为所述待处理图像对应的风格化图像；

其中，所述解码单元用于，基于最近临采样的方式对所述处理后的特征图进行放大处理，以及对放大后的所述处理后的特征图进行第二卷积运算，生成中间图像。

可选地，所述解码单元调用模块54还具体用于

在生成所述中间图像之后，确定所述中间图像的各个像素块的像素值的平均值和方差；

根据所述平均值和所述方差，分别对所述中间图像的各个像素块对应的像素值进行归一化调整。

可选地，

所述图像风格确定模块52具体用于：

将所述待处理图像划分为多个图像单元，分别确定每个所述图像单元各自对应的目标风格；

所述处理单元调用模块53具体用于：

在所述图像处理模型包含的多个处理单元中，选取每个所述图像单元各自对应的目标风格所对应的目标处理单元；

从所述特征图中，提取得到每个所述图像单元各自对应的单元特征图；

调用选取的各个所述目标处理单元，按照各自对应的图像风格，分别对相应的所述单元特征图各自进行风格化处理，得到处理后的特征图。

可选地，所述第一卷积运算包括深度可分离的卷积运算和逐像素可分离的卷积运算。

通过本申请实施例，可以根据用户指定的目标风格，对待处理图像进行风格化处理，得到待处理图像对应的风格化图像，从而实现对图像的显示效果的调节，使图像满足用户的显示要求。并且，本申请实施例中调用的图像处理模型，包括编码单元、多个处理单元和解码单元，其中每个处理单元对应一种图像风格，因此该图像处理模型对应的多种图像风格的处理单元共享编码单元。待处理图像在经过一次风格化处理后，若用户切换图像风格，则无需对图像进行重复编码，可以直接利用之前编码得到的特征图再次进行风格化处理，从而在用户切换图像风格的场景下，免去了重复的编码过程，提高了图像处理速度。并且，图像处理模型包括编码单元、多个处理单元和解码单元，采用多个处理单元融合，共享编码单元和解码单元的方式，相比于每种图像风格分别配置一个编码单元和一个解码单元的结构，省去了重复的编码单元和解码单元，减小了图像处理模型的体积及数据量，进一步提高了图像处理速度。

进一步地，基于上述的方法，本申请实施例还提供了一种图像处理设备，图6为本申请一实施例提供的图像处理设备的结构示意图。

如图6所示，图像处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对图像处理设备中的一系列计算机可执行指令。更进一步地，处理器701可以设置为与存储器702通信，在图像处理设备上执行存储器702中的一系列计算机可执行指令。图像处理设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上输入输出接口705，一个或一个以上键盘706等。

在一个具体的实施例中，图像处理设备包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，具体包括以下步骤：

获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像。

可选地，计算机可执行指令在被执行时，调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图，包括：

将所述特征图输入至所述图像处理模型中的所述目标处理单元；

将所述目标处理单元的处理结果，作为处理后的特征图；

其中，所述目标处理单元用于，按照所述目标风格，对所述特征图分别进行第一预设次数的第一卷积运算和实时归一化处理。

可选地，计算机可执行指令在被执行时，还包括：

获取训练样本图，调用所述图像处理模型中的编码单元，分别对所述训练样本图进行编码，得到所述训练样本图对应的样本特征图；

对所述样本特征图依次进行所述第一卷积运算和所述实时归一化处理，得到第一处理结果；

根据预设的损失函数，计算所述第一处理结果与预设处理结果之间的损失差值；其中，所述预设的损失函数为内容损失函数、风格损失函数和整体方差损失函数的线性组合；

重复执行所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值满足预设大小要求；

将重复所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤所对应的次数，确定为所述第一预设次数。

可选地，计算机可执行指令在被执行时，调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像，包括：

将所述处理后的特征图输入至所述解码单元；

将所述解码单元的处理结果，确定为所述待处理图像对应的风格化图像；

其中，所述解码单元用于，基于最近临采样的方式对所述处理后的特征图进行放大处理，以及对放大后的所述处理后的特征图进行第二卷积运算，生成中间图像。

可选地，计算机可执行指令在被执行时，所述解码单元在生成所述中间图像之后，还包括：

确定所述中间图像的各个像素块的像素值的平均值和方差；

根据所述平均值和所述方差，分别对所述中间图像的各个像素块对应的像素值进行归一化调整。

可选地，计算机可执行指令在被执行时，

确定所述待处理图像对应的目标风格，包括：

将所述待处理图像划分为多个图像单元，分别确定每个所述图像单元各自对应的目标风格；

调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，包括：

在所述图像处理模型包含的多个处理单元中，选取每个所述图像单元各自对应的目标风格所对应的目标处理单元；

从所述特征图中，提取得到每个所述图像单元各自对应的单元特征图；

调用选取的各个所述目标处理单元，按照各自对应的图像风格，分别对相应的所述单元特征图各自进行风格化处理，得到处理后的特征图。

可选地，计算机可执行指令在被执行时，所述第一卷积运算包括深度可分离的卷积运算和逐像素可分离的卷积运算。

通过本申请实施例，可以根据用户指定的目标风格，对待处理图像进行风格化处理，得到待处理图像对应的风格化图像，从而实现对图像的显示效果的调节，使图像满足用户的显示要求。并且，本申请实施例中调用的图像处理模型，包括编码单元、多个处理单元和解码单元，其中每个处理单元对应一种图像风格，因此该图像处理模型对应的多种图像风格的处理单元共享编码单元。待处理图像在经过一次风格化处理后，若用户切换图像风格，则无需对图像进行重复编码，可以直接利用之前编码得到的特征图再次进行风格化处理，从而在用户切换图像风格的场景下，免去了重复的编码过程，提高了图像处理速度。并且，图像处理模型包括编码单元、多个处理单元和解码单元，采用多个处理单元融合，共享编码单元和解码单元的方式，相比于每种图像风格分别配置一个编码单元和一个解码单元的结构，省去了重复的编码单元和解码单元，减小了图像处理模型的体积及数据量，进一步提高了图像处理速度。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，应用于移动终端，包括：

获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像，处理得到的风格化图像包括待处理图像的内容和目标风格；

其中，调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图，包括：

将所述特征图输入至所述图像处理模型中的所述目标处理单元；

将所述目标处理单元的处理结果，作为处理后的特征图；

其中，所述目标处理单元包括交替设置的多层第一卷积运算层和多层实时归一化处理层，所述目标处理单元用于，按照所述目标风格，对所述特征图分别进行第一预设次数的第一卷积运算和实时归一化处理。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取训练样本图，调用所述图像处理模型中的编码单元，分别对所述训练样本图进行编码，得到所述训练样本图对应的样本特征图；

对所述样本特征图依次进行所述第一卷积运算和所述实时归一化处理，得到第一处理结果；

根据预设的损失函数，计算所述第一处理结果与预设处理结果之间的损失差值；其中，所述预设的损失函数为内容损失函数、风格损失函数和整体方差损失函数的线性组合；

重复执行所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值满足预设大小要求；

将重复所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤所对应的次数，确定为所述第一预设次数。

3.根据权利要求1所述的方法，其特征在于，调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像，包括：

将所述处理后的特征图输入至所述解码单元；

将所述解码单元的处理结果，确定为所述待处理图像对应的风格化图像；

其中，所述解码单元用于，基于最近临采样的方式对所述处理后的特征图进行放大处理，以及对放大后的所述处理后的特征图进行第二卷积运算，生成中间图像。

4.根据权利要求3所述的方法，其特征在于，所述解码单元在生成所述中间图像之后，还包括：

确定所述中间图像的各个像素块的像素值的平均值和方差；

根据所述平均值和所述方差，分别对所述中间图像的各个像素块对应的像素值进行归一化调整。

5.根据权利要求1所述的方法，其特征在于，确定所述待处理图像对应的目标风格，包括：

将所述待处理图像划分为多个图像单元，分别确定每个所述图像单元各自对应的目标风格；

调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，包括：

在所述图像处理模型包含的多个处理单元中，选取每个所述图像单元各自对应的目标风格所对应的目标处理单元；

从所述特征图中，提取得到每个所述图像单元各自对应的单元特征图；

调用选取的各个所述目标处理单元，按照各自对应的图像风格，分别对相应的所述单元特征图各自进行风格化处理，得到处理后的特征图。

6.根据权利要求2所述的方法，其特征在于，所述第一卷积运算包括深度可分离的卷积运算和逐像素可分离的卷积运算。

7.一种图像处理装置，其特征在于，应用于移动终端，包括：

编码单元调用模块，用于获取待处理图像，将所述待处理图像输入至图像处理模型，调用所述图像处理模型中的编码单元，对所述待处理图像进行编码，得到所述待处理图像对应的特征图；

图像风格确定模块，用于根据用户的触发操作确定所述待处理图像对应的目标风格；其中，所述目标风格为用户触发的图像风格；

处理单元调用模块，用于在所述图像处理模型包含的多个处理单元中，实时选取所述目标风格对应的目标处理单元，并调用所述目标处理单元按照所述目标风格对所述特征图进行风格化处理，得到处理后的特征图；其中，每个所述处理单元对应一种图像风格；

解码单元调用模块，用于调用所述图像处理模型中的解码单元，对所述处理后的特征图进行解码，得到所述待处理图像对应的风格化图像，处理得到的风格化图像包括待处理图像的内容和目标风格；

所述处理单元调用模块具体用于：

将所述特征图输入至所述图像处理模型中的所述目标处理单元；

将所述目标处理单元的处理结果，作为处理后的特征图；

其中，所述目标处理单元包括交替设置的多层第一卷积运算层和多层实时归一化处理层，所述目标处理单元用于，按照所述目标风格，对所述特征图分别进行第一预设次数的第一卷积运算和实时归一化处理。

8.根据权利要求7所述的装置，其特征在于，还包括训练模块，用于：

获取训练样本图，调用所述图像处理模型中的编码单元，分别对所述训练样本图进行编码，得到所述训练样本图对应的样本特征图；

对所述样本特征图依次进行所述第一卷积运算和所述实时归一化处理，得到第一处理结果；

根据预设的损失函数，计算所述第一处理结果与预设处理结果之间的损失差值；其中，所述预设的损失函数为内容损失函数、风格损失函数和整体方差损失函数的线性组合；

重复执行所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤，直至当次计算得到的损失差值与前次计算得到的损失差值满足预设大小要求；

将重复所述第一卷积运算、所述实时归一化处理、所述损失差值计算的步骤所对应的次数，确定为所述第一预设次数。

9.根据权利要求7所述的装置，其特征在于，所述解码单元调用模块具体用于：

将所述处理后的特征图输入至所述解码单元；

将所述解码单元的处理结果，确定为所述待处理图像对应的风格化图像；

其中，所述解码单元用于，基于最近临采样的方式对所述处理后的特征图进行放大处理，以及对放大后的所述处理后的特征图进行第二卷积运算，生成中间图像。

10.根据权利要求9所述的装置，其特征在于，所述解码单元调用模块还具体用于：

在生成所述中间图像之后，确定所述中间图像的各个像素块的像素值的平均值和方差；

根据所述平均值和所述方差，分别对所述中间图像的各个像素块对应的像素值进行归一化调整。

11.根据权利要求7所述的装置，其特征在于，

所述图像风格确定模块具体用于：

将所述待处理图像划分为多个图像单元，分别确定每个所述图像单元各自对应的目标风格；

所述处理单元调用模块具体用于：

在所述图像处理模型包含的多个处理单元中，选取每个所述图像单元各自对应的目标风格所对应的目标处理单元；

从所述特征图中，提取得到每个所述图像单元各自对应的单元特征图；

调用选取的各个所述目标处理单元，按照各自对应的图像风格，分别对相应的所述单元特征图各自进行风格化处理，得到处理后的特征图。

Images