CN111652242B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，其特征在于，所述方法包括：获得待处理的第一类型图像；将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，对图像进行识别、分类时，通常会先训练出一个深度神经网络模型，利用训练得到的模型作为图像处理模型对图像进行处理，以完成图像的识别和分类。

在训练一个图像处理模型时，需要经过采集样本图像、标注样本图像、利用样本图像对模型训练的训练流程，一个图像处理处理模型被训练得到后，便只能用于对与样本图像同类型的图像进行处理。

相关技术中，图像的类型多种多样，为了能实现对不同类型的图像进行处理，一般是针对每一种类型的图像训练一个图像处理模型，即，每一种类型的图像都能有与其类型匹配的图像处理模型。采用此种方式时，针对同一个图像处理任务也会有多种类型不同的图像处理模型。例如，同样是进行图像分类任务，则会有用于红外泛光类型的图像分类的图像处理模型和用于散斑红外类型的图像分类的图像处理模型。而得到每一种图像处理模型都要经过一个完整的训练流程，这样，要实现利用不同的图像处理模型处理不同类型的图像时，便需要训练多种类型的图像处理模型，导致时间耗费过大、训练成本过高的问题。

发明内容

鉴于上述问题，提出了本发明实施例提出了一种图像处理方法、装置、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种图像处理方法，所述方法包括：

获得待处理的第一类型图像；

将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；

将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；

其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的。

可选地，所述转换模型是按照以下步骤训练得到的：

将样本图像输入预设模型，得到所述样本图像对应的目标第二类型图像；

根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值；

根据所述损失值，对所述预设模型进行迭代更新，得到所述转换模型。

可选地，根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值，包括：

确定所述目标第二类型图像中各像素点的第一像素平均值，以及所述第二类型样本图像中各像素点的第二像素平均值；

根据所述目标第二类型图像中各像素点的像素值、所述第一像素平均值、所述第二类型样本图像中各像素点的像素值、所述第二像素平均值，确定所述预设模型对应的损失值。

可选地，所述预设模型对应的损失值是按照以下公式确定的：

其中，L表示所述预设模型对应的损失值，x_i,j,α表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的像素值，x_i,j,mean表示所述第j个样本图像对应的目标第二类型图像中各像素点的第一像素平均值；x^ori _i,j,α表示所述第j个样本图像对应的第二类型样本图像中各像素点的像素值，x^ori _i,j,mean表示所述第j个样本图像对应的第二类型样本图像中各像素点的第二像素平均值；N_batch表示批次总数，N_j表示单个批次包括的样本图像对的总数，N_pix表示单张样本图像包括的像素点的总数。

可选地，所述转换模型包括多个下采样分支；将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，包括：

将所述待处理的第一类型图像输入所述转换模型，通过所述转换模型的多个下采样分支，对所述待处理的第一类型图像进行多种尺度的特征提取操作，得到多个不同尺度的图像特征；

将所述多个不同尺度的图像特征与所述待处理的第一类型图像的原始图像特征融合，得到所述待处理的第二类型图像。

可选地，将所述待处理的第二类型图像输入图像处理模型，以得到处理结果，包括：

在所述图像处理模型为人脸识别模型的情况下，通过所述人脸识别模型对所述待处理的第二类型图像进行识别，得到所述待处理的第二类型图像与预设人脸图像库中各人脸图像的比对结果；或

在所述图像处理模型为人脸验证模型的情况下，将所述待处理的第二类型图像与目标人脸输入人脸验证模型，以确定所述待处理的第二类型图像与所述目标人脸是否来自同一人脸；

在所述图像处理模型为人脸聚类模型的情况下，将所述待处理的第二类型图像输入人脸聚类模型，以确定所述待处理的第二类型图像所属的类别。

可选地，所述多个样本图像对中的任一样本图像对是通过以下步骤得到的：

在两种不同光照条件下对同一样本对象进行多次图像采集，其中第一种光照条件对应第一类型，第二种光照条件对应第二类型；

将在第一光照条件下采集到的一张样本图像确定为第一类型样本图像，将在第二光照条件下采集到的一张样本图像确定为第二类型样本图像。

可选地，所述第一类型为散斑红外类型，所述第二类型为泛光红外类型；所述第一种光照条件为泛光红外光源关闭且散斑红外光源开启的条件，所述第二种光照条件为泛光红外光源开启且散斑红外光源关闭的条件。

本发明实施例的第二方面，提供了一种图像处理装置，包括：

图像获得模块，用于获得待处理的第一类型图像；

图像转换模块，用于将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；

图像处理模块，用于将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；

其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的。

可选地，所述装置还包括模型训练模块，所述模型训练模块用于训练得到转换模型，所述模型训练模块可以包括：

样本输入单元，用于将样本图像输入预设模型，得到所述样本图像对应的目标第二类型图像；

损失计算单元，用于根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值；

参数更新单元，用于根据所述损失值，对所述预设模型进行迭代更新，得到所述转换模型。

可选地，所述损失计算单元具体可以包括：

像素值计算单元，用于确定所述目标第二类型图像中各像素点的第一像素平均值，以及所述第二类型样本图像中各像素点的第二像素平均值；

损失值确定单元，用于根据所述目标第二类型图像中各像素点的像素值、所述第一像素平均值、所述第二类型样本图像中各像素点的像素值、所述第二像素平均值，确定所述预设模型对应的损失值。

可选地，所述损失值确定单元，具体用于按照以下公式确定所述预设模型对应的损失值：

其中，L表示所述预设模型对应的损失值，x_i,j,α表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的像素值，x_i,j,mean表示所述第j个样本图像对应的目标第二类型图像中各像素点的第一像素平均值；x^ori _i,j,α表示所述第j个样本图像对应的第二类型样本图像中各像素点的像素值，x^ori _i,j,mean表示所述第j个样本图像对应的第二类型样本图像中各像素点的第二像素平均值；N_batch表示批次总数，N_j表示单个批次包括的样本图像对的总数，N_pix表示单张样本图像包括的像素点的总数。

可选地，所述转换模型包括多个下采样分支；所述图像转换模块，包括：

特征提取单元，用于将所述待处理的第一类型图像输入所述转换模型，通过所述转换模型的多个下采样分支，对所述待处理的第一类型图像进行多种尺度的特征提取操作，多个不同尺度的图像特征；

图像融合单元，用于将所述多个不同尺度的图像特征与所述待处理的第一类型图像的原始图像特征融合，得到所述待处理的第二类型图像。

可选地，所述图像处理模块，包括：

第一处理单元，用于在所述图像处理模型为人脸识别模型的情况下，通过所述人脸识别模型对所述待处理的第二类型图像进行识别，得到所述待处理的第二类型图像与预设人脸图像库中各人脸图像的比对结果；

第二处理单元，用于在所述图像处理模型为人脸验证模型的情况下，将所述待处理的第二类型图像与目标人脸输入人脸验证模型，以确定所述待处理的第二类型图像与所述目标人脸是否来自同一人脸；

第三处理单元，用于在所述图像处理模型为人脸聚类模型的情况下，将所述待处理的第二类型图像输入人脸聚类模型，以确定所述待处理的第二类型图像所属的类别。

可选地，所述模型训练模块还可以包括以下单元：

图像采集单元，用于在两种不同光照条件下对同一样本对象进行多次图像采集，其中第一种光照条件对应第一类型，第二种光照条件对应第二类型；

图像组合单元，用于将在第一光照条件下采集到的一张样本图像确定为第一类型样本图像，将在第二光照条件下采集到的一张样本图像确定为第二类型样本图像。

可选地，所述第一类型为散斑红外类型，所述第二类型为泛光红外类型；所述第一种光照条件为泛光红外光源关闭且散斑红外光源开启的条件，所述第二种光照条件为泛光红外光源开启且散斑红外光源关闭的条件。

本发明实施例的第三方面，还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本实施例第一方面所述的图像处理方法。

本发明实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例第一方面所述的图像处理方法。

本发明实施例包括以下优点：

在本发明实施例中，将待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，其中，转换模型用于将图像的类型由第一类型转换为第二类型，之后，将待处理的第二类型图像输入图像处理模型，以得到对第二类型图像进行处理的处理结果。由于转换模型可以用于将图像的类型由第一类型转换为第二类型，使得在需要需要处理的图像类型为第一类型，却没有针对第一类型的图像进行处理的模型的情况下，可以通过转换模型，将图像的类型由第一类型转换为第二类型，进而可以复用已有的图像处理模型对待处理的图像进行处理，从而避免针对第一类型的图像专门训练用于处理第一类型的图像的图像处理模型，进而降低了训练图像处理模型的成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中图像处理方法的技术构思示意图；

图2是本发明一实施例中图像处理方法的步骤流程图；

图3示出了本发明一实施例中在两种光照条件下分别采集的样本图像的示意图；

图4是本发明一实施例中对预设模型进行训练以得到转换模型的步骤流程图；

图5是本发明一实施例中图像处理装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明为了降低针对多种类型的图像训练多个图像处理模型的成本，提出了在已有的图像处理模型之前连接转换模型，以通过转换模型将不同类型的图像转换成与图像处理模型适配的图像，从而可以复用已有的图像处理模型，以节约模型训练的成本。

参照图1所示，示出了本发明的整体技术构思示意图。如图1所示，可以将散斑人脸图像101输入到转换模型中，得到红外人脸图像102，之后，将红外人脸图像102输入到已有的人脸识别模型中，以对红外人脸图像102进行识别。如此，便无需重新训练一个针对散斑人脸图像101进行识别的人脸识别模型，进而可以节约模型训练成本。

结合图1所示的技术构思示意图，对本发明的图像处理方法进行详细介绍。

参照图2所示，示出了本发明实施例的图像处理方法的步骤流程图。如图2所示，具体可以包括以下步骤：

步骤S201：获得待处理的第一类型图像。

本实施例中，待处理的第一类型图像可以是指人脸图像，也可以是指指纹图像或物体图像。其中，第一类型可以是指待处理的图像的类型，该类型可以表征图像在被采集时的光照条件或采集设备的种类。例如，采集待处理的图像时所使用的设备是红外摄像头，则待处理的图像的类型为泛光红外类型。又例如，在采集待处理的图像时所处的光照条件是具有散斑的红外光照条件时，则待处理的图像的类型为散斑红外类型。

步骤S202：将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像。

其中，所述转换模型用于将图像的类型由第一类型转换为第二类型。且所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的。

本实施例中，可以将待处理的第一类型图像输入转换模型，以得到转换模型输出的第二类型图像。具体地，第二类型图像可以理解为是从第一类型图像中去除了一种类型特征后的图像，例如，第一类型图像为散斑红外类型的图像时，在该散斑红外类型的图像中具有散斑特征，则经过转换模型后，可以将散斑红外类型的图像中的散斑特征去除，进而得到没有散斑的正常泛光红外类型的图像。

具体实现中，转换模型可以将待处理的第一类型图像转换为适配图像处理模型的第二类型图像，以使得到的第二类型图像与训练第二类型图像时所采用的样本图像的类型相同，即图像处理模型可以对第二类型图像进行识别。

在一种具体实施方式中，具体给出了通过转换模型得到待处理的第二类型图像的过程，在该实施方式中，所述转换模型可以包括多个下采样分支，具体可以包括以下步骤：

步骤S3011：将所述待处理的第一类型图像输入所述转换模型，通过所述转换模型的多个下采样分支，对所述待处理的第一类型图像进行多种尺度的特征提取操作，得到多个不同尺度的图像特征。

本实施方式中，转换模型的网络结构可以是HRnet结构，在该转换模型中可以包括多个下采样分支，在将第一类型图像输入所述转换模型时，转换模型的多个下采样分支便可以对第一类型图像进行多种尺度的下采样，进而得到每个下采样分支输出的经不同尺度下采样后输出的图像特征。由于下采样可以获得更抽象的全局特征，这样，在对第一类型图像进行不同尺度的下采样后，便可以得到不同程度的全局特征。

例如，第一类型图像为散斑红外类型的图像时，通过不同尺度下采样的特征提取，有利于去除该图像中的散斑特征。

步骤S3012：将所述多个不同尺度的图像特征与所述待处理的第一类型图像的原始图像特征融合，得到所述待处理的第二类型图像。

本实施方式中，将不同尺度的图像特征与第一类型图像的原始图像特征融合，可以理解为是：对第一类型图像中与第二类型对应的图像特征进行强化，对第一类型图像中与第一类型对应的图像特征进行去除，从而达到防止分辨率降低又使得第二类型对应的图像特征被保留，进而得到了第二类型图像。

以第一类型图像为散斑红外类型的图像，第二类型图像为红外泛光类型的图像为例，在将散斑红外类型的图像输入到转换模型后，转换模型中的多个下采样分支便可以对散斑红外类型的图像进行多种尺度的下采样，进而得到多个图像特征，在将多个图像特征与散斑红外类型的图像中的原始图像特征进行融合时，便可以得到更抽象的全局红外特征图像，进而得到红外泛光类型的图像。

本实施例中，可以预先采集第一类型样本图像和第二类型样本图像，并以第一类型样本图像和第二类型样本图像为训练样本，对预设模型进行训练，进而得到用于将第一类型的图像转换为第二类型的图像的转换模型。

下面结合一个具体示例，说明如何采集第一类型样本图像和第二类型样本图像，以及如何对转换模型进行训练。在该具体示例中，第一类型为散斑红外类型，第二类型为泛光红外类型。在一种具体实施方式中，可以通过以下步骤采集并获得第一类型样本图像和第二类型样本图像：

步骤S3011：在两种不同光照条件下对同一样本对象进行多次图像采集，其中，第一种光照条件对应第一类型，第二种光照条件对应第二类型。

本实施方式中，样本对象可以是3D打印出的模型，例如，人体模型或人脸模型等。具体实现中，在对同一样本对象进行多次采集时，可以以同一采集角度采集同一样本对象，并且，在第一种光照条件下采集图像与在第二种光照条件下采集图像之间的时间间隔可以小于预设的时间间隔，即相隔很短的时间分别在第一种光照条件下和第二种光照条件下采集样本图像。

采用此种方式时，由于是从同一采集角度以相隔很短的时间采集同一样本对象，进而使得在第一种光照条件下采集的样本图像和在第二种光照条件下采集的样本图像可以是像素对齐的图像。这样，减小了训练难度，使得可以以数量较小的样本图像对便训练出一个转换模型，从而可以降低模型训练成本，提高效率。

步骤S3012：将在第一光照条件下采集到的一张样本图像确定为第一类型样本图像，将在第二光照条件下采集到的一张样本图像确定为第二类型样本图像。

在一种具体实现中，在两种不同光照条件下对同一样本对象进行多次图像采集时，所述第一种光照条件为泛光红外光源关闭且散斑红外光源开启的条件，所述第二种光照条件为泛光红外光源开启且散斑红外光源关闭的条件。

其中，在泛光红外光源关闭且散斑红外光源开启的条件下，对样本对象进行图像采集，得到第一类型样本图像。

本实施方式中，泛光红外光源可以用于提供红外光，散斑红外光源可以用于提供散斑红外光。泛光红外光源关闭且散斑红外光源开启可以理解为是第一光照条件，即在散斑红外光照射的条件下，对样本图像进行拍摄，得到一张样本对象的第一类型样本图像。此种情况下，采集的样本图像便是散斑红外类型的样本图像。

示例地，参照图3所示，图3示出了在两种光照条件下分别采集的样本图像的示意图。如图3所示，在泛光红外光源关闭且散斑红外光源开启的情况下，采集到的散斑红外类型的样本图像可以如图3中的3-2所示。

其中，在泛光红外光源开启且散斑红外光源关闭的条件下，对所述样本对象进行图像采集，得到第二类型样本图像。

本实施方式中，泛光红外光源开启且散斑红外光源关闭可以理解为是第二光照条件，即在泛光红外光源提供红外光的条件下，对样本图像进行拍摄，得到一张样本对象的第二类型样本图像。此种情况下，采集的样本图像便是泛光红外类型的图像。该泛光红外类型的图像可以如图3中的3-1所示，即是正常的红外光类型的图像。

实际中，可以对同一样本对象进行多次采集，以得到针对同一样本对象的多个第一类型样本图像和第二类型样本图像。例如，针对样本对象A，可以采集n个第一类型样本图像和第二类型样本图像。此外，还可以针对多个不同样本对象进行图像采集，以得到每个样本对象所对应的多种第一类型样本图像和第二类型样本图像。

在一种实施例中，可以将在两种不同光照条件分别采集的两张样本图像可以组合为一个样本图像对。并为每组样本图像对设置一个ID，这样，在训练过程中，便可以根据ID确定出每一个第一类型样本图像对应的第二类型样本图像。即用于训练预设模型的样本图像是针对同一样本对象采集的第一类型样本图像和第二类型样本图像。

在采集得到多组第一类型样本图像和第二类型样本图像后，便可以将多个第一类型样本图像输入到预设模型，以对预设模型进行训练。参照图4所示，示出了一实施例中对预设模型进行训练以得到转换模型的步骤流程图，如图4所示，可以包括以下步骤：

步骤S401：将样本图像输入预设模型，得到所述样本图像对应的目标第二类型图像。

本实施方式中，输入到预设模型的样本图像是第一类型样本图像，即可以将多个第一类型样本图像输入到预设模型，以得到与多个样本图像对各自对应的目标第二类型图像，该目标第二类型图像便是预设模型生成的图像。

示例地，如图3所示，图3中的3-1是泛光红外类型的样本图像，图像3-2是散斑红外类型的样本图像，在对预设模型进行训练时，可以将图3中的图像3-2输入到预设模型，以得到与图像3-2对应的目标第二类型图像，该目标第二类型图像可以如图3中的图像3-3所示。

步骤S402：根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值。

本实施方式中，每一个第一类型样本图像都对应一个目标第二类型图像，由于目标第二类型图像是通过预设模型对该第一类型样本图像进行处理后得到的，而第二类型样本图像是与第一类型样本图像针对同一样本对象所采集的图像，则可以根据目标第二类型图像和第二类型样本图像，确定该次训练时预设模型对应的损失值。

其中，第二类型样本图像是真实采集的与第一类型样本图像来自同一样本对象的图像，而该第一类型样本图像所对应的目标第二类型图像是转换模型生成的图像，则预设模型对应的损失值可以表征预设模型生成的目标第二类型图像与真实采集的第二类型样本图像之间的差距，损失值越大，表示差距越明显，即表示预设模型生成的目标第二类型图像的真实度较低。

在一种具体实施方式中，所述预设模型对应的损失值可以按照以下步骤确定：

步骤S4021：确定所述目标第二类型图像中各像素点的第一像素平均值，以及所述第二类型样本图像中各像素点的第二像素平均值。

本实施方式中，在第一类型为散斑红外类型，第二类型为泛光红外类型的情况下，由于采集的第二类型样本图像和目标第二类型图像在亮度上是非***变换，使得学习难度加大，训练效率低下。为了提高模型训练效率，在本实施方式中，在每次训练计算预设模型对应的损失值时，可以忽略图像亮度的变化而只关心图像本身是否相似。

具体实现中，目标第二类型图像中各像素点的第一像素平均值为各像素点的像素值的平均值，其可以表征目标第二类型图像的平均亮度。同理，第二类型样本图像中各像素点的第二像素平均值为各像素点的像素值的平均值，可以表征第二类型样本图像的平均亮度。

步骤S4022：根据所述目标第二类型图像中各像素点的像素值、所述第一像素平均值、所述第二类型样本图像中各像素点的像素值、所述第二像素平均值，确定该预设模型对应的损失值。

本实施方式中，针对每一个第一类型样本图像对应的目标第二类型图像和该第一类型样本图像对应的第二类型样本图像，可以确定相同位置处的目标第二类型图像中的一个像素点和第二类型样本图像中对应的像素点之间的损失值，进而得到各个像素点各自对应的损失值，之后，将各个像素点对应的损失值之和确定为该预设模型对应的损失值。

示例地，以确定相同位置处的目标第二类型图像中的一个像素点(以下称像素点C)和第二类型样本图像中对应的像素点(以下称像素点C')之间的损失值为例，可以先将像素点C的像素值减去第一像素平均值，以及将像素点C'的像素值减去第二像素平均值，这样，便可以忽略掉像素点C与像素点C'的亮度变化。

相应地，在步骤S4022中，所述预设模型对应的损失值可以按照以下公式确定：

其中，L表示所述预设模型对应的损失值，x_i,j,α表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的像素值，x_i,j,mean表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的第一像素平均值；x^ori _i,j,α表示第i个批次中第j个样本图像对应的第二类型样本图像中各像素点的像素值，x^ori _i,j,mean表示第i个批次中第j个样本图像对应的第二类型样本图像中各像素点的第二像素平均值；N_batch表示批次总数，N_j表示单个批次包括的样本图像对的总数，N_pix表示单张样本图像包括的像素点的总数。

本实施方式中，输入到预设模型的样本图像为第一类型样本图像，则上述的第j个样本图像均指所采集的第一类型样本图像，N_batch表示批次总数可以理解为是将多个第一类型样本图像输入到转换模型的次数，例如，有700个样本图像，分7次输入到转换模型，每次输入到转换模型的第一类型样本图像的数量为100个，则N_batch为7，N_j为100。

步骤S403：根据所述损失值，对所述预设模型进行迭代更新，得到转换模型。

本实施方式中，可以根据每一批次输入到转换模型的多个第一类型样本图像而确定预设模型对应的损失值，进而根据该损失值，对预设模型中的模型参数进行迭代更新。例如，每次输入到转换模型的第一类型样本图像的数量为100个，则可以确定该次训练时预设模型对应的损失值，并根据该损失值，对预设模型的参数进行更新。

本实施方式中，迭代更新是指在每次更新时，都是在前一次更新的基础上，对预设模型的参数进行更新。具体实现中，可以在预设模型对应的损失值小于预设损失值时，确定训练结束，此种情况下，表征经预设模型输出的第二类型目标图像与第二类型样本图像之间的差距很小，即预设模型生成的第二类型目标图像的真实度较高。则可以确定预设模型已经被训练好，进而将此种情况下的预设模型确定为转换模型。之后，便可以通过该转换模型将第一类型图像转换为第二类型图像。

步骤S203：将所述待处理的第二类型图像输入图像处理模型，以得到处理结果。

本实施例中，得到与待处理的第一类型图像对应的第二类型图像后，便可以将第二类型图像输入到图像处理模型，以得到处理结果。具体实现中，可以将第二类型图像输入到不同的图像处理模型，便可以得到不同的处理结果，以实现不同的图像处理任务。

本发明实施例中，由于可以通过转换模型将待处理的图像的类型由第一类型转换为第二类型，使得可以直接利用已有的图像处理模型处理该转换后的图像，而无需针对第一类型图像，重新训练一个图像处理模型，因此，节约了模型训练成本。

为方便清楚理解本发明，下面举例说明本发明的技术效果：

例如，已有的图像处理模型有人脸识别模型、人脸聚类模型和人脸验证模型，该三个模型均是以第二类型人脸图像为样本训练的。实际中，由转换模型输出的第二类型图像可以同时适用于上述三种模型，即转换得到的第二类型图像可以同时输入到上述三种模型中，以得到不同的处理结果，而不用为了适应第一类型人脸图像的识别，而重新训练新的上述三种模型，即，实际中，可以只训练一个转换模型，便可以复用三种已有模型，进而大大降低了成本。

下面，分别以上述三种模型为例，说明每种模型对第二类型图像进行处理，以得到处理结果的过程。

在一种应用场景中，图像处理模型可以为人脸识别模型，在此种情况下，可以通过所述人脸识别模型对所述待处理的第二类型图像进行识别，得到所述待处理的第二类型图像与预设人脸图像库中各人脸图像的比对结果。

此种应用场景中，待处理的第二类型图像中可以包括人脸的图像，预设人脸图像中的各个人脸图像的类型可以均是第二类型。

在一种实际实施中，可以将待处理的第二类型图像分别与预设人脸图像库中的每个人脸图像组成一个人脸图像对，以得到多个人脸图像对。进而将得到的多个人脸图像对输入到人脸识别模型，得到由人脸识别模型输出的与每个人脸图像对对应的相似度，该相似度可以表征第二类型图像与预设人脸图像库中的人脸图像之间的相似程度。

在又一种实际实施中，可以将待处理的第二类型图像直接输入到该人脸识别模型，人脸识别模型可以将第二类型图像与预设人脸图像库中的各个人脸图像进行比对，以输出第二类型图像与预设人脸图像库中的各个人脸图像之间的相似度，从而根据各相似度，得到比对结果。此种实施下，由于预设人脸图像库存储在人脸识别模型中，进而可以降低人脸识别模型对输入的人脸图像的处理频繁程度，提高训练效率。

其中，相似度的值可以为0至1之间的值，相似度的值越大，表征第二类型图像与预设人脸图像库中的人脸图像越相似，进而可以根据相似度确定待处理的第二类型图像与预设人脸图像库中的各人脸图像之间的关系。例如，将相似度高于预设相似度对应的各人脸图像确定为是与待处理的第二类型图像来自同一人脸的图像。将相似度低于预设相似度对应的各人脸图像确定为是与待处理的第二类型图像不是同一人脸的图像。

在另一种应用场景中，图像处理模型可以为人脸验证模型，在此种情况下，可以将所述待处理的第二类型图像与目标人脸图像输入人脸验证模型，以确定所述待处理的第二类型图像与所述目标人脸图像是否来自同一人脸。

在该应用场景中，人脸验证模型可以用于验证两个人脸图像中的人脸是否为同一人脸，目标人脸图像的类型也可以为第二类型。将第二类型图像与目标人脸图像输入人脸验证模型后，便可以得到由人脸验证模型输出的验证结果。其中，验证结果可以用数据0或1表示，当为0时，表示第二类型图像与所述目标人脸图像不来自同一人脸，当为1时，表示第二类型图像与所述目标人脸图像来自同一人脸。

在又一种应用场景中，图像处理模型可以为人脸聚类模型，在此种情况下，可以将所述待处理的第二类型图像输入人脸聚类模型，以确定所述待处理的第二类型图像所属的类别。

在该应用场景中，人脸聚类模型可以用于对输入的人脸图像进行分类，例如，预存一个人脸图像D，在输入新的人脸图像E时，人脸聚类模型可以确定新的人脸图像E与人脸图像D之间的相似度，进而根据相似度，确定人脸图像E所属的类别，该类别可以分别是：同一人、非常相似、比较相似、不同人。假设人脸图像E与人脸图像D之间的相似度很低，则可以确定人脸图像E的类别为不同人，假设人脸图像E与人脸图像D之间的相似度接近1，则可以确定人脸图像E所属的类别为同一人。

需要说明的是，本实施例的图像处理模型以人脸识别模型、人脸验证模型以及以人脸聚类模型为例，对如何处理第二类型图像进行说明。实际中，待处理的第一类型图像也可以是散斑红外类型的指纹图像，则第二类型图像为泛光红外类型的指纹图像，则图像处理模型也可以是指纹识别模型。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

基于同一发明构思，参考图5，示出了本发明实施例的一种图像处理装置的框架示意图，所述装置可以包括如下模块：

图像获得模块501，用于获得待处理的第一类型图像；

图像转换模块502，用于将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；

图像处理模块503，用于将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；

其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的。

可选地，所述装置还可以包括模型训练模块，所述模型训练模块可以用于训练得到转换模型，所述模型训练模块可以包括以下单元：

样本输入单元，可以用于将样本图像输入预设模型，得到所述样本图像对应的目标第二类型图像；

损失计算单元，可以用于根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值；

参数更新单元，可以用于根据所述损失值，对所述预设模型进行迭代更新，得到所述转换模型。

可选地，所述损失计算单元具体可以包括以下单元：

像素值计算单元，可以用于确定所述目标第二类型图像中各像素点的第一像素平均值，以及所述第二类型样本图像中各像素点的第二像素平均值；

损失值确定单元，可以用于根据所述目标第二类型图像中各像素点的像素值、所述第一像素平均值、所述第二类型样本图像中各像素点的像素值、所述第二像素平均值，确定该样本图像对所对应的损失值。

可选地，所述损失值确定单元，具体可以用于按照以下公式确定多所述预设模型对应的损失值：

其中，L表示所述预设模型对应的损失值，x_i,j,α表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的像素值，x_i,j,mean表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的第一像素平均值；x^ori _i,j,α表示第i个批次中第j个样本图像对应的第二类型样本图像中各像素点的像素值，x^ori _i,j,mean表示第i个批次中第j个样本图像对应的第二类型样本图像中各像素点的第二像素平均值；N_batch表示批次总数，N_j表示单个批次包括的样本图像对的总数，N_pix表示单张样本图像包括的像素点的总数。

可选地，所述转换模型可以包括多个下采样分支；所述图像转换模块可以包括以下单元：

特征提取单元，可以用于将所述待处理的第一类型图像输入所述转换模型，通过所述转换模型的多个下采样分支，对所述待处理的第一类型图像进行多种尺度的特征提取操作，多个不同尺度的图像特征；

图像融合单元，可以用于将所述多个不同尺度的图像特征与所述待处理的第一类型图像的原始图像特征融合，得到所述待处理的第二类型图像。

可选地，所述图像处理模块，具体可以包括以下单元：

第一处理单元，可以用于在在所述图像处理模型为人脸识别模型的情况下，通过所述人脸识别模型对所述待处理的第二类型图像进行识别，得到所述待处理的第二类型图像与预设人脸图像库中各人脸图像的比对结果；

第二处理单元，可以用于在所述图像处理模型为人脸验证模型的情况下，将所述待处理的第二类型图像与目标人脸输入人脸验证模型，以确定所述待处理的第二类型图像与所述目标人脸是否来自同一人脸；

第三处理单元，可以用于在所述图像处理模型为人脸聚类模型的情况下，将所述待处理的第二类型图像输入人脸聚类模型，以确定所述待处理的第二类型图像所属的类别。

可选地，所述模型训练模块还可以包括以下单元：

图像采集单元，可以用于在两种不同光照条件下对同一样本对象进行多次图像采集，其中第一种光照条件对应第一类型，第二种光照条件对应第二类型；

图像组合单元，可以用于将在第一光照条件下采集到的一张样本图像确定为第一类型样本图像，将在第二光照条件下采集到的一张样本图像确定为第二类型样本图像。

可选地，所述第一类型为散斑红外类型，所述第二类型为泛光红外类型；所述图像采集单元，所述第一种光照条件为泛光红外光源关闭且散斑红外光源开启的条件，所述第二种光照条件为泛光红外光源开启且散斑红外光源关闭的条件。

对于图像处理装置实施例而言，由于其与图像处理方法实施例基本相似，所以描述的比较简单，相关之处参见图像处理方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明实施例所述的一个或多个的图像处理方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的图像处理方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获得待处理的第一类型图像；

将所述待处理的第一类型图像输入转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；

将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；

其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的；

所述图像处理模型为已经训练完成的图像处理模型。

2.根据权利要求1所述的方法，其特征在于，所述转换模型是按照以下步骤训练得到的：

将样本图像输入预设模型，得到所述样本图像对应的目标第二类型图像；

根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值；

根据所述损失值，对所述预设模型进行迭代更新，得到所述转换模型。

3.根据权利要求2所述的方法，其特征在于，根据所述样本图像对应的目标第二类型图像，以及所述样本图像对应的第二类型样本图像，确定所述预设模型对应的损失值，包括：

确定所述目标第二类型图像中各像素点的第一像素平均值，以及所述第二类型样本图像中各像素点的第二像素平均值；

根据所述目标第二类型图像中各像素点的像素值、所述第一像素平均值、所述第二类型样本图像中各像素点的像素值、所述第二像素平均值，确定所述预设模型对应的损失值。

4.根据权利要求2所述的方法，其特征在于，所述预设模型对应的损失值是按照以下公式确定的：

其中，L表示所述预设模型对应的损失值，x_i,j,α表示第i个批次中第j个样本图像所对应的目标第二类型图像中各像素点的像素值，x_i,j,mean表示所述第j个样本图像所对应的目标第二类型图像中各像素点的第一像素平均值；x^ori _i,j,α表示所述第j个样本图像对应的第二类型样本图像中各像素点的像素值，x^ori _i,j,mean表示所述第j个样本图像对应的第二类型样本图像中各像素点的第二像素平均值；N_batch表示批次总数，N_j表示单个批次包括的样本图像对的总数，N_pix表示单张样本图像包括的像素点的总数。

5.根据权利要求1所述的方法，其特征在于，所述转换模型包括多个下采样分支；将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，包括：

将所述待处理的第一类型图像输入所述转换模型，通过所述转换模型的多个下采样分支，对所述待处理的第一类型图像进行多种尺度的特征提取操作，得到多个不同尺度的图像特征；

将所述多个不同尺度的图像特征与所述待处理的第一类型图像的原始图像特征融合，得到所述待处理的第二类型图像。

6.根据权利要求1-5任一所述的方法，其特征在于，将所述待处理的第二类型图像输入图像处理模型，以得到处理结果，包括：

在所述图像处理模型为人脸识别模型的情况下，通过所述人脸识别模型对所述待处理的第二类型图像进行识别，得到所述待处理的第二类型图像与预设人脸图像库中各人脸图像的比对结果；或

在所述图像处理模型为人脸验证模型的情况下，将所述待处理的第二类型图像与目标人脸输入人脸验证模型，以确定所述待处理的第二类型图像与所述目标人脸是否来自同一人脸；或

在所述图像处理模型为人脸聚类模型的情况下，将所述待处理的第二类型图像输入人脸聚类模型，以确定所述待处理的第二类型图像所属的类别。

7.根据权利要求1-5任一所述的方法，其特征在于，所述第一类型样本图像和所述第二类型样本图像是通过以下步骤得到的：

在两种不同光照条件下对同一样本对象进行多次图像采集，其中第一种光照条件对应第一类型，第二种光照条件对应第二类型；

将在第一光照条件下采集到的一张样本图像确定为第一类型样本图像，将在第二光照条件下采集到的一张样本图像确定为第二类型样本图像。

8.根据权利要求7所述的方法，其特征在于，所述第一类型为散斑红外类型，所述第二类型为泛光红外类型；所述第一种光照条件为泛光红外光源关闭且散斑红外光源开启的条件，所述第二种光照条件为泛光红外光源开启且散斑红外光源关闭的条件。

9.一种图像处理装置，其特征在于，所述装置包括：

图像获得模块，用于获得待处理的第一类型图像；

图像转换模块，用于将所述待处理的第一类型图像输入预先训练的转换模型，以得到对应的待处理的第二类型图像，所述转换模型用于将图像的类型由第一类型转换为第二类型；

图像处理模块，用于将所述待处理的第二类型图像输入图像处理模型，以得到处理结果；

其中，所述转换模型是以第一类型样本图像和第二类型样本图像为训练样本经过训练得到的；

所述图像处理模型为已经训练完成的图像处理模型。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-8任一项所述的图像处理方法。

Images