CN110475068B - 图像处理方法及装置 - Google Patents

Abstract

本发明提供了一种图像处理方法及装置，应用于配置有多个摄像头的移动终端，其中，每个摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的PSF数据，该方法包括：控制多个摄像头对同一对象进行拍摄，生成多个第一图像；将多个第一图像分别与对应的镜头的PSF数据作反卷积操作，生成与每个镜头对应的第二图像；根据多个镜头之间的空间位置关系，对多个第二图像进行图像像素的初次对齐；将经过初次对齐的多个第二图像和多个镜头的多个PSF数据，输入至预先经过训练的像素对齐模型，以使得像素对齐模型根据多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。本发明能够对图像像素进行准确对齐。

Description

图像处理方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种图像处理方法及装置。

背景技术

目前，受终端的体积与成本等因素的限制，终端采用的光学器件如摄像头的分辨率通常有限。那么为了获得包含更多细节的高分辨率照片，需要使用超分辨率技术来提升摄像头拍摄的图像的分辨率。其中，利用光学成像***(如镜头)的点扩散函数(pointspread function，PSF)是一种获得高分辨率图像的方法。

PSF刻画了光学成像***对点光源的响应情况，PSF通常由光学成像***本身的材料与构成所决定。而镜头精准的不含噪声的PSF需要在理想的校准环境下进行，例如唯一的且无额外光源等噪声的点光源，以及光学成像***满足线性特性的假设。但是实际的校准环境却是存在额外光源等噪声干扰、且光学成像***不满足线性特性的假设前提。

如果想要使校准环境达到理想的校准环境，则需要较高的成本，那么如何在低成本的校准环境下完成对镜头的PSF校准，进而提升镜头拍摄得到的图像的分辨率，目前尚未不存在解决方案。

此外，由于同一个手机的多个摄像头具有不同的PSF以及不同的空间位置关系，同一个物体对应的像素在两个不同摄像头生成的高分辨率图像中的位置是不同的。而目前普遍采用的图像像素对齐方案未能较好的实现像素的对齐(即，同一个对象的属于不同镜头拍摄得到的像素点要求坐标重合)，导致了生成的高分辨率图像物体边缘不光滑不自然的问题。

发明内容

本发明提供了一种镜头校准方法及图像处理方法，以解决相关技术中多个摄像头对同一对象拍摄的图像像素对齐效果较差，进而导致拍摄对象的边缘不光滑的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种图像处理方法，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，所述方法包括：

控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

根据本发明的另一方面，本发明还公开了一种图像处理装置，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，所述装置包括：

控制模块，用于控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

操作模块，用于将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

第一对齐模块，用于根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

第二对齐模块，用于将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

根据本发明的又一方面，本发明还公开了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现所述的图像处理方法的步骤。

根据本发明的再一方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现所述的图像处理方法的步骤。

与现有技术相比，本发明包括以下优点：

在本发明实施例中，由于移动终端的多个摄像头的多个镜头内均存储有预先经过校准模型校准的不含噪声的PSF数据，那么就可以在拍摄时对存储的该不含噪声的PSF数据进行实时利用，具体的，可以通过将多个摄像头对同一对象拍摄的多个第一图像分别与对应镜头的PSF数据进行反卷积操作，从而可以得到分辨率大幅提升的多个第二图像；然后，再结合多个摄像头的空间位置关系以及多个镜头的经过校准的PSF，来对多个第二图像进行对齐，可以使得得到的第三图像不仅分辨率远高于多个镜头的分辨率，提升了图像的分辨率，还可以使得第三图像中物体边缘变得更加清晰、光滑，确保了图像像素的准确对齐。

此外，在本发明实施例中，在对一个镜头的PSF进行校准时，只需要将该镜头的含噪声的多组第一图像数据输入至预先经过训练的校准模型，从而由该校准模型对多组第一图像数据进行PSF校准，生成该镜头的不含噪声的目标PSF数据，那么在对镜头的PSF进行校准时，无需在理想的校准环境下执行校准操作，只需要利用校准模型，就可以在非理想的校准环境下对镜头的PSF进行精准校准，降低了镜头的PSF的校准成本。

附图说明

图1是本发明的一种模型训练方法实施例的步骤流程图；

图2是本发明的一种低成本环境下获取镜头的含噪声的第一PSF数据的示意图；

图3是本发明的一种镜头校准方法实施例的步骤流程图；

图4是本发明的一种图像处理方法实施例的步骤流程图；

图5是本发明的一种对图4实施例的像素对齐模型的训练方法的流程图；

图6是本发明的一种基于经过PSF校准的镜头来对图像进行处理的流程图；

图7是本发明的一种图像处理装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种模型训练方法实施例的步骤流程图。

其中，经过本发明实施例的模型训练方法所训练的模型可以称作校准模型。该校准模型用于在低成本的校准环境下获得镜头的较精准的PSF，同时预先训练好的校准模型能够保证镜头的PSF的校准速度，使得整个校准过程高效。

图1所示的方法具体可以包括如下步骤：

步骤101，获取训练样本集，其中，所述训练样本集包括同一镜头的含噪声的多组第一图像，以及所述镜头的不含噪声的第二PSF数据；

可选地，在获取训练样本集中的某个镜头的多组第一图像时，可以获取摄像头对每次分布在不同位置的点光源分别拍摄得到的多组图像；然后，获取所述多组图像的矩阵序列，其中，所述多组图像的矩阵序列为所述摄像头中镜头的含噪声的多组第一图像，也即该镜头的含噪声的多组第一PSF数据。

具体而言，可以控制摄像头多次拍摄同一个点光源，且每次拍摄该点光源时，该点光源分布在不同的位置，从而得到多组点光源的图像，该多组点光源的图像的矩阵数据即为该摄像头的镜头的含噪声的多组第一PSF数据。

在本发明实施例中，由于同一镜头的多组第一PSF数据的点光源位置不同，使得点光源的角度更加多样，那么利用该多组第一PSF数据可以促进神经网络模型学习该摄像头的镜头(也即光学***)在低成本环境下可能发生的非线性变化。

可选地，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。

也就是说，每次该摄像头拍摄点光源时，该点光源每次所处的位置所构成的多个位置是等距设置于所述镜头的同一侧且关于该摄像头的镜头的中心线对称的。

如图2所示，示出了低成本环境下获取镜头的含噪声的第一PSF数据的示意图。图2示出了该摄像头的镜头以及该摄像头的接收平面(相当于该摄像头的图像传感器)，并示出了该摄像头5次拍摄同一点光源时，该点光源所分处的5个光源位置，从图2可以看出，5个光源位置与该镜头是等距的，且位于该镜头的同一侧，并且5个光源位置关于该镜头的中心线对称。

其中，如图2所示，本发明所述的镜头的中心线为穿过镜头的圆心且与镜头的镜面垂直的直线。

那么结合图2所示的示例，接收平面上显示的图像即为点光源通过镜头所显示的图像，也为该摄像头拍摄的该点光源的图像。因此，上述实施例中所描述的获取的该镜头的多组第一PSF数据，可以通过每次设置不同位置的点光源，并对接收平面上显示的图像进行拍摄，来获取摄像头对每次分布在不同位置的点光源分别拍摄得到的多组图像。

另外，由于在理想条件(例如唯一的且无额外光源等噪声的点光源，以及镜头(即光学成像***)满足线性特性等条件)下，该接收平面上显示的图像即为该镜头的PSF的部分采样点，但是，由于这里拍摄的点光源以及镜头都不是理想条件，因此，该接收平面上显示的图像为该镜头的含噪声的PSF的采样点。因此，可以将对该接收平面拍摄得到的多个点光源的图像的矩阵序列来作为图2所示镜头的含噪声的多组第一PSF数据。

那么在本发明实施例中，由于所拍摄的点光源分别所处的多个位置是如图2所示的等距设置于所述镜头的同一侧且关于所述镜头的中心线对称的。例如位置1和位置5是关于该中心线对称的，位置2和位置4是关于该中心线对称的。那么对相互对称的两个位置的点光源分别拍摄得到的两组第一PSF数据的噪声也是对称的。那么由于所获取到的多组第一PSF数据之间含噪声的对称性，那么利用该多组第一PSF数据在训练神经网络模型时，能够在模型训练阶段利用该噪声的对称信息(其中，训练样本集本身不包括这一对称信息，只不过作为训练样本的多组第一PSF数据能够表达出这种对称信息)一定程度上消除额外光源等噪声的干扰，其中，对称位置的点光源对应的两组含噪声的第一PSF数据之间的噪声可以相互抵消，从而更容易得到用于PSF校准的校准模型，进一步减少模型训练时间。

而对于步骤101中的镜头的不含噪声的第二PSF数据则是该镜头的在高成本环境下获取到的精准的PSF数据。

步骤102，将所述多组第一图像和所述第二PSF数据输入至神经网络模型进行训练，得到训练后的校准模型。

可选地，第一图像是输入数据，第二PSF数据是准确的标签。

其中，在将训练样本集中的关于该同一个镜头的多组第一PSF数据以及一组第二PSF数据输入至神经网络模型，来对神经网络模型进行训练时，该第二PSF数据相当于该镜头在高成本校准环境下得到的精准PSF，该精准PSF可以作为训练该神经网络模型对该镜头的PSF进行校准的准确标签。

需要说明的是，该训练样本集可以包括多种型号的镜头的训练数据，每种型号的镜头的训练数据可以包括多种第一PSF数据以及该镜头的不含噪声的第二PSF数据。那么通过采用多种型号的镜头的训练数据来训练该神经网络模型，则可以使得训练得到的校准模型可以泛化用于镜头型号与上述多种型号中任意一种型号类似的镜头，来对多种型号的镜头进行PSF的校准。

其中，经过训练得到的校准模型用于对镜头类型符合所述镜头的镜头类型的任意一个镜头的多组图像(即含噪声的PSF数据)进行校准，生成不含噪声的PSF数据。

借助于本发明上述实施例的技术方案，本发明可以在非理想的校准环境下对镜头的PSF进行精准校准。

可选地，可以采用监督学习和注意力机制来对神经网络模型进行训练，从而得到本发明实施例的校准模型。

那么经过训练后的神经网络模型，即校准模型可以用于对输入的任意一种已训练的某个型号的镜头的含噪声的多组第一PSF数据进行校准，得到该型号的镜头的不含噪声的第二PSF数据。这样，即便校准环境为低成本的校准环境，那么利用本发明实施例的方法训练得到的神经网络模型也可以对镜头的PSF进行精准校准，得到该镜头的精准PSF，降低了镜头的PSF的校准成本。

参照图3，示出了本发明的一种镜头校准方法实施例的步骤流程图。

在一个实施例中，图3详细描述了如何利用上述图1实施例训练得到的神经网络模型(即校准模型)来对该校准模型能够泛化到的镜头型号的镜头进行PSF校准，得到该镜头的精准的PSF。

对于配置有多个摄像头的移动终端，每个摄像头具有一个镜头，图3所示的方法可以对多个摄像头的多个镜头中的任意一个镜头进行PSF校准。这里的图3以对一个镜头的PSF进行校准为例进行说明，对于其他镜头的PSF校准流程与之类似，这里不再赘述。

步骤201，获取镜头的含噪声的多组第一图像数据；

其中，本步骤中获取该镜头的含噪声的多组第一图像数据，即多组第一PSF数据的实现方式，与上述模型训练过程中在获取同一个镜头的多组第一PSF数据的实现方式类似。

可选地，在执行步骤201时，可以获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与上述校准模型训练时所采用的点光源分别所处的多个位置相同；然后，获取所述多组第一测试图像的矩阵序列，其中，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据。

在校准模型使用阶段，也是按照模型训练过程中设置的相同点光源位置(例如图2所示的5个对称的点光源位置)。例如校准模型训练过程中训练样本集包括镜头1的训练数据，而本发明实施例中需要对镜头2进行PSF校准，其中，镜头2的型号与该镜头1的型号类似，或者说两个镜头的类型相同。因此，可以采用图1训练得到的校准模型来对镜头2的PSF进行校准。

但是，在对镜头2的PSF进行校准时，在获取校准模型的输入数据时，也是按照校准模型训练阶段，镜头1的多组第一PFS数据对应的相同点光源位置来分别设置镜头2所分别拍摄的点光源的位置，例如同样采用如图2所示的5个位置设置点光源，然后，采用使用镜头2的摄像头来分别拍摄分别处于该5个位置的点光源，得到对应于图2所示的5个点光源位置的镜头2的5组第一PSF数据。

可选地，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。

那么在本发明实施例中，由于所拍摄的点光源分别所处的多个位置是如图2所示的等距设置于所述镜头的同一侧且关于所述镜头的中心线对称的。例如位置1和位置5是关于该中心线对称的，位置2和位置4是关于该中心线对称的。那么对相互对称的两个位置的点光源分别拍摄得到的两组第一PSF数据的噪声也是对称的。那么由于所获取到的多组第一PSF数据之间含噪声的对称性，那么利用该多组第一PSF数据和校准模型来对镜头的PSF进行校准时，可以提升校准模型对PSF的校准准确度。

步骤202，将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行PSF校准，生成所述镜头的不含噪声的PSF数据(目标PSF数据)

其中，图3实施例所校准的镜头的类型与所述校准模型用于校准的镜头的类型一致。也就是说，经过图1所示的训练方法训练后的校准模型，用于校准的镜头的类型，是与该校准模型训练阶段所采用的训练样本集中的镜头类型一致的。

在本发明实施例中，校准模型训练阶段和使用阶段中，两个阶段所拍摄的点光源的位置是相同的，即光源和镜头的相对空间位置保持相同，这样使得训练数据和测试数据的分布是一致的，减少训练数据和测试数据的分布差异。校准模型对输入数据的分布较为敏感，如果训练数据和测试数据的分布是一致的，则可以提升校准模型的校准准确度。

可选地，当该校准模型训练阶段的训练样本集包括不同镜头类型(或者说镜头型号)的多组训练数据时，即训练后的校准模型可以用于对多种类型的镜头(例如类型1、类型2和类型3)进行PSF校准。那么在图3实施例中，则输入数据不仅仅可以包括镜头的多组第一PSF数据，还包括该镜头的类型，例如类型1。那么该校准模型就可以根据输入的类型1，来对输入的属于该类型1的镜头的多组第一PSF数据进行PSF的校准，并输出该类型1的精准PSF，即目标PSF数据。

需要说明的是，在实际使用镜头的过程中，这个点光源相当于被拍摄的对象。

在本发明实施例中，在校准模型使用过程中：其输入包括同一镜头的多张含噪声的PSF，其输出是该镜头的较为精准的PSF。

步骤203，将所述PSF数据存储至所述镜头，以使所述镜头存储有预先经过对应的校准模型校准的不含噪声的PSF数据。

当一个需要进行PSF校准的移动终端配置有多个摄像头时，每个摄像头的镜头都经过图3所示的流程进行PSF校准，则可以使得所述多个摄像头的多个镜头内都各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据。

其中，可以将经过校准模型校准后的例如镜头2的精准PSF(即这里的目标PSF数据)存储至该镜头或者该镜头所属的摄像头的硬件单元内。

在本发明实施例中，在对一个镜头的PSF进行校准时，只需要将该镜头的含噪声的多组第一图像数据输入至预先经过训练的校准模型，从而由该校准模型对多组第一图像数据进行PSF校准，生成该镜头的不含噪声的目标PSF数据，那么在对镜头的PSF进行校准时，无需在理想的校准环境下执行校准操作，只需要利用校准模型，就可以在非理想的校准环境下对镜头的PSF进行精准校准，降低了镜头的PSF的校准成本。

此外，移动终端普遍具有多个摄像头，那么采用多个摄像头拍摄的图像存在不同摄像头拍摄的多个图像的像素对齐问题。为了对多个图形的像素对齐，目前普遍采用的图像像素对齐方案仅考虑空间位置关系而未考虑不同镜头的PSF的差异，从而未能较好的实现像素的对齐(例如，同一个拍摄对象的属于不同镜头拍摄得到的像素点要求坐标重合，即对齐)，导致了生成的高分辨率图像物体边缘不光滑不自然。

为此，在一个实施例中，参照图4，示出了本发明实施例的一种图像处理方法的步骤流程图。图4实施例的方法不仅可以使移动终端的多个摄像头都拍摄出相较于各自镜头的分辨率更高的高分辨率图像，还可以实现对多个镜头拍摄的多个高分辨率图像的像素对齐，使得得到的最终的一个高分辨率图像的物体边缘更加光滑和自然。

图4所述的图像处理方法应用于配置有多个摄像头的移动终端。

其中，每个所述摄像头的镜头可以为经过图3实施例的方法校准后的镜头，因此，每个摄像头的镜头内可以存储有各自的预先经过对应的校准模型校准的不含噪声的PSF数据(即每个镜头的精准PSF数据)。

当一个经过训练的校准模型所能够泛化的镜头类型包括该多个摄像头的多个镜头时，则每个镜头所采用的校准模型是相同的，而当一个经过训练的校准模型所能够泛化的镜头类型不完全包括该多个镜头时，则可以采用不同的校准模型来分别对相应镜头的PSF进行校准。

图4所示的方法具体可以包括如下步骤：

步骤301，控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

其中，该多个摄像头的拍摄方向相同，例如均为前置摄像头，或均为后置摄像头。

由于移动终端具有该多个摄像头，那么在移动终端上触发拍照请求后，就会触发该多个摄像头来同时对同一个对象进行拍摄，从而可以生成与所述多个摄像头对应的多个第一图像。

这里的多个第一图像为对应于该多个摄像头的多个镜头的分辨率的图像，这里称作多个低分辨率图像。

步骤302，将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

其中，为了提升该移动终端拍摄的图像的分辨率，可以将该多个第一图像分别与对应镜头的预先存储的预先经过校准模型校准的不含噪声的PSF数据作反卷积处理，从而生成与每个镜头对应的高分辨率图像，即第二图像。

举例来说，例如该移动终端具有2个后置摄像头，摄像头1具有镜头1，摄像头2具有镜头2，控制该2个后置摄像头对同一对象进行拍摄，可以得到镜头1拍摄的图像1和镜头2拍摄的图像2，而镜头1内存储有其预先经过校准的PSF1，镜头2内存储有其预先经过校准的PSF2，本步骤可以将图像1与PSF1作反卷积操作得到图像1’，将图像2与PSF2作反卷积操作，得到图像2’。其中，图像1’为对应于镜头1的第二图像，图像2’为对应于镜头2的第二图像。图像1’的分辨率相较于图像1的分辨率得到大幅提升；图像2’的分辨率相较于图像2的分辨率得到大幅提升。

步骤303，根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

其中，可以获取举例中的镜头1和镜头2之间的空间位置关系，例如两个镜头的三维坐标信息，来利用两组三维坐标信息，来对图像1’和图像2’进行图像像素的初次对齐，初次对齐操作可以调整图像1’中的像素点的位置从而得到图像1”，以及调整图像2’中的像素点的位置，从而得到图像2”。

步骤304，将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

尽管第一图像已经和对应镜头的PSF进行过反卷积操作，但是因不同镜头的PSF有一定差异，使得不同镜头得到的高分辨图像仅依靠镜头三维坐标难以很好对齐像素。以上述示例来说明，由于初次对齐后得到的图像1”和图像2”在对齐时没有参考两个镜头的精准的PSF，因此，在本步骤中，需要对两个图像进行二次对齐。

具体方法为将图像1”和PSF1，图像2”和PSF2，输入至预先经过训练的像素对齐模型，该像素对齐模型可以利用PSF1和PSF2，来对图像1”和图像2”进行图像像素的二次对齐，从而生成像素对齐的图像3，其中，由于图像像素二次对齐后的图像1”和图像2”的各个位置的像素点都是对齐的，因此，二次对齐后得到的两个图像实际是相同的，因此，这里以一个第三图像来命名图像3。

那么经过本发明实施例的图像处理方法得到的图像3不仅是一个分辨率高于镜头的分辨率的高分辨率图像，还是图像像素经过精准对其的图像。

一般来说，图像3的分辨率是图像1或者图像2的分辨率的2倍～8倍。

像素对齐模型基于镜头预先存储的校准的PSF，对齐各镜头生成的高分辨率图像的像素进行二次对齐，从而可以使得得到的第三图像中物体边缘细节更自然，输出得到一张图像边缘更清晰的高分辨率图像。

在本发明实施例中，由于移动终端的多个摄像头的多个镜头内均存储有预先经过校准模型校准的不含噪声的PSF数据，那么就可以在拍摄时对存储的该不含噪声的PSF数据进行实时利用，具体的，可以通过将多个摄像头对同一对象拍摄的多个第一图像分别与对应镜头的PSF数据进行反卷积操作，从而可以得到分辨率大幅提升的多个第二图像；然后，再结合多个摄像头的空间位置关系以及多个镜头的经过校准的PSF，来对多个第二图像进行对齐，可以使得得到的第三图像不仅分辨率远高于多个镜头的分辨率，提升了图像的分辨率，还可以使得第三图像中物体边缘变得更加清晰、光滑，确保了图像像素的准确对齐。

在执行图4所示的304之前，在一个实施例中，参照图5，示出了一种对图4实施例的像素对齐模型的训练方法的流程图。

如图5所示，该训练方法涉及待训练的模型G，以及用于对模型G进行训练的判别模型D。其中，模型G经过训练后即为图4实施例的像素对齐模型。G为generator的简写，是一个生成模型，D为discriminator的简写，是一个判别模型。这种训练方式称为adversarialtraining(对抗学习)。

首先，可以获取训练样本集：

训练样本集包括上述移动终端配置的多个摄像头的多个镜头的初次对齐后的多帧图像(即多个第二测试图像)，这里的多帧图像为经过初次对齐的多个高分辨率图像；

此外，该训练样本集还包括该多个镜头的经过所述校准模型校准过的多个精准PSF(即不含噪声的多组PSF测试数据)。

另外，该训练样本集还包括作为训练标签的相比于该多个镜头的像素(或者说分辨率)更高的测试镜头对应的摄像头所拍摄的第三测试图像(对应于图5中的更高像素镜头拍摄的图像)。

当然，该第三测试图像对应的拍摄对象与该多帧图像对应的拍摄对象是相同的。

其中，在获取该多个镜头的初次对齐的多帧图像时，具体方法可以参考上述图4实施例中的步骤301～步骤303。这里作简要介绍：

首先，需要收集移动终端，例如手机的多个镜头，在不同场景、光线等环境下对同一拍摄对象拍摄的多个第一图像；然后，将多个第一图像和相应镜头的经过校准的PSF分别进行反卷积操作，得到多个高分辨率图像；接着，再根据该多个镜头之间的空间位置关系，来对该多个高分辨率图像进行初次对齐，得到所述多个镜头的初次对齐后的多帧图像。

在训练过程中，模型G的一次输入为所述多个第二测试图像，即多个镜头对应的初次对齐的多帧图像(是多个镜头的初次对齐后的多个高分辨率图像，具体为多个镜头对同一拍摄对象拍摄的多张图像，即多张低分辨率图像，然后与对应镜头的精准PSF进行反卷积，得到多个高分辨率图像，然后，再利用多个镜头之间的空间位置关系，进行初次对齐，得到对齐后的多个高分辨率图像)与该多帧图像对应的多个镜头的多个精准PSF，即所述多组PSF测试数据；

那么通过将所述多个第二测试图像和所述多组PSF测试数据输入至模型G，得到所述模型G输出的第四测试图像，其中，所述模型G用于基于所述多组PSF测试数据对所述多个第二测试图像进行二次像素对齐，生成所述第四测试图像；也就是说，模型G的输出为经过模型G进行像素二次对齐后的高分辨率图像，但是由于模型G处于训练过程中，因此这里的二次对齐效果并不是最佳的；

所以，需要继续将所述第三测试图像和所述第四测试图像输入至模型D，得到所述模型D输出的表示所述第三测试图像与所述第四测试图像是否相同的判别结果；

也就是说，模型D的输入为模型G的输出的二次对齐的高分辨率图像，以及更高像素摄像头拍摄的图像(与该高分辨率图像的拍摄对象相同)，模型D的输出结果为表示模型D输入的高分辨率图像是否与作为分类标签的高分辨率图像(即更高像素摄像头拍摄的图像)一致的判断结果；

若判断结果为所述第三测试图像与所述第四测试图像不相同，则需要根据对抗训练的方法来对模型G和模型D进行对抗训练，例如对模型G的参数进行反向调节。

那么经过多轮迭代训练，直至模型D的输出结果为表示模型D输入的高分辨率图像与作为分类标签的高分辨率图像(即更高像素摄像头拍摄的图像)一致的判断结果，模型G训练完成，得到图4实施例所述的预先经过训练的像素对齐模型。

本发明实施例的像素对齐模型的训练方法可以使网络在已知镜头的精准的PSF的情况下充分学习如何对齐不同环境条件的图像像素，该像素对齐模型的神经网络可以是生成式深度神经网络，该生成式深度神经网络能够有效学习得到物体形状边缘的低维流形，将各镜头的初次对齐的多个高分辨率图像与对应镜头的精准PSF作为条件输入到生成式深度神经网络，可以让生成式深度神经网络，即模型G有效学习如何基于这样的信息去对齐像素，插值出更光滑的边缘。

参照图6，对图3和图4所示的镜头校准方法以及图像处理方法进行结合，示出了一种基于经过PSF校准的镜头来对图像进行处理的流程图。

如图6所示，在镜头出厂阶段，可以采用PSF校准模型(即图1训练得到的校准模型)来对镜头的PSF进行校准，可以获取到精准的PSF并存储在该镜头的硬件中。

一款手机的多个摄像头所配置的多个镜头均为PSF经过PSF校准模型校准过的多个镜头。

那么在该手机进行图像拍摄时，多个镜头同时拍摄同一对象可以得到多帧低分辨率图像；

然后，从该多个镜头的硬件中读取每个镜头的经过校准的PSF，通过低分辨率图像与对应镜头的PSF反卷积操作，可以得到对应于多个镜头的多个高分辨率图像；

接着，再根据该多个镜头的空间位置，来对该多个高分辨率图像进行像素的初次对齐；

然后，再将初次对齐的多个高分辨率图像输入至像素对齐模型来进行像素的二次对齐，从而得到经过对齐的一张高分辨率图像。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图7，示出了本发明一种图像处理装置实施例的结构框图，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的PSF数据，所述装置包括：

控制模块701，用于控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

操作模块702，用于将所述多个第一图像分别与对应的镜头的所述预先经过校准模型校准的不含噪声的PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

第一对齐模块703，用于根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

第二对齐模块704，用于将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

可选地，所述装置还包括：

第一获取模块，用于针对所述每个摄像头的镜头，获取所述镜头的含噪声的多组第一图像数据；

输入模块，用于将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行点扩散函数PSF校准，生成所述镜头的不含噪声的PSF数据，其中，所述镜头的类型与所述校准模型用于校准的镜头的类型一致；

存储模块，用于将所述PSF数据存储至所述镜头，以使每个所述摄像头的镜头各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据。

可选地，所述第一获取模块包括：

第一获取子模块，用于获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与所述校准模型训练时所采用的点光源分别所处的多个位置相同；

第二获取子模块，用于获取所述多组第一测试图像的矩阵序列，其中，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据。

可选地，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。

可选地，所述装置还包括：

第二获取模块，用于获取训练样本集，所述训练样本集包括所述多个镜头的图像像素经过初次对齐的多个第二测试图像、所述多个镜头的不含噪声的多组PSF测试数据、由分辨率高于所述多个镜头的分辨率的测试镜头拍摄的第三测试图像，其中，所述多个第二测试图像与所述第三测试图像对应同一拍摄对象；

第三获取模块，用于将所述多个第二测试图像和所述多组PSF测试数据输入至第一神经网络模型，得到所述第一神经网络输出的第四测试图像，其中，所述第一神经网络模型用于基于所述多组PSF测试数据对所述多个第二测试图像进行二次像素对齐，生成所述第四测试图像；

第四获取模块，将所述第三测试图像和所述第四测试图像输入至第二神经网络模型，得到所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像是否相同的判别结果；

训练模块，用于若所述判别结果为所述第三测试图像与所述第四测试图像不相同，则根据对抗训练的方法，对所述第一神经网络模型和所述第二神经网络模型进行对抗训练，直至所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像相同的判别结果，其中，经过对抗训练的所述第一神经网络模型为所述预先经过训练的像素对齐模型。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

根据本发明的又一个实施例，本发明还提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如上述任意一个实施例所述的方法的步骤。

根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上述任意一个实施例所述的方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种模型训练方法、一种镜头校准方法、一种图像处理方法、一种图像处理装置、一种终端、一种计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，其包括：获取训练样本集，所述训练样本集包括同一镜头的含噪声的多组第一图像，以及所述镜头的不含噪声的第二PSF数据，将所述多组第一图像和所述第二PSF数据输入至神经网络模型进行训练，得到训练后的校准模型；获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与所述校准模型训练时所采用的点光源分别所处的多个位置相同，获取所述多组第一测试图像的矩阵序列，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据；将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行点扩散函数PSF校准，生成所述镜头的不含噪声的点扩散函数PSF数据，其中，所述镜头的类型与所述校准模型用于校准的镜头的类型一致，将所述PSF数据存储至所述镜头，以使每个所述摄像头的镜头各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据；

所述图像处理方法包括：

控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。

3.根据权利要求1所述的图像处理方法，其特征在于，所述将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型之前，所述方法还包括：

获取训练样本集，所述训练样本集包括所述多个镜头的图像像素经过初次对齐的多个第二测试图像、所述多个镜头的不含噪声的多组PSF测试数据、由分辨率高于所述多个镜头的分辨率的测试镜头拍摄的第三测试图像，其中，所述多个第二测试图像与所述第三测试图像对应同一拍摄对象；

将所述多个第二测试图像和所述多组PSF测试数据输入至第一神经网络模型，得到所述第一神经网络输出的第四测试图像，其中，所述第一神经网络模型用于基于所述多组PSF测试数据对所述多个第二测试图像进行二次像素对齐，生成所述第四测试图像；

将所述第三测试图像和所述第四测试图像输入至第二神经网络模型，得到所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像是否相同的判别结果；

若所述判别结果为所述第三测试图像与所述第四测试图像不相同，则根据对抗训练的方法，对所述第一神经网络模型和所述第二神经网络模型进行对抗训练，直至所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像相同的判别结果，其中，经过对抗训练的所述第一神经网络模型为所述预先经过训练的像素对齐模型。

4.一种图像处理装置，其特征在于，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，其包括：获取训练样本集，所述训练样本集包括同一镜头的含噪声的多组第一图像，以及所述镜头的不含噪声的第二PSF数据，将所述多组第一图像和所述第二PSF数据输入至神经网络模型进行训练，得到训练后的校准模型；获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与所述校准模型训练时所采用的点光源分别所处的多个位置相同，获取所述多组第一测试图像的矩阵序列，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据；将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行点扩散函数PSF校准，生成所述镜头的不含噪声的点扩散函数PSF数据，其中，所述镜头的类型与所述校准模型用于校准的镜头的类型一致，将所述PSF数据存储至所述镜头，以使每个所述摄像头的镜头各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据；

所述装置包括：

控制模块，用于控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；

操作模块，用于将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；

第一对齐模块，用于根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；

第二对齐模块，用于将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。

5.根据权利要求4所述的图像处理装置，其特征在于，所述装置还包括：

第一获取模块，用于针对所述每个摄像头的镜头，获取所述镜头的含噪声的多组第一图像数据；

输入模块，用于将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行点扩散函数PSF校准，生成所述镜头的不含噪声的PSF数据，其中，所述镜头的类型与所述校准模型用于校准的镜头的类型一致；

存储模块，用于将所述PSF数据存储至所述镜头，以使每个所述摄像头的镜头各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据。

6.根据权利要求5所述的图像处理装置，其特征在于，所述第一获取模块包括：

第一获取子模块，用于获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与所述校准模型训练时所采用的点光源分别所处的多个位置相同；

第二获取子模块，用于获取所述多组第一测试图像的矩阵序列，其中，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据。

7.根据权利要求6所述的图像处理装置，其特征在于，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。

8.根据权利要求4所述的图像处理装置，其特征在于，所述装置还包括：

第二获取模块，用于获取训练样本集，所述训练样本集包括所述多个镜头的图像像素经过初次对齐的多个第二测试图像、所述多个镜头的不含噪声的多组PSF测试数据、由分辨率高于所述多个镜头的分辨率的测试镜头拍摄的第三测试图像，其中，所述多个第二测试图像与所述第三测试图像对应同一拍摄对象；

第三获取模块，用于将所述多个第二测试图像和所述多组PSF测试数据输入至第一神经网络模型，得到所述第一神经网络输出的第四测试图像，其中，所述第一神经网络模型用于基于所述多组PSF测试数据对所述多个第二测试图像进行二次像素对齐，生成所述第四测试图像；

第四获取模块，将所述第三测试图像和所述第四测试图像输入至第二神经网络模型，得到所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像是否相同的判别结果；

训练模块，用于若所述判别结果为所述第三测试图像与所述第四测试图像不相同，则根据对抗训练的方法，对所述第一神经网络模型和所述第二神经网络模型进行对抗训练，直至所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像相同的判别结果，其中，经过对抗训练的所述第一神经网络模型为所述预先经过训练的像素对齐模型。

9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至3中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至3中任一项所述的图像处理方法的步骤。

Images