CN112950502B - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置、电子设备、存储介质，其中，所述图像处理方法包括：获取多张可见光图像和多张不可见光图像；基于所述多张不可见光图像，确定图像配准参数；基于所述图像配准参数，对所述多张可见光图像进行配准。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。

背景技术

目前，针对视频降噪主要有两类方法：一类是空域降噪方法，另一类是时域降噪方法。空域降噪方法仅需要对当前视频帧进行处理，而时域降噪方法需要参考除当前视频帧以外的视频帧(简称为参考帧)来对当前视频帧进行处理。对于时域降噪方法来说，在进行降噪处理之前需要将参考帧与当前视频帧进行配准，目前的配准方法具有配准出错率较高的问题。

发明内容

为解决上述技术问题，本申请实施例提供了一种图像处理方法及装置、电子设备、存储介质。

本申请实施例提供了一种图像处理方法，所述方法包括：

获取多张可见光图像和多张不可见光图像；

基于所述多张不可见光图像，确定图像配准参数；

基于所述图像配准参数，对所述多张可见光图像进行配准。

在本申请一些可选实施方式中，所述获取多张可见光图像和多张不可见光图像，包括：

获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系。

在本申请一些可选实施方式中，所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应；

所述基于所述多张不可见光图像，确定图像配准参数，包括：

从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；

从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；

基于所述至少一对特征点的坐标信息，确定图像配准参数。

在本申请一些可选实施方式中，所述方法还包括：

基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。

在本申请一些可选实施方式中，所述基于所述图像配准参数，对所述多张可见光图像进行配准，包括：

基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。

在本申请一些可选实施方式中，所述方法还包括：

对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

在本申请一些可选实施方式中，所述对所述第五图像和所述第一图像进行图像融合处理，包括：

将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

在本申请一些可选实施方式中，所述对所述第五图像和所述第一图像进行图像融合处理，包括：

生成运动掩码图像，所述运动掩码图像用于确定运动区域和非运动区域；

将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；

将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

在本申请一些可选实施方式中，所述生成运动掩码图像，包括：

将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；

其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

在本申请一些可选实施方式中，所述不可见光图像为红外图像。

本申请实施例提供了一种图像处理装置，所述装置包括：

获取单元，用于获取多张可见光图像和多张不可见光图像；

参数确定单元，用于基于所述多张不可见光图像，确定图像配准参数；

图像配准单元，用于基于所述图像配准参数，对所述多张可见光图像进行配准。

在本申请一些可选实施方式中，所述获取单元，用于获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系。

在本申请一些可选实施方式中，所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应；

所述参数确定单元，用于从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；基于所述至少一对特征点的坐标信息，确定图像配准参数。

在本申请一些可选实施方式中，所述参数确定单元，还用于基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。

在本申请一些可选实施方式中，所述图像配准单元，用于基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。

在本申请一些可选实施方式中，所述装置还包括：

图像融合单元，用于对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

在本申请一些可选实施方式中，所述图像融合单元，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

在本申请一些可选实施方式中，所述图像融合单元，用于生成运动掩码图像，所述运动掩码图像用于确定运动区域和非运动区域；将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

在本申请一些可选实施方式中，所述图像融合单元，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

在本申请一些可选实施方式中，所述不可见光图像为红外图像。

本申请实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的图像处理方法。

本申请实施例的技术方案，基于多张不可见光图像确定图像配准参数，相较于直接基于多张可见光图像确定图像配准参数，由于不可见光图像的暗部信息更为丰富，采集到的真实物体的特征更为准确，这样，在计算图像配准参数会更为精准，通过该图像配准参数对多张可见光图像进行配准，提高了多张可见光图像的配准准确度，为后续对可见光图像进行降噪处理提供了保障。

附图说明

图1是本申请实施例提供的一种时域降噪的流程图；

图2是本申请实施例提供的图像处理方法的流程示意图；

图3是本申请实施例提供的可见光图像序列和不可见光图像序列之间的对应关系示意图；

图4是本申请实施例提供的根据运动掩码图像进行图像融合的流程图；

图5是本申请实施例提供的原理示意图一；

图6是本申请实施例提供的计算配准变换矩阵的流程示意图；

图7是本申请实施例提供的原理示意图二；

图8是本申请实施例提供的分区域确定配准变换参数的示意图；

图9是本申请实施例提供的图像处理装置的结构组成示意图；

图10是本申请实施例的电子设备的结构组成示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明，需要说明的是，以下相关技术的描述是用于理解本申请实施例的技术方案，并不造成对本申请实施例技术方案的限定。

目前，针对视频降噪主要有两类方法：一类是空域降噪方法，另一类是时域降噪方法。空域降噪方法是仅针对单独一帧图像的降噪方法，具体地，在单独一帧图像中进行邻域分析和处理并实现噪声滤除，作为示例，空域降噪方法可以通过双边滤波算法、或者非局部均值(Non-Local Means)算法来实现；而时域降噪方法是参考除当前视频帧以外的视频帧(简称为参考帧)的信息进行分析和处理的降噪方法，例如将当前帧的前一帧作为参考帧，由于时域噪声在时域上是闪动的而真实信息是不变的，有参考帧的加入则能更好地区分真实的图像信息和噪声，如此便可更准确地去除噪声。

图1是一个较为典型的视频时域降噪的流程图，如图1所示，对参考帧进行图像配准，使得配准后的参考帧与当前帧对齐；配准后的参考帧与当前帧进行图像融合处理，也即实现了去噪处理，得到去噪输出帧。需要指出的是，去噪输出帧可以理解为当前帧去噪后的帧图像。

在图1所示的流程图中，图像配准这一步骤为关键步骤。由于在连续视频帧中，每一帧的拍摄位置都可能移动，每一帧中也都可能有运动物体，那么在相邻两帧中图像信息可能会有偏移，如果一个物体在相邻两帧中的相对位置不一致的话，后续的图像融合处理则不能够区分出相邻两帧上的同一点。图像配准算法则是处理这一问题的关键，通过图像配准算法可以分析出相邻两帧各自的典型特征，根据特征匹配将相邻两帧的图像信息进行位置上的对齐。

在一些方案中，图像配准算法都是采用特征点匹配的方案，所谓特征点就是图像中特征较为明显的点，如角点。这种方案的缺点在于，在较为阴暗的场景下，例如夜景下漆黑的街道，视频中的画面信息会非常暗，难以提取出画面中真实的特征点，而且夜景下噪声也非常大，会干扰图像真实信息的判断，导致图像配准出错，从而会使视频经过时域降噪后出现较为严重的鬼影等问题。

为此，提出了本申请实施例的以下技术方案，本申请实施例的技术方案中，利用第一图像传感器和第二图像传感器，同时采集可见光图像序列和不可见光图像序列，通过不可见光图像序列确定适用于可见光图像序列的图像配准参数，能够提高可见光图像序列的图像配准准确度，进而可以辅助提升可见光图像序列的信噪比。

本申请实施例提供的图像处理方法应用于图像处理装置，该图像处理装置可设置在电子设备上。在一些实施方式中，该电子设备例如是：手机、平板电脑、穿戴式设备、互动广告机、游戏机、台式机、一体机、车载终端等等。

以下对本申请实施例提供的图像处理方法以及图像处理装置进行说明。

图2是本申请实施例提供的图像处理方法的流程示意图，如图2所示，所述图像处理方法包括以下步骤：

步骤201：获取多张可见光图像和多张不可见光图像。

本申请实施例中，电子设备具有第一图像传感器和第二图像传感器，其中，第一图像传感器用于采集可见光图像，第二图像传感器用于采集不可见光图像。在一些可选实施方式中，所述不可见光图像为红外图像。

在一些可选实施例中，所述第一图像传感器为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器(Sensor)，所述第二图像传感器为红外线(Infrared，IR)传感器(Sensor)。其中，CMOS Sensor用于采集(也可以称为捕捉或者拍摄)可见光图像，具体地，CMOS Sensor采集的是场景中的可见光波段，这里，可见光波段为红(R)，绿(G)，蓝(B)波段，可见光波段经过处理器(如图像信号处理器(ImageSignal Processing，ISP))处理后则呈现出彩色的图像，称为可见光图像，作为示例，可见光图像的数据格式可以是YUV格式。IR Sensor用于采集不可见光图像，具体地，IRSensor采集的是场景中的频率低于红光的红外光(或者称为红外线)，由于高于绝对零度的物质都可以产生红外线，所以即使在极暗环境，IR Sensor都可以采集到环境中各物体产生的红外线，可见，通过IR Sensor采集到的红外图像可以包含较暗环境下的物体信息。

本申请实施例中，获取多张可见光图像和多张不可见光图像，包括：获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系。

这里，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系，是指：在同一时刻或者同一时间周期内采集到的可见光图像和不可见光图像具有对应关系。举个例子，参照图3，第一图像传感器和第二图像传感器同时进行图像序列的采集，得到可见光图像序列(也即原始图像序列)和不可见光图像序列(如红外图像序列)。在t1时刻，第一图像传感器采集到可见光图像1，第二图像传感器采集到不可见光图像1，可见光图像1和不可见光图像1对应。在t2时刻，第一图像传感器采集到可见光图像2，第二图像传感器采集到不可见光图像2，可见光图像2和不可见光图像2对应。在t3时刻，第一图像传感器采集到可见光图像3，第二图像传感器采集到不可见光图像3，可见光图像3和不可见光图像3对应。以此类推，第一图像传感器采集到的多张可见光图像和第二图像传感器采集到的多张不可见光图像按照采集时刻具有对应关系。

步骤202：基于所述多张不可见光图像，确定图像配准参数。

这里，第一图像传感器采集到的可见光图像(也即原始图像)在较暗场景(如夜景)下的信噪比相对较差，可见光图像中暗部信息的可见度较低，若直接对第一图像传感器输出的多张可见光图像进行配准(即相对位置配准)，则配准出错率可能较高；第二图像传感器采集到的不可见光图像无论在较亮场景还是较暗场景下，其中的暗部信息的可见度较高，即使在视觉难以感知的场景第二图像传感器依然能够采集到场景的真实信息；由于第一图像传感器与第二图像传感器同时采集图像，因此，多张可见光图像的相对位置关系与多张不可见光图像的相对位置关系近似。

综上考虑，可以基于多张不可见光图像确定图像配准参数，然后利用该图像配准参数对多张可见光图像进行配准。下面以“多张”为“两张”对本申请实施例的技术方案进行说明，需要指出的是，“两张以上”的方案同样适用于本申请实施例的技术方案。

在一些可选实施方式中，所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应。作为示例，第一图像传感器和第二图像传感器在同一时刻(如第一时刻)分别采集了第一图像和第三图像，因此所述第一图像和所述第三图像对应；第一图像传感器和第二图像传感器在同一时刻(如第二时刻)分别采集了第二图像和第四图像，因此所述第二图像和所述第四图像对应。

上述方案中，第一图像的采集时刻位于第二图像的采集时刻之后，第三图像的采集时刻位于第四图像的采集时刻之后。作为示例，第一图像和第三图像分别为第一图像传感器当前采集的可见光图像和不可见光图像，第二图像和第四图像分别为第一图像传感器之前采集的可见光图像和不可见光图像。作为示例，第二图像是第一图像的前一帧图像，可以将第一图像称为第一当前帧，将第二图像称为第一参考帧；第四图像是第三图像的前一帧图像，可以将第三图像称为第二当前帧，将第四图像称为第二参考帧。其中，第二当前帧例如是红外当前帧，第二参考帧例如是红外参考帧。

本申请实施例中，图像配准参数是指一个图像相对于另一个图像的图像配准参数，例如图像配准参数是指图像A相对于图像B的图像配准参数，通过图像A与图像配准参数相乘，可以得到配准后的图像A，并且配准后的图像A和图像B是对齐的。由于第一图像传感器采集到的多张可见光图像和第二图像传感器采集到的多张不可见光图像按照采集时刻具有对应关系，因此多张不可见光图像对应的图像配准参数，与多张可见光图像对应的图像配准参数一致，因此，可以根据多张不可见光图像确定图像配准参数，然后将该图像配准参数应用于多张可见光图像，从而实现对多张可见光图像的配准。以下对如何根据多张不可见光图像确定图像配准参数进行说明。

本申请实施例中，从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；基于所述至少一对特征点的坐标信息，确定图像配准参数。

举个例子：第三图像为红外当前帧，第四图像为红外参考帧，红外参考帧可以是红外当前帧的前一帧图像。1)对红外当前帧和红外参考帧进行特征点的提取，得到红外当前帧中的第一特征点集以及红外参考帧中的第二特征点集。这里，第一特征点集和第二特征点集中包括的特征点的数目可以相同，也可以不同，本申请实施例的技术方案对此不作限制。具体实现时，可采用Harris算法、或者尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法等特征点提取算法来实现特征点的提取。作为示例，特征点提取算法的原理是：根据图像中每一个像素点的邻域信息判断该像素点坐在的位置是否为特征显著的点，如是否为处于物体棱角上的点，从而判断该点是否属于特征点。2)匹配红外当前帧和红外参考帧中提取出的特征点，并根据匹配的特征点计算图像配准参数。这里，图像配准参数可以体现为一个矩阵，称为配准变换矩阵。配准变换矩阵为3×3的矩阵，即配准变换矩阵包括9个参数。作为示例，配准变换矩阵是一个仿射变换矩阵，配准变换矩阵的最后一行可以是(0，0，1)，以下给出了配准变换矩阵的一个示例：

其中，a，b，c，d，e，f为配准变换矩阵中需要确定的参数。

假设第一特征点集中的特征点A与第二特征点集中的特征点a匹配，特征点A的坐标为(x1，y1，1)，特征点a的坐标为(x2，y2，1)，那么，这两个特征点的坐标满足如下公式：

将多对匹配的特征点拟合上述公式，可以确定出配准变换矩阵中的各个参数，从而确定出配准变换矩阵。具体实现时，可采用随机抽样一致(Random Sample Consensus，RANSAC)算法等算法来实现匹配特征点以及计算配准变换矩阵。RANSAC算法的原理是：随机抽取两帧图像中的特征点，将特征点对应的坐标向量进行匹配，根据匹配的特征点的坐标向量拟合出配准变换矩阵。

在一些可选实施方式中，第一图像传感器与第二图像传感器共用同一镜头组件(简称为镜组)，对于这种情况，可以理解为，第一图像传感器与第二图像传感器在电子设备上的位置相同，第一图像传感器采集到的可见光图像和第二图像传感器采集到的不可见光图像没有位置偏差，可以直接根据由不可见光图像确定的图像配准参数来对可见光图像进行配准。

在一些可选实施方式中，第一图像传感器与第二图像传感器分别使用不同的镜头组件，对于这种情况，可以理解为，第一图像传感器与第二图像传感器在电子设备上的位置有细小偏差，第一图像传感器采集到的可见光图像和第二图像传感器采集到的不可见光图像存在位置偏差，为了弥补这种偏差，需要对由不可见光图像确定的图像配准参数进行调整。具体地，基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。这里，标定数据可以是电子设备出厂时的标定数据，该标定数据与第一图像传感器和第二图像传感器的相对位置关系有关，通过该标定数据对图像配准参数进行调整，可以实现不可见光图像向可见光图像进行位置对齐，从而得到可以给可见光图像使用的图像配准参数。

步骤203：基于所述图像配准参数，对所述多张可见光图像进行配准。

在一些可选实施方式中，图像配准参数基于多张不可见光图像中的第三图像和第四图像确定，其中，第三图像与多张可见光图像中的第一图像对应，第四图像与多张可见光图像中的第二图像对应。基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。这里，第五图像是指第二图像进行变换后得到的图像，该图像与第一图像是对齐的。

举个例子：第一图像为CMOS Sensor输出的当前帧，第二图像为CMOS Sensor输出的参考帧，参考帧可以是当前帧的前一帧图像。参考帧根据配准变换矩阵进行变换，得到与当前帧对齐的参考帧。具体地，参考帧中各个像素点的坐标乘以配准变换矩阵后得到新坐标，各个像素点按照新坐标重排后则完成了变换，此时，当前帧和参考帧完成了对齐操作。

通过本申请实施例的上述技术方案完成第一图像和第二图像的配准后，可以融合第一图像和配准后的第二图像(即第五图像)，从而完成时域去噪。具体地，对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

在一些可选实施方式中，可以采用以下方式完成对所述第五图像和所述第一图像进行图像融合处理：

方式一：将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

举个例子：假设图像的像素为N×M，N和M为正整数，那么，第五图像中的坐标为(xi，yj，1)的像素点的像素值和第一图像中的坐标为(xi，yj，1)的像素点的像素值求平均，得到第六图像中的坐标为(xi，yj，1)的像素点的像素值。其中，i为大于等于1且小于等于N的正整数，j为大于等于1且小于等于M的正整数。

方式二：生成运动掩码(Mask)图像，所述运动掩码图像用于确定运动区域和非运动区域；将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

这里，为了更精准的去噪，可以对图像进行运动检测，具体地，通过对第五图像和第一图像进行比较，确定出图像中的运动区域和非运动区域。具体实现时，通过生成掩码图像来体现图像中哪些是运动区域，哪些是非运动区域。

在一些可选实施方式中，可以通过以下方式生成掩码图像：将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

举个例子：假设图像的像素为N×M，N和M为正整数，i为大于等于1且小于等于N的正整数，j为大于等于1且小于等于M的正整数，若坐标(xi，yj，1)位于运动区域，则第六图像中的坐标为(xi，yj，1)的像素点的像素值等于第一图像中的坐标为(xi，yj，1)的像素点的像素值；若坐标(xi，yj，1)位于非运动区域，则第六图像中的坐标为(xi，yj，1)的像素点的像素值等于第五图像中的坐标为(xi，yj，1)的像素点的像素值和第一图像中的坐标为(xi，yj，1)的像素点的像素值的平均值。

在一些可选实施方式中，可以通过以下方式生成掩码图像：将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，将差值与阈值进行比较，若差值大于等于阈值，则将运动掩码图像中对应的像素点的像素值设置为1，若差值小于阈值，则将运动掩码图像中对应的像素点的像素值设置为0；其中，所述运动掩码图像中的像素值为1的像素点形成的区域为运动区域，所述运动掩码图像中的像素值为0的像素点形成的区域为非运动区域。

通过上述方案确定出图像中的运动区域和非运动区域后，第五图像和第一图像的图像融合方式为：运动区域仅采用第一图像的各个像素点的像素值，非运动区域则采用第一图像的各个像素点的像素值与第五图像的各个像素点的像素值对应求平均。

举个例子：参照图4，第二图像经过配准变换后得到第五图像，第五图像与第一图像是对齐的，根据第五图像和第一图像的差值可以得到运动掩码图像，参考该运动掩码图像对第一图像和第五图像进行图像融合处理，其中，第五图像和第一图像的图像融合方式为：运动区域仅采用第一图像的各个像素点的像素值，非运动区域则采用第一图像的各个像素点的像素值与第五图像的各个像素点的像素值对应求平均。

以下再结合图5至图7对本申请实施例的技术方案进行说明。需要说明的是，在图5至图7相关的实施例中，以第一图像传感器为CMOS Sensor，第一图像传感器采集到的第一图像和第二图像分别称为当前帧和参考帧，第二图像传感器为IR Sensor，第二图像传感器采集到的第三图像和第四图像分别称为红外当前帧和红外参考帧，为例进行说明。

参照图5，CMOS Sensor输出原始图像序列(即原始视频)，IR Sensor输出红外图像序列。对IR Sensor输出红外当前帧和红外参考帧进行特征点匹配，根据匹配的特征点的坐标信息计算配准变换矩阵。CMOS Sensor输出的参考帧经过配准变换矩阵进行变换，得到配准后的参考帧，其中，配准后的参考帧是与CMOS Sensor输出的当前帧对齐的。将CMOSSensor输出的当前帧与配准后的参考帧进行图像融合处理，从而得到去噪输出帧，完成对当前帧的去噪处理。当前帧随着时间不断更新变化，从而可以输出连续的视频去噪帧。

对于图5中的配准变换矩阵的计算可以参照图6，分别对红外当前帧和红外参考帧进行特征点提取，然后对红外当前帧中的特征点和红外参考帧中的特征点进行匹配，并基于匹配的特征点的坐标信息计算出配准变换矩阵。将图6所示的流程结合到图5所示的流程中可以得到图7所示的流程，如图7所示，图7所示的流程大致分为两大部分：一部分是红外图像处理，即通过红外图像序列确定配准变换矩阵；另一部分是原始图像处理，即通过配准变换矩阵对原始图像序列进行配准并进行图像融合处理，从而完成视频的降噪。

本申请实施例的上述技术方案，在确定配准变换参数的时候可以不区分图像区域来确定配准变换参数，即整个图像对应一个配准变换参数，对于这种情况，整个图像的各个像素点对应于同一配准变换参数。不局限于此，也可以区分区域来确定配准变换参数，例如参照图8，将图像划分为2个区域，区域1对应配准变换参数1，区域2对应配准变换参数2，这里，每个区域确定其对应的配准变换参数的方法可以参照前述方案，那么，区域1内的各个像素点对应于配准变换参数1，区域2内的各个像素点对应于配准变换参数2。确定出不同区域的配准变换参数后，相应地，对于第一传感器采集到的第二图像也需要分区域进行配准变换，具体地，第二图像的第一区域内的各个像素点的坐标依据配准变换参数1进行变换，第二图像的第二区域内的各个像素点的坐标依据配准变换参数2进行变换。

作为本申请实施例上述技术方案的一种变形，采用本申请实施例的上述技术方案确定配准变换参数的时候可以只针对图像的部分区域，而图像的另一部分区域则可以采用张可见光图像来确定。依然参照图8，将图像划分为2个区域，区域1对应配准变换参数1，该配准变换参数1基于多张不可见光图像中的区域1的匹配特征点确定；区域2对应配准变换参数2，该配准变换参数2基于多张可见光图像中的区域2的匹配特征点确定。在一种应用场景下，区域1可以是图像中的暗部区域，区域2可以是图像中的亮部区域。这里，暗部区域和亮部区域的划分是以可见光图像为依据的，具体实现时，可以分析可见光图像中的当前帧的各个像素点的亮度值，从而划分出暗部区域和亮度区域，针对暗部区域，通过不可见光图像来辅助确定对应的配准变换参数，针对亮部区域，通过可见光图像直接确定对应的配准变换参数。需要说明的是，确定某个区域的配准变换参数的方式均可以参照前述相关方案的描述，具体地，从该区域中提取两张图像的特征点，对特征点进行匹配并基于匹配的特征点的坐标信息计算该区域对应的配准变换参数。

作为本申请实施例上述技术方案的一种变形，图像融合处理阶段可以采用更多帧数进行图像融合处理而不只是两帧，对于这种情况，需要对多帧可见光图像进行配准，例如需要对L帧可见光图像进行配准，L为大于2的整数，那么，需要对L帧可见光图像对应的L帧不可见光图像进行分析，确定出L-1个配准变换参数，以L＝3为例，可以确定出不可见光图像1和不可见光图像2之间的配准变换参数，以及不可见光图像1和不可见光图像3之间的配准变换参数，如此，可以通过不可见光图像1和不可见光图像2之间的配准变换参数实现将可见光图像1和可见光图像2进行配准，通过不可见光图像1和不可见光图像3之间的配准变换参数实现将可见光图像1和可见光图像3进行配准，如此，就完成了可见光图像1，可见光图像2和可见光图像3之间的配准，通过对配准后的可见光图像1，可见光图像2和可见光图像3进行图像融合处理，可以获得更好的去噪效果。作为示例，不可见光图像1可以是当前红外帧，不可见光图像2可以是当前红外帧的前一帧红外帧，不可见光图像3可以是当前红外帧的前两帧红外帧，可见光图像1可以是当前帧，可见光图像2可以是当前帧的前一帧，可见光图像3可以是当前帧的前两帧。

本申请实施例的技术方案，通过分析第二图像传感器输出的不可见光图像，得到配准变换参数，相较于直接从第一图像传感器输出的原始图像中计算配准变换参数，不可见光图像的暗部信息更为丰富，采集到的真实物体特征更为准确，这样计算出的配准变换参数会更为精准，通过该配准变换参数对可见光图像进行配准后，可以在后续进行多帧去噪时避免产生鬼影或拖影现象。对于较暗场景，视频拍摄本身的噪点较大，且暗部信息不清晰，需要通过相邻帧间的多帧去噪来去除噪声和恢复信息，而暗部噪点和可见度低的问题会阻碍多帧去噪的效果，不可见光图像的利用刚好弥补这一不足，使得即使在很暗的环境依然可以计算出准确地配准变换参数，推动时域降噪更好的进行。

图9是本申请实施例提供的图像处理装置的结构组成示意图，如图9所示，所述图像处理装置包括：

获取单元901，用于获取多张可见光图像和多张不可见光图像；

参数确定单元902，用于基于所述多张不可见光图像，确定图像配准参数；

图像配准单元903，用于基于所述图像配准参数，对所述多张可见光图像进行配准。

在本申请一些可选实施方式中，所述获取单元901，用于获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系。

在本申请一些可选实施方式中，所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应；

所述参数确定单元902，用于从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；基于所述至少一对特征点的坐标信息，确定图像配准参数。

在本申请一些可选实施方式中，所述参数确定单元902，还用于基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。

在本申请一些可选实施方式中，所述图像配准单元903，用于基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。

在本申请一些可选实施方式中，所述装置还包括：

图像融合单元904，用于对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

在本申请一些可选实施方式中，所述图像融合单元904，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

在本申请一些可选实施方式中，所述图像融合单元904，用于生成运动掩码图像，所述运动掩码图像用于确定运动区域和非运动区域；将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

在本申请一些可选实施方式中，所述图像融合单元904，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

在本申请一些可选实施方式中，所述不可见光图像为红外图像。

本领域技术人员应当理解，图9所示的图像处理装置中的各单元的实现功能可参照前述图像处理方法的相关描述而理解。图9所示的图像处理装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本申请实施例上述的神经网络的训练装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个存储介质(例如计算机可读取存储介质)中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本申请实施例的上述的方法。

图10是本申请实施例的电子设备的结构组成示意图，如图10所示，电子设备可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。

本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

获取多张可见光图像和多张不可见光图像；

基于所述多张不可见光图像，确定图像配准参数；

基于所述图像配准参数，对所述多张可见光图像进行配准；其中，所述获取多张可见光图像和多张不可见光图像，包括：

获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系；

所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应；

所述基于所述多张不可见光图像，确定图像配准参数，包括：

从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；

从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；

基于所述至少一对特征点的坐标信息，确定图像配准参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图像配准参数，对所述多张可见光图像进行配准，包括：

基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

5.根据权利要求4所述的方法，其特征在于，所述对所述第五图像和所述第一图像进行图像融合处理，包括：

将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

6.根据权利要求4所述的方法，其特征在于，所述对所述第五图像和所述第一图像进行图像融合处理，包括：

生成运动掩码图像，所述运动掩码图像用于确定运动区域和非运动区域；

将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；

将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

7.根据权利要求6所述的方法，其特征在于，所述生成运动掩码图像，包括：

将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；

其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述不可见光图像为红外图像。

9.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取多张可见光图像和多张不可见光图像；

参数确定单元，用于基于所述多张不可见光图像，确定图像配准参数；

图像配准单元，用于基于所述图像配准参数，对所述多张可见光图像进行配准；

所述获取单元，用于获取第一图像传感器采集的多张可见光图像，以及第二图像传感器采集的多张不可见光图像，其中，所述多张可见光图像与所述多张不可见光图像按照采集时刻具有对应关系；所述多张可见光图像包括第一图像和第二图像，所述多张不可见光图像包括第三图像和第四图像，其中，所述第一图像和所述第三图像对应，所述第二图像和所述第四图像对应；

所述参数确定单元，用于从所述第三图像中提取第一特征点集，以及从所述第四图像中提取第二特征点集；从所述第一特征点集和所述第二特征点集中，确定出具有匹配关系的至少一对特征点；基于所述至少一对特征点的坐标信息，确定图像配准参数。

10.根据权利要求9所述的装置，其特征在于，所述参数确定单元，还用于基于标定数据，对所述图像配准参数进行调整；其中，所述标定数据基于所述第一图像传感器和所述第二图像传感器的相对位置关系确定。

11.根据权利要求9所述的装置，其特征在于，所述图像配准单元，用于基于所述图像配准参数对所述第二图像进行变换，得到与所述第一图像配准的第五图像。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

图像融合单元，用于对所述第五图像和所述第一图像进行图像融合处理，得到第六图像，所述第六图像为所述第一图像去除噪声后的图像。

13.根据权利要求12所述的装置，其特征在于，所述图像融合单元，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求平均，得到第六图像中的各个像素点的像素值。

14.根据权利要求12所述的装置，其特征在于，所述图像融合单元，用于生成运动掩码图像，所述运动掩码图像用于确定运动区域和非运动区域；将所述第一图像中的运动区域内的各个像素点的像素值，确定为第六图像中的运动区域内的各个像素点的像素值；将所述第五图像中的非运动区域内的各个像素点的像素值与所述第一图像中的非运动区域内的各个像素点的像素值对应求平均，得到所述第六图像中的非运动区域内的各个像素点的像素值。

15.根据权利要求14所述的装置，其特征在于，所述图像融合单元，用于将所述第五图像中的各个像素点的像素值与所述第一图像中的各个像素点的像素值对应求差值，得到运动掩码图像中的各个像素点的像素值；其中，所述运动掩码图像中的像素值大于等于阈值的像素点形成的区域为运动区域，所述运动掩码图像中的像素值小于所述阈值的像素点形成的区域为非运动区域。

16.根据权利要求9至15中任一项所述的装置，其特征在于，所述不可见光图像为红外图像。

17.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。