CN110490811A - 图像降噪装置及图像降噪方法 - Google Patents

Abstract

本申请公开了一种图像降噪装置及图像降噪方法，属于计算机视觉技术领域。在本申请中，在本申请中，第一图像信号是近红外光图像信号，第二图像信号是可见光图像信号，由于近红外光图像信号具有高信噪比，因此，图像降噪单元引入第一图像信号，对第一图像信号和第二图像信号进行联合降噪，可以更为准确的区分图像中的噪声和有效信息，从而可以有效的避免图像拖尾以及图像细节损失。

Description

图像降噪装置及图像降噪方法

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种图像降噪装置及图像降噪方法。

背景技术

目前，各种各样的拍摄设备被广泛的应用于诸如智能交通、安保等领域。其中，由于拍摄得到的图像中存在较多的噪声信息，因此，为了提高拍摄的图像的质量，可以对拍摄得到的图像进行降噪处理。相关技术中提供了一种对可见光图像进行时域降噪的方法。在该方法中可以对可见光图像中像素点所处分块的量化噪声进行动静判决，从而在动静不同的图像区域内采用不同强度进行降噪处理。

然而，在环境光强度较弱的情况下，可见光图像中的噪声信息很可能将有效信息淹没，从而导致无法准确进行动静判决，进而导致降噪后的图像中存在图像拖尾问题，且图像细节信息损失。

发明内容

本申请实施例提供了一种图像降噪装置和图像降噪方法，可以提高拍摄图像的图像质量。所述技术方案如下：

一方面，提供了一种图像降噪装置，所述图像融合设备包括图像采集单元和图像处理单元；

所述图像降噪装置包括图像获取单元和图像降噪单元；

所述图像获取单元，用于获取第一图像信号和第二图像信号，其中，所述第一图像信号为近红外光图像信号，所述第二图像信号为可见光图像信号；

所述图像降噪单元用于对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

另一方面，提供一种图像降噪方法，所述方法包括：

获取第一图像信号和第二图像信号，其中，所述第一图像信号为近红外光图像信号，所述第二图像信号为可见光图像信号；

对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

本申请实施例提供的技术方案带来的有益效果是：

在本申请中，第一图像信号是近红外光图像信号，第二图像信号是可见光图像信号，由于近红外光图像信号具有高信噪比，因此，图像降噪单元引入第一图像信号，对第一图像信号和第二图像信号进行联合降噪，可以更为准确的区分图像中的噪声和有效信息，从而可以有效的避免图像拖尾以及图像细节损失。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像降噪装置的结构示意图。

图2是本申请实施例提供的第一种图像降噪单元的结构示意图。

图3是本申请实施例提供的第二种图像降噪单元的结构示意图。

图4是本申请实施例提供的第三种图像降噪单元的结构示意图。

图5是本申请实施例提供的一种图像获取单元的结构示意图。

图6是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图。

图7是本申请实施例提供的一种第一滤光片通过的光的波长与通过率之间的关系的示意图。

图8是本申请实施例提供的第二种图像采集装置的结构示意图。

图9是本申请实施例提供的一种RGB传感器的示意图。

图10是本申请实施例提供的一种RGBW传感器的示意图。

图11是本申请实施例提供的一种RCCB传感器的示意图。

图12是本申请实施例提供的一种RYYB传感器的示意图。

图13是本申请实施例提供的一种图像传感器的感应曲线示意图。

图14是本申请实施例提供的一种卷帘曝光方式的示意图。

图15是本申请实施例提供的第一种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图16是本申请实施例提供的第二种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图17是本申请实施例提供的第三种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图18是本申请实施例提供的第一种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图19是本申请实施例提供的第二种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图20是本申请实施例提供的第三种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图21是本申请实施例提供的一种图像降噪方法的流程图。

附图标记：

011：图像传感器，012：补光器，013：滤光组件；014：镜头；

0121：第一补光装置，0122：第二补光装置，0131：第一滤光片。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种图像降噪装置的结构示意图。如图1所示，该图像降噪装置包括图像获取单元01和图像降噪单元02；

其中，图像获取单元01，用于获取第一图像信号和第二图像信号，第一图像信号为近红外光图像信号，第二图像信号为可见光图像信号；图像降噪单元02用于对第一图像信号和第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

在本申请中，第一图像信号是近红外光图像信号，第二图像信号是可见光图像信号，由于近红外光图像信号具有高信噪比，因此，图像降噪单元引入第一图像信号，对第一图像信号和第二图像信号进行联合降噪，可以更为准确的区分图像中的噪声和有效信息，从而可以有效的避免图像拖尾以及图像细节损失。

需要说明的是，参见图1，在一些可能的情况下，该图像降噪装置中还可以包括图像融合单元03和图像预处理单元04。

下面对该图像降噪装置中包括的图像获取单元01、图像降噪单元02、图像融合单元03和图像预处理单元04分别进行说明。

1、图像降噪单元02

在本申请实施例中，当图像获取单元01获取第一图像信号和第二图像信号之后。由图像降噪单元02对第一图像信号和第二图像信号进行联合降噪处理，得到近红外光降噪图像和可见光降噪图像。或者，当图像预处理单元输出第一图像和第二图像时，由图像降噪单元02对第一图像和第二图像进行处理。在本申请实施例中，以图像降噪单元02对第一图像信号和第二图像信号进行联合降噪为例来进行解释说明。对于第一图像和第二图像的情况，可以参考本申请实施例对第一图像信号和第二图像信号的处理方式。

在一些可能的实现方式中，参见图2，图像降噪单元02可以包括时域降噪单元021。其中，时域降噪单元021用于根据第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据运动估计结果对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据运动估计结果对第二图像信号进行时域滤波处理，得到可见光降噪图像。

需要说明的是，参见图3，该时域降噪单元021可以包括运动估计单元0211 和时域滤波单元0212。

在一些示例中，该运动估计单元0211可以用于根据第一图像信号和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度，其中，第一历史降噪图像是指对所述第一图像信号的前N帧图像中的任一帧图像进行降噪后的图像；该时域滤波单元0212用于根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的第一时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像。

示例性地，该运动估计单元0211可以将第一图像信号中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像，将该原始帧差图像作为第一帧差图像。

或者，该运动估计单元0211可以将第一图像信号中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像。之后，对该原始帧差图像进行处理，从而得到第一帧差图像。其中，对原始帧差图像进行处理，可以是指对原始帧差图像进行空域平滑处理或分块量化处理。

在得到第一帧差图像之后，该运动估计单元0211可以根据第一帧差图像中的每个像素点和多个第一帧差阈值确定每个像素点的第一时域滤波强度。其中，第一帧差图像中的每个像素点均对应的一个第一帧差阈值，且各个像素点对应的第一帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第一帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元0211可以将第一图像信号的上一帧图像与第一历史降噪图像进行作差处理，从而得到第一噪声强度图像，根据第一噪声强度图像中每个像素点的噪声强度确定第一帧差图像中相应位置处的像素点的第一帧差阈值。当然，每个像素点对应的第一帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。

对于第一帧差图像中的每个像素点，该运动估计单元0211可以根据该像素点的帧差和该像素点对应的第一帧差阈值，通过下述公式(1)来确定得到相应像素点的第一时域滤波强度。

其中，(x,y)为像素点在图像中的位置；α_nir(x,y)是指坐标为(x,y)的像素点的第一时域滤波强度，dif_nir(x,y)是指该像素点在第一帧差图像中的帧差， dif_thr_nir(x,y)是指该像素点对应的第一帧差阈值。

需要说明的是，对于第一帧差图像中的每个像素点，像素点的帧差相较于第一帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点所对应的运动级别越小。而由上述公式(1)可知，对于任意一个像素点，该像素点的帧差相对于第一帧差阈值越小，则该像素点的第二时域滤波强度越大。其中，运动级别用于指示运动的剧烈程度，运动级别越大，则说明运动越剧烈。第一时域滤波强度的取值可以在0到1之间。

在确定第一图像信号中每个像素点的第一时域滤波强度之后，则时域滤波单元0212可以直接根据第一时域滤波强度分别对第一图像信号和第二图像信号进行时域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。

需要说明的是，当第一图像信号的图像质量明显优于第二图像信号时，由于第一图像信号是近红外光图像信号，具有高信噪比，因此，利用第一图像信号中每个像素点的第一时域滤波强度对第二图像信号进行时域滤波处理，可以更为准确的区分图像中的噪声和有效信息，从而避免降噪后的图像中图像细节信息的损失以及图像拖尾的问题。

需要说明的是，在一些可能的情况中，运动估计单元0211可以根据第一图像信号和至少一个第一历史降噪图像生成至少一个第一帧差图像，并根据至少一个帧差图像和每个帧差图像对应的多个第一帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度。

其中，至少一个历史降噪图像是指对所述第一图像信号的前N帧图像进行降噪得到的图像。对于该至少一个第一历史降噪图像中的每个第一历史降噪图像，该运动估计单元0211可以根据该第一历史降噪图像和第一图像信号，参考前述介绍的相关实现方式来确定对应的第一帧差图像。之后，该运动估计单元 0211可以根据每个第一帧差图像以及每个第一帧差图像对应的多个第一帧差阈值，参考前述相关实现方式确定每个第一帧差图像中每个像素点的时域滤波强度。之后，该运动估计单元0211可以将对各个第一帧差图像中相对应的像素点的时域滤波强度进行融合，从而得到每个像素点对应的第一时域滤波强度。或者，对于任一像素点，运动估计单元0211可以从至少一个第一帧差图像中该像素点的至少一个时域滤波强度中选择所表示的运动级别最大的时域滤波强度，进而将选择的时域滤波强度作为该像素点的第一时域滤波强度。

在另一些示例中，该运动估计单元0211可以根据第一图像信号和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度，第一历史降噪图像是指对第一图像信号的前N帧图像中的任一帧图像进行降噪后的图像；运动估计单元0211还用于根据第二图像信号和第二历史降噪图像生成第二帧差图像，根据第二帧差图像和多个第二帧差阈值确定第二图像信号中每个像素点的第二时域滤波强度，第二历史降噪图像是指对第二图像信号的前N帧图像中的任一帧图像进行降噪后的图像；运动估计单元0211还用于根据第一图像信号中每个像素点的第一时域滤波强度和第二图像信号中每个像素点的第二时域滤波强度确定每个像素点的联合时域滤波强度；时域滤波单元0212用于根据每个像素点的第一时域滤波强度或联合时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像。

也即，运动估计单元0211不仅可以通过前述介绍的实现方式确定第一图像信号中每个像素点的第一时域滤波强度，还可以确定第二图像信号中每个像素点的第二时域滤波强度。

在确定每个像素点的第二时域滤波强度时，该运动估计单元0211可以首先将第二图像信号中的每个像素点和第二历史降噪图像中对应的像素点进行作差处理，得到第二帧差图像。其中，除此之外，第一图像信号和第二图像信号是对齐的。

在得到第二帧差图像之后，该运动估计单元0211可以根据第二帧差图像中的每个像素点和多个第二帧差阈值确定每个像素点的第二时域滤波强度。其中，第二帧差图像中的每个像素点均对应的一个第二帧差阈值，也即，多个第二帧差阈值与第二帧差图像中的每个像素点一一对应。并且，各个像素点对应的第二帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第二帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元0211可以将第二图像信号的上一帧图像与第二历史降噪图像进行作差处理，从而得到第二噪声强度图像，根据第二噪声强度图像中每个像素点的噪声强度确定第二帧差图像中相应位置处的像素点的第二帧差阈值。当然，每个像素点对应的第二帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。

对于第二帧差图像中的每个像素点，该运动估计单元0211可以根据该像素点的帧差和该像素点对应的第二帧差阈值，通过下述公式(2)来确定得到相应像素点的第二时域滤波强度。

其中，α_vis(x,y)是指坐标为(x,y)的像素点的第二时域滤波强度，dif_vis(x,y)表示该像素点在第二帧差图像中的帧差，dif_thr_vis(x,y)表示该像素点对应的第二帧差阈值。

需要说明的是，对于第二帧差图像中的每个像素点，像素点的帧差相对于第二帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点的运动级别越小。而由上述公式(2)可知，对于任意一个像素点，该像素点的帧差相对于第二帧差阈值越小，则该像素点的第二时域滤波强度越大。综上可知，在本申请实施例中，像素点的运动级别越小，则对应的第二时域滤波强度的取值越大。其中，第二时域滤波强度的取值可以在0到1之间。

在确定每个像素点的第一时域滤波强度和第二时域滤波强度之后，该运动估计单元0211可以每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域权重。此时，确定的每个像素点的联合时域权重即为第一图像信号和第二图像信号的运动估计结果。

示例性地，该运动估计单元0211可以通过下式(3)来对每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域滤波强度。

其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为 (x,y)的像素点为中心的局部图像区域，(x+i,y+j)是指该局部图像区域内的像素点坐标，是指以坐标为(x,y)的像素点为中心的局部图像区域内的第一时域滤波强度，是指以坐标为(x,y)的像素点为中心的局部图像区域内的第二时域滤波强度，α_fus(x,y)是指坐标为(x,y)的像素点的联合时域滤波强度。通过局部图像区域内的第一时域滤波强度和第二时域滤波强度来调整第一时域滤波强度、第二时域滤波强度在联合时域滤波强度中的占比，即局部运动级别越大的一方其时域滤波强度占比越大。

需要说明的是，第一时域滤波强度可以用于表示像素点在第一图像信号中的运动级别，第二时域滤波强度可以用于表示像素点在第二图像信号中的运动级别，而通过上述方式确定的联合时域滤波强度同时融合了第一时域滤波强度和第二时域滤波强度，也即，该联合时域滤波强度同时考虑了该像素点在第一图像信号中表现出的运动趋势以及在第二图像信号中表现出的运动趋势。这样，相较于第一时域滤波强度或第二时域滤波强度，该联合时域滤波强度能够更加准确的表征像素点的运动趋势，这样，后续以该联合时域滤波强度进行时域滤波时，可以更有效的去除图像噪声，并且，可以避免由于对像素点的运动级别的误判所导致的图像拖尾等问题。

在一些示例中，在确定每个像素点的第一时域滤波强度和第二时域滤波强度之后，对于任一像素点，该运动估计单元可以从该像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为该像素点的联合时域滤波权重。其中，在选择时，可以选择两个时域滤波强度中表征该像素点的运动级别较大的一个时域滤波强度作为联合时域滤波强度。

在确定每个像素点的联合时域滤波强度之后，时域滤波单元0212可以根据该联合时域滤波强度对第一图像信号和第二图像信号分别进行时域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。

示例性地，时域滤波单元0212可以根据每个像素点的联合时域滤波强度，通过下述公式(4)对第一图像信号和第一历史降噪图像中的每个像素点进行时域加权处理，从而得到近红外光降噪图像，根据每个像素点的联合时域滤波强度，通过下述公式(5)对第二图像信号和第二历史降噪图像中的每个像素点进行时域加权处理，从而得到可见光降噪图像。

其中，是指近红外光降噪图像中坐标为(x,y)的像素点，是指第一历史降噪图像中坐标为(x,y)的像素点，α_fus(x,y)是指坐标为(x,y)的像素点的联合时域滤波强度，I_nir(x,y,t)是指第一图像信号中坐标为(x,y)的像素点，是指可见光降噪图像中坐标为(x,y)的像素点，是指第二历史降噪图像中坐标为(x,y)的像素点，I_vis(x,y,t)是指第二图像信号中坐标为(x,y)的像素点。

或者，考虑到第一图像信号为具有高信噪比的近红外光图像信号，该时域滤波单元0212也可以根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波，得到近红外光降噪图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，从而得到可见光降噪图像。

需要说明的是，由前述对于时域滤波强度与运动级别的关系的介绍可知，在本申请实施例中，对于第一图像信号和第二图像信号中运动越激烈的区域，可以采用越小的时域滤波强度对其进行滤波。

在另一些可能的实现方式中，参见图2，该图像降噪单元02可以包括空域降噪单元022。其中，该空域降噪单元022用于根据第一图像信号和第二图像信号进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据边缘估计结果对第二图像信号进行空域滤波处理，得到可见光降噪图像。

需要说明的是，参见图4，该空域降噪单元022可以包括边缘估计单元0221 和空域滤波单元0222。

在一些示例中，该边缘估计单元0221用于确定第一图像信号中每个像素点的第一空域滤波强度；该空域滤波单元0222用于根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的第一空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像。

示例性地，该边缘估计单元0221可以根据第一图像信号的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第一空域滤波强度。其中，该边缘估计单元0221可以通过下式(6)来生成每个像素点的第一空域滤波强度。

其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为 (x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，img_nir(x,y)是指第一图像信号中坐标为(x,y)的像素点的像素值，δ₁和δ₂是指高斯分布标准差，是指坐标为(x,y)的像素点在该局部图像区域内根据其与像素点(x+i,y+j)之间的差异确定的第一空域滤波强度。

在确定每个像素点的多个第一空域滤波强度之后，空域滤波单元0222可以根据每个像素点的多个第一空域滤波强度分别对第一图像信号和第二图像信号进行空域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。

在另一些示例中，该边缘估计单元0221用于确定第一图像信号中每个像素点的第一空域滤波强度，确定第二图像信号中每个像素点的第二空域滤波强度；对第一图像信号进行局部信息提取，得到第一局部信息，对第二图像信号进行局部信息提取，得到第二局部信息；根据第一空域滤波强度、第二空域滤波强度、第一局部信息和第二局部信息确定每个像素点对应的联合空域滤波强度；该空域滤波单元0222用于根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像。其中，第一局部信息和第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。

也即，该边缘估计单元0221不仅可以通过前述介绍的实现方式确定第一图像信号中每个像素点的第一空域滤波强度，还可以确定第二图像信号中每个像素点的第二时域滤波强度。

在确定每个像素点的第二空域滤波强度时，该边缘估计单元0221可以根据第二图像信号的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第二空域滤波强度。其中，该边缘估计单元0221可以通过下式(7)来生成每个像素点的第一空域滤波强度。

其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为 (x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，img_vis(x,y)是指第二图像信号中坐标为(x,y)的像素点的像素值，δ₁和δ₂是指高斯分布标准差，是指坐标为(x,y)的像素点在该局部图像区域内根据其与像素点(x+i,y+j)之间的差异确定的第二空域滤波强度。

由上述公式6和7可知，对于以坐标为(x,y)的像素点为中心的局部图像区域，该像素点与该局部图像区域内的像素点之间的差异越小，则该像素点对应的多个空域滤波强度越大。也即，该像素点的空域滤波强度的大小与该像素点与对应的局部图像区域内的像素点之间的差异大小呈负相关。

在确定每个像素点的第一空域滤波强度和第二空域滤波强度之后，边缘估计单元0221可以利用Sobel边缘检测算子分别对第一图像信号和第二图像信号进行卷积处理，得到第一纹理图像和第二纹理图像，并以此为权重对每个像素点的多个第一空域滤波强度和多个第二空域滤波强度进行加权处理，生成每个像素点在局部图像区域内的多个联合空域滤波强度。其中，第一纹理图像即为第一局部信息，第二纹理图像即为第二局部信息。

示例性地，Sobel边缘检测算子如下式(8)所示。边缘估计单元0221可以通过下式(9)来生成联合空域滤波强度。

其中，sobel_H是指水平方向上的Sobel边缘检测算子，sobel_V是指垂直方向上的Sobel边缘检测算子；β_fus(x+i,y+j)是指坐标为(x,y)的像素点在其邻域范围Ω内的任一联合空域滤波强度，是指第一纹理图像中坐标为(x,y)的像素点的纹理信息，是指第二纹理图像中坐标为(x,y)的像素点的纹理信息。

需要说明的是，在确定联合空域滤波强度时，通过边缘检测算子进行了相应处理，所以，最终得到的每个像素点的多个联合空域滤波强度越小，则表明该像素点与局部图像区域内的其他像素点之间的差异越大，因此可见，在本申请实施例中，图像中相邻像素点亮度差异越大的区域，联合空域滤波强度越小，而相邻像素点亮度差异较小的区域，联合空域滤波强度则相对较大。也即，在本申请实施例中，在进行空域滤波时，在边缘采用较弱的滤波强度，在非边缘采用较强的滤波强度，从而提高了降噪效果。

在得到联合空域滤波强度之后，时域滤波单元0212可以根据联合空域滤波强度分别对第一修复图像和第二修复图像进行空域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。

或者，考虑到第一图像信号是具有高信噪比的近红外光图像信号，因此，在第一图像信号的质量明显优于第二图像信号时，无需利用第二图像信号的边缘信息来辅助第一图像信号进行空域滤波处理。在这种情况下，该空域滤波单元0222可以根据每个像素点的第一空域滤波强度对第一图像信号进行空域滤波处理。根据每个像素点的联合空域滤波强度对第二图像信号进行空域滤波处理。

示例性地，该空域滤波单元0222可以根据每个像素点的第一空域滤波强度通过下述公式(10)来对第一图像信号中的每个像素点进行空域加权处理，从而得到近红外光降噪图像，根据每个像素点的联合时域滤波强度，通过下述公式(11)对第二图像信号中的每个像素点进行加权处理，从而得到可见光降噪图像。

其中，是指近红外光降噪图像中坐标为(x,y)的像素点，I_nir(x+i,y+j)是指第一图像信号中坐标为(x,y)的像素点的邻域范围内的像素点，β_nir(x+i,y+j) 为坐标为(x,y)的像素点在该邻域范围内的第一空域滤波强度，Ω是指以坐标为 (x,y)的像素点为中心的邻域范围，为可见光降噪图像中坐标为(x,y)的像素点，I_vis(x+i,y+j)是指第二图像信号中坐标为(x,y)的像素点的邻域范围内的像素点，β_fus(x+i,y+j)为坐标为(x,y)的像素点在该邻域范围内的联合空域滤波强度。

值得注意的是，在本申请实施例中，图像降噪单元02也可以同时包括上述的时域降噪单元021和空域降噪单元022。在这种情况下，可以参照前述介绍的相关实现方式，先通过时域降噪单元021对第一图像信号和第二图像信号进行时域滤波，得到的第一时域降噪图像和第二时域降噪图像。之后，再由空域降噪单元022对得到的第一时域降噪图像和第二时域降噪图像进行空域滤波，从而得到近红外光降噪图像和可见光降噪图像。或者，可以先由空域降噪单元022 对第一图像信号和第二图像信号进行空域滤波，得到第一空域降噪图像和第二空域降噪图像。之后，再由时域降噪单元021对得到的第一空域降噪图像和第二空域降噪图像进行时域滤波，从而得到近红外光降噪图像和可见光降噪图像。

2、图像融合单元

在一种可能的实施例中，图像降噪单元02在得到近红外光降噪图像和可见光降噪图像之后，图1中的图像融合单元03可以将近红外光降噪图像和可见光降噪图像进行融合，得到融合图像。

在一种可能的实现方式中，图像融合单元03可以包括第一融合单元。其中，第一融合单元用于通过第一融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到融合图像。

需要说明的是，第一融合处理的可能实现方式可以包括以下几种：

第一种可能的实现方式，第一融合单元可以遍历每个像素位置，根据预设的每个像素位置的融合权重对近红外光降噪图像和可见光降噪图像的相同像素位置处的RGB色彩向量进行融合。

示例性地，第一融合单元22可以通过下述模型(12)来生成融合图像。

img＝img₁*(1-w)+img₂*w (12)

其中，img是指融合图像，img₁是指近红外光降噪图像，img₂是指可见光降噪图像，w是指融合权重。需要说明的是，融合权重的取值范围为(0,1)，例如，融合权重可以为0.5。

需要说明的是，在上述模型(12)中，融合权重也可以是通过对近红外光降噪图像和可见光降噪图像进行处理得到的。

示例性地，第一融合单元可以对近红外降噪图像进行边缘提取，得到第一边缘图像。对可见光降噪图像进行边缘提取，得到第二边缘图像。根据第一边缘图像和第二边缘图像确定每个像素位置的融合权重。

在第二种可能的实现方式，第一融合单元可以将可见光降噪图像中的亮度信号通过低通滤波器进行处理，得到低频信号。将近红外光降噪图像通过高通滤波器进行处理，得到高频信号。将低频信号与高频信号相加，得到融合亮度信号。最后将融合亮度信号和可见光降噪图像中的色度信号进行合成，即可得到融合图像。

第三种可能的实现方式中，第一融合单元可以对近红外光降噪图像进行色彩空间转换，从而分离出第一亮度图像和第一色彩图像。对可见光降噪图像进行色彩空间转换，从而分离出第二亮度图像和第二色彩图像。分别对第一亮度图像和第二亮度图像进行金字塔分解，得到多个具有不同尺度信息的基础图像和细节图像，并根据第一亮度图像与第二亮度图像之间信息熵或梯度的相对大小对多个基础图像和细节图像进行加权，重构得到融合亮度图像。之后，第一融合单元可以选取第一色彩图像和第二色彩图像中具有更高色彩准确性的色彩图像来作为融合图像的色彩分量，并根据融合亮度图像与选取的色彩图像所对应的亮度图像之间的差异来调整融合图像的色彩分量，提升色彩准确性。

在另一些可能的实现方式中，该图像融合单元03可以包括第二融合单元和第三融合单元。其中，第二融合单元用于通过第二融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到第一目标图像。第三融合单元用于通过第三融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到第二目标图像。融合图像包括第一目标图像和第二目标图像。

需要说明的是，第二融合处理和第三融合处理可以不同。例如，第二融合处理和第三融合处理可以为前述介绍的第一融合处理的三种可能实现方式中的任意两种。或者，第二融合处理为前述介绍的第一融合处理的三种可能实现方式中的任意一种，第三融合处理为除上述三种可能实现方式之外的其余的处理方式。或者，第三融合处理为前述介绍的第一融合处理的三种可能实现方式中的任意一种，第二融合处理为除上述三种可能实现方式之外的其余的处理方式。

第二融合处理和第三融合处理也可以相同。在这种情况下，第二融合处理的融合参数为第一融合参数，第三融合处理的融合参数为第二融合参数，第一融合参数和第二融合参数不同。例如，第二融合处理和第三融合处理可以均为上述介绍的第一融合处理中的第一种可能的实现方式。但是，第二融合处理和第三融合处理中的融合权重可以不同。

通过不同的融合单元采用不同的融合处理来对两个预处理图像进行融合，或者是采用相同的融合处理但是不同的融合参数来对两个预处理图像进行融合，可以得到两种不同图像风格的融合图像。图像处理单元可以分别向后续的不同单元输出不同的融合图像，以此来满足后续不同操作对融合图像的要求。

需要说明的是，在上述实施例中，对于采集后未经处理的图像可以称为图像，对于经过处理的图像也可以称为图像。

3、图像获取单元

其中，该图像获取单元01可以是一个图像采集设备，或者，该图像获取单元01也可以是用于接收其他设备传输的图像的接收设备。

当该图像获取单元01是一个图像采集设备时，参见图5，该图像获取单元 01可以包括图像传感器011、补光器012和滤光组件013，图像传感器011位于滤光组件013的出光侧。图像传感器011用于通过多次曝光产生并输出第一图像信号和第二图像信号。其中，第一图像信号是根据第一预设曝光产生的图像，第二图像信号是根据第二预设曝光产生的图像，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光。补光器012包括第一补光装置0121，第一补光装置0121用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。滤光组件013包括第一滤光片0131，第一滤光片0131使可见光和部分近红外光通过，其中，第一补光装0121进行近红外光补光时通过第一滤光片0131的近红外光的强度高于第一补光装置0121未进行近红外补光时通过第一滤光片0131 的近红外光的强度。

在本申请实施例中，参见图5，图像获取单元01还可以包括镜头014，此时，滤光组件013可以位于镜头014和图像传感器011之间，且图像传感器011 位于滤光组件013的出光侧。或者，镜头014位于滤光组件013与图像传感器 011之间，且图像传感器011位于镜头014的出光侧。作为一种示例，第一滤光片0131可以是滤光薄膜，这样，当滤光组件013位于镜头014和图像传感器011 之间时，第一滤光片0131可以贴在镜头014的出光侧的表面，或者，当镜头014 位于滤光组件013与图像传感器011之间时，第一滤光片0131可以贴在镜头014 的入光侧的表面。

作为一种示例，图像获取单元01可以诸如摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等图像采集设备，补光器012可以是在图像采集设备内部，作为图像采集设备的一部分。

作为另一种示例，图像获取单元01还可以包括图像采集设备和补光器012，补光器012位于图像采集设备的外部，与图像采集设备进行连接。

可以保证图像获取单元01中的图像传感器011的曝光时序与补光器012包括的第一补光装置0121的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。

另外，第一补光装置0121为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置0121可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置0121以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置0121以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置0121以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置0121进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内存在近红外补光，而在第二预设曝光的曝光时间段内不存在近红外补光即可。

需要说明的是，第二预设曝光的曝光时间段内不存在近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。

需要说明的另一点是，由于第一补光装置0121在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片 0131中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片0131 中。因此，在存在近红外补光时通过第一滤光片0131的近红外光可以包括第一补光装置0121进行近红外补光时经物体反射进入第一滤光片0131的近红外光，在不存在近红外补光时通过第一滤光片0131的近红外光可以包括第一补光装置 0121未进行近红外补光时经物体反射进入第一滤光片0131的近红外光。也即是，在存在近红外补光时通过第一滤光片0131的近红外光包括第一补光装置0121 发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不存在近红外补光时通过第一滤光片0131的近红外光包括环境光中经物体反射后的近红外光。以图像获取单元01中，滤光组件013可以位于镜头014和图像传感器011之间，且图像传感器011位于滤光组件013的出光侧的结构特征为例，图像获取单元01采集第一图像信号和第二图像信号的过程为：在图像传感器011进行第一预设曝光时，第一补光装置0121存在近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头014、第一滤光片0131之后，由图像传感器011通过第一预设曝光产生第一图像信号；在图像传感器011进行第二预设曝光时，第一补光装置0121 不存在近红外补光，此时拍摄场景中的环境光经由镜头014、第一滤光片0131 之后，由图像传感器011通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和 N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

需要说明的是，第一滤光片0131可以使部分近红外光波段的光通过，换句话说，通过第一滤光片0131的近红外光波段可以为部分近红外光波段，也可以为全部近红外光波段，本申请实施例对此不做限定。

另外，由于环境光中的近红外光的强度低于第一补光装置0121发出的近红外光的强度，因此，第一补光装置0121进行近红外补光时通过第一滤光片0131 的近红外光的强度高于第一补光装置0121未进行近红外补光时通过第一滤光片 0131的近红外光的强度。

其中，第一补光装置0121进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，本申请实施例对此不做限定。另外，入射到第一滤光片0131的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

由于在存在近红外补光时，通过第一滤光片0131的近红外光可以包括第一补光装置0121进行近红外光补光时经物体反射进入第一滤光片0131的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件013的近红外光的强度较强。但是，在不存在近红外补光时，通过第一滤光片0131的近红外光包括环境光中经物体反射进入滤光组件013的近红外光。由于没有第一补光装置0121进行补光的近红外光，所以此时通过第一滤光片0131的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。

第一补光装置0121进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置0121和第一滤光片0131有更好的配合，可以对第一补光装置0121进行近红外补光的中心波长进行设计，以及对第一滤光片0131的特性进行选择，从而使得在第一补光装置0121进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片0131的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片0131的近红外光的中心波长尽可能准确，以及通过第一滤光片0131的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置0121进行近红外补光的中心波长可以为第一补光装置 0121发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置0121发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置0121进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置0121进行近红外补光的中心波长为780±10 纳米的波长范围内的任一波长；或者，第一补光装置0121进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置0121进行近红外补光的中心波长为940 纳米，第一补光装置0121进行近红外补光的波长和相对强度之间的关系如图6 所示。从图6可以看出，第一补光装置0121进行近红外补光的波段范围为900 纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在存在近红外补光时，通过第一滤光片0131的近红外光大部分为第一补光装置0121进行近红外补光时经物体反射进入第一滤光片0131的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片0131的近红外光的中心波长与第一补光装置0121进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片0131的近红外补光的中心波长可以为第一滤光片 0131的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片0131的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片0131的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片0131的近红外光的波段宽度，第二波段宽度是指被第一滤光片0131阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片 0131的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片0131的近红外光的波段宽度小于第一滤光片0131阻挡的近红外光的波段宽度。

例如，参见图7，图7为第一滤光片0131可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片0131的近红外光的波段为650纳米～1100纳米，第一滤光片0131可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900 纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片0131的近红外光的波段宽度小于第一滤光片0131阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光片0131的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片0131的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光片0131的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图7，入射到第一滤光片0131的近红外光的波段为650纳米～1100 纳米，设定比例为30％，参考波段宽度为100纳米。从图7可以看出，在650 纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一补光装置0121至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器011的多次曝光中的其中两次曝光，也即是，第一补光装置0121在图像传感器011的部分曝光的曝光时间段内提供近红外补光，在图像传感器011的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置0121在单位时间长度内的补光次数可以低于图像传感器011 在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

可选地，由于人眼容易将第一补光装置0121进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图8，补光器012还可以包括第二补光装置0122，第二补光装置0122用于进行可见光补光。这样，如果第二补光装置 0122至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器012进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置0122 在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置0122可以用于以常亮方式进行可见光补光；或者，第二补光装置0122可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置0122可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置0122常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置0121 进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置0122以频闪方式进行可见光补光时，可以避免人眼将第一补光装置0121进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置0122的补光次数，从而延长第二补光装置0122的使用寿命。

在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器011在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器011在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像，这样，25个帧周期内就会产生25组图像。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在存在近红外补光时，图像传感器011感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器011 输出的图像的亮度越高，曝光增益越小，图像传感器011输出的图像的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置0121进行近红外补光时，图像传感器011产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置0121进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器011得到的图像包括的亮度越高，并且外部场景中的运动的对象在图像中的运动拖尾越长；曝光时间越短，图像传感器011得到的图像包括的亮度越低，并且外部场景中的运动的对象在图像中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置0121进行近红外补光时，图像传感器011产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置0121进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像存在运动拖尾，导致两路图像的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

其中，图像传感器011可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光。可选地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B 感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器011可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图9，RGBW传感器中的R感光通道、G感光通道、 B感光通道和W感光通道的分布方式可以参见图10，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图11，RYYB传感器中的R 感光通道、Y感光通道和B感光通道分布方式可以参见图12。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G 感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器011可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器011为RGB传感器时，相比于其他图像传感器，如 RGBIR传感器等，，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器011包括的多个感光通道可以对应多条感应曲线。示例性地，参见图13，图13中的R曲线代表图像传感器011对红光波段的光的感应曲线，G曲线代表图像传感器011对绿光波段的光的感应曲线，B曲线代表图像传感器011对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器011感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器011感应近红外波段的光的感应曲线。

作为一种示例，图像传感器011可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图14，图14为一种卷帘曝光方式的示意图。从图14可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1 行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在一些实施例中，当图像传感器011采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的整个曝光时间段内不存在近红外补光，从而不会对第二预设曝光造成影响。

例如，参见图15，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图16，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图17，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。

在另一些实施例中，当图像传感器011采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，参见图18，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图19，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图20，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图18至图20仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：

第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3 个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。

第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3 个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。

第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。

第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。

其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1 次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。

上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。

在一些实施例中，滤光组件03还包括第二滤光片和切换部件，第一滤光片 031和第二滤光片均与切换部件连接。切换部件，用于将第二滤光片切换到图像传感器01的入光侧，在第二滤光片切换到图像传感器01的入光侧之后，第二滤光片使可见光波段的光通过，阻挡近红外光波段的光，图像传感器01，用于通过曝光产生并输出第三图像信号。

需要说明的是，切换部件用于将第二滤光片切换到图像传感器01的入光侧，也可以理解为第二滤光片替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置0121频闪式的补光，使图像传感器011产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器011获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器011产生并输出的包含可见光亮度信息的第三图像，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息。

值得注意的是，上述仅是本申请实施例给出的一种图像采集设备的实现方式，在一些可能的实现方式中，该图像获取单元也可以包括双传感器的图像采集设备。其中，第一图像信号传感器用于产生并输出第一图像信号，第二图像信号传感器用于产生并输出第二图像信号。

或者，该图像获取单元也可以为双目相机，包括两个摄像头。其中，第一摄像头为近红外光摄像头，用于产生并输出第一图像信号，第二摄像头为可见光摄像头，用于产生并输出第二图像信号。

在一种可能的实现方式中，图像获取单元01可以直接将采集到的第一图像信号和第二图像信号输出至图像降噪单元02。或者，在另一种可能的实现方式中，图像获取单元01可以将采集到的第一图像信号和第二图像信号输出至图像预处理单元04，由图像预处理单元04分别对第一图像信号和第二图像信号进行处理，从而得到第一图像和第二图像。

4、图像预处理单元

在一种可能的实现方式中，本申请的图像降噪装置还可以包括图像预处理单元04，其中，该图像预处理单元04用于分别对第一图像信号和第二图像信号进行处理，得到第一图像和第二图像，输出第一图像和处理后的第二图像至图像降噪单元。

考虑到第一图像信号和第二图像信号可能是由以bayer方式排列的图像传感器采集的马赛克图像。因此，该图像预处理单元04还可以进一步地对第一图像信号和第二图像信号进行去马赛克等修复处理，修复处理后的第一图像信号为灰度图像，修复处理后的第二图像信号为彩色图像。

需要说明的是，在对第一图像信号和第二图像信号进行去马赛克处理时，可以采用双线性插值法或自适应插值法等方法来进行处理，本申请实施例对此不再详述。

另外，除了可以对第一图像信号和第二图像信号进行去马赛克处理之外，还可以对第一图像信号和第二图像信号进行诸如黑电平、坏点校正、Gamma校正等处理，本申请实施例对此不做限定。

在对第一图像信号和第二图像信号进行修复处理得到第一图像和第二图像之后，图像预处理单元04可以输出该第一图像和第二图像至图像降噪单元02。

除此之外，当第一图像信号和第二图像信号是由两个传感器或者是两个摄像头采集得到时，所述图像预处理单元04还可以对第一图像信号和第二图像信号进行配准。

基于上述图像降噪装置，本申请实施例还提供了一种图像降噪方法。接下来，以基于上述图1-20所示的实施例提供的图像降噪装置来对图像降噪方法进行说明。参见图21，该方法包括：

步骤2101：获取第一图像信号和第二图像信号，其中，第一图像信号为近红外光图像信号，第二图像信号为可见光图像信号；

步骤2102：对第一图像信号和第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

在一种可能的实现方式中，对第一图像信号和第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像，包括：

根据第一图像信号和第二图像信号进行运动估计，得到运动估计结果，根据运动估计结果对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据运动估计结果对第二图像信号进行时域滤波处理，得到可见光降噪图像；

根据第一图像信号和第二图像信号进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据边缘估计结果对第二图像信号进行空域滤波处理，得到可见光降噪图像。

在一种可能的实现方式中，根据第一图像信号和第二图像信号进行运动估计，得到运动估计结果，包括：

根据第一图像信号和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度，第一历史降噪图像是指对第一图像信号的前N帧图像中的任一帧图像进行降噪后的图像，N大于或等于1，多个第一帧差阈值与第一帧差图像中的多个像素点一一对应；

根据第二图像信号和第二历史降噪图像生成第二帧差图像，根据第二帧差图像和多个第二帧差阈值确定第二图像信号中每个像素点的第二时域滤波强度，第二历史降噪图像是指对第二图像信号的前N帧图像中的任一帧图像进行降噪后的图像信，多个第二帧差阈值与第二帧差图像中的多个像素点一一对应号；

对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，运动估计单元还用于从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；

其中，运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。

在一种可能的实现方式中，根据运动估计结果对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据运动估计结果对第二图像信号进行时域滤波处理，得到可见光降噪图像，包括：

根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的第一时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像；或者

根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像；或者

根据每个像素点的联合时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像。

在一种可能的实现方式中，第一帧差图像是指对第一图像信号和第一历史降噪图像进行作差处理得到的原始帧差图像；或者，第一帧差图像是指对原始帧差图像进行处理后得到的帧差图像。

第二帧差图像是指对第二图像信号和第二历史降噪图像进行作差处理得到的原始帧差图像；或者，第二帧差图像是指对原始帧差图像进行处理后得到的帧差图像。

在一种可能的实现方式中，每个像素点对应的第一帧差阈值不同，或者，每个像素点对应的第一帧差阈值相同；

每个像素点对应的第二帧差阈值不同，或者，每个像素点对应的第二帧差阈值相同。

在一种可能的实现方式中，多个第一帧差阈值是根据第一噪声强度图像中多个像素点的噪声强度确定得到，第一噪声强度图像根据第一历史降噪图像对应的降噪前的图像和第一历史降噪图像确定得到；

多个第二帧差阈值是根据第二噪声强度图像中多个像素点的噪声强度确定得到，第二噪声强度图像根据第二历史降噪图像对应的降噪前的图像和第二历史降噪图像确定得到。

在一种可能的实现方式中，根据第一图像信号和第二图像信号进行边缘估计，得到边缘估计结果，包括：

确定第一图像信号中每个像素点的第一空域滤波强度；

确定第二图像信号中每个像素点的第二空域滤波强度；

对第一图像信号进行局部信息提取，得到第一局部信息，对第二图像信号进行局部信息提取，得到第二局部信息；根据第一空域滤波强度、第二空域滤波强度、第一局部信息和第二局部信息确定每个像素点对应的联合空域滤波强度；

其中，边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。

在一种可能的实现方式中，根据边缘估计结果对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据边缘估计结果对第二图像信号进行空域滤波处理，得到可见光降噪图像，包括：

根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的第一空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像；或者

根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像；或者

根据每个像素点对应的联合空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像。

在一种可能的实现方式中，第一局部信息和第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。

在一种可能的实现方式中，对第一图像信号和第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像，包括：

根据第一图像信号和第二图像信号进行运动估计，得到运动估计结果，根据运动估计结果对第一图像信号进行时域滤波，得到第一时域降噪图像，根据运动估计结果对第二图像信号进行时域滤波，得到第二时域降噪图像；

根据第一时域降噪图像和第二时域降噪图像进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一时域降噪图像进行空域滤波，得到近红外光降噪图像，根据边缘估计结果对第二时域降噪图像进行空域滤波，得到可见光降噪图像；

或者，

根据第一图像信号和第二图像信号进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一图像信号进行空域滤波，得到第一空域降噪图像，根据边缘估计结果对第二图像信号进行空域滤波，得到第二空域降噪图像；

根据第一空域降噪图像和第二空域降噪图像进行运动估计，得到运动估计结果，根据运动估计结果对第一空域降噪图像进行时域滤波，得到近红外光降噪图像，根据运动估计结果对第二空域降噪图像进行时域滤波，得到可见光降噪图像。

在一种可能的实现方式中，该方法还包括：

对近红外光降噪图像和可见光降噪图像进行融合，得到融合图像。

在一种可能的实现方式中，对近红外光降噪图像和可见光降噪图像进行融合，得到融合图像，包括：

通过第一融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到融合图像。

在一种可能的实现方式中，对近红外光降噪图像和可见光降噪图像进行融合，得到融合图像，包括：

通过第二融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到第一目标图像；

通过第三融合处理对近红外光降噪图像和可见光降噪图像进行融合，得到第二目标图像，融合图像包括第一目标图像和第二目标图像。

在一种可能的实现方式中，第二融合处理和第三融合处理不同；

或者，第二融合处理和第三融合处理相同，但第二融合处理的融合参数为第一融合参数，第二融合处理的融合参数为第二融合参数，第一融合参数和第二融合参数不同。

在一种可能的实现方式中，该方法还包括：

对第一图像信号和第二图像信号进行预处理处理，输出处理后的第一图像信号和处理后的第二图像信号至图像降噪单元。

在一种可能的实现方式中，获取第一图像信号和第二图像信号，包括：

通过第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为图像传感器的多次曝光中的其中两次曝光；

通过第一滤光片使可见光和部分近红外光通过；

通过图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，第一图像信号是根据第一预设曝光产生的图像，第二图像信号是根据第二预设曝光产生的图像

在一种可能的实现方式中，获取第一图像信号和第二图像信号，包括：

通过第一图像信号传感器产生并输出第一图像信号，通过第二图像信号传感器产生并输出第二图像信号；

对第一图像信号和第二图像信号进行配准。

在一种可能的实现方式中，获取第一图像信号和第二图像信号，包括：

通过第一摄像头产生并输出第一图像信号，通过第二摄像头用于产生并输出第二图像信号；

对第一图像信号和第二图像信号进行配准。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (27)

1.一种图像降噪装置，其特征在于，所述图像降噪装置包括图像获取单元(01)和图像降噪单元(02)；

所述图像获取单元(01)，用于获取第一图像信号和第二图像信号，其中，所述第一图像信号为近红外光图像信号，所述第二图像信号为可见光图像信号；

所述图像降噪单元(02)用于对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

2.如权利要求1所述的图像降噪装置，其特征在于，所述图像降噪单元(02)包括时域降噪单元(021)或空域降噪单元(022)；

所述时域降噪单元(021)用于根据所述第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据所述运动估计结果对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；

所述空域降噪单元(022)用于根据所述第一图像信号和所述第二图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据所述边缘估计结果对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像。

3.如权利要求2所述的图像降噪装置，其特征在于，所述时域降噪单元(021)包括运动估计单元(0211)；

所述运动估计单元(0211)用于根据所述第一图像信号和第一历史降噪图像生成第一帧差图像，根据所述第一帧差图像和多个第一帧差阈值确定所述第一图像信号中每个像素点的第一时域滤波强度，所述第一历史降噪图像是指对所述第一图像信号的前N帧图像中的任一帧图像进行降噪后的图像，所述N大于或等于1，所述多个第一帧差阈值与所述第一帧差图像中的多个像素点一一对应；

所述运动估计单元(0211)还用于根据所述第二图像信号和第二历史降噪图像生成第二帧差图像，根据所述第二帧差图像和多个第二帧差阈值确定所述第二图像信号中每个像素点的第二时域滤波强度，所述第二历史降噪图像是指对所述第二图像信号的前N帧图像中的任一帧图像进行降噪后的图像信，所述多个第二帧差阈值与所述第二帧差图像中的多个像素点一一对应号；

所述运动估计单元(0211)还用于对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，所述运动估计单元(0211)还用于从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；

其中，所述运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。

4.如权利要求3所述的图像降噪装置，其特征在于，所述时域降噪单元(021)还包括时域滤波单元(0212)；

所述时域滤波单元(0212)用于根据每个像素点的第一时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的第一时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；或者

所述时域滤波单元(0212)用于根据每个像素点的第一时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的联合时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；或者

所述时域滤波单元(0212)用于根据每个像素点的联合时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的联合时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像。

5.如权利要求3或4所述的图像降噪装置，其特征在于，

所述第一帧差图像是指对所述第一图像信号和所述第一历史降噪图像进行作差处理得到的原始帧差图像；或者

所述第一帧差图像是指对所述原始帧差图像进行处理后得到的帧差图像。

6.如权利要求3或4所述的图像降噪装置，其特征在于，每个像素点对应的第一帧差阈值不同，或者，每个像素点对应的第一帧差阈值相同。

7.如权利要求6所述的图像降噪装置，其特征在于，所述多个第一帧差阈值是根据第一噪声强度图像中多个像素点的噪声强度确定得到，所述第一噪声强度图像根据所述第一历史降噪图像对应的降噪前的图像和所述第一历史降噪图像确定得到。

8.如权利要求3或4所述的图像降噪装置，其特征在于，

所述第二帧差图像是指对所述第二图像信号和所述第二历史降噪图像进行作差处理得到的原始帧差图像；或者

所述第二帧差图像是指对所述原始帧差图像进行处理后得到的帧差图像。

9.如权利要求3或4所述的图像降噪装置，其特征在于，每个像素点对应的第二帧差阈值不同，或者，每个像素点对应的第二帧差阈值相同。

10.如权利要求9所述的图像降噪装置，其特征在于，所述多个第二帧差阈值是根据第二噪声强度图像中多个像素点的噪声强度确定得到，所述第二噪声强度图像根据所述第二历史降噪图像对应的降噪前的图像和所述第二历史降噪图像确定得到。

11.如权利要求2所述的图像降噪装置，其特征在于，所述空域降噪单元(022)包括边缘估计单元(0221)；

所述边缘估计单元(0221)用于确定所述第一图像信号中每个像素点的第一空域滤波强度；

所述边缘估计单元(0221)还用于确定所述第二图像信号中每个像素点的第二空域滤波强度；

所述边缘估计单元(0221)还用于对所述第一图像信号进行局部信息提取，得到第一局部信息，对所述第二图像信号进行局部信息提取，得到第二局部信息；根据所述第一空域滤波强度、所述第二空域滤波强度、所述第一局部信息和所述第二局部信息确定每个像素点对应的联合空域滤波强度；

其中，所述边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。

12.如权利要求11所述的图像降噪装置，其特征在于，所述空域降噪单元(022)还包括空域滤波单元(0222)；

所述空域滤波单元(0222)用于根据每个像素点对应的第一空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的第一空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像；或者

所述空域滤波单元(0222)用于根据每个像素点对应的第一空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像；或者

所述空域滤波单元(0222)用于根据每个像素点对应的联合空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像。

13.如权利要求12所述的图像降噪装置，其特征在于，所述第一局部信息和所述第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。

14.如权利要求1所述的图像降噪装置，其特征在于，所述图像降噪单元(02)包括时域降噪单元(021)和空域降噪单元(022)；

所述时域降噪单元(021)用于根据所述第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一图像信号进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二图像信号进行时域滤波，得到第二时域降噪图像；

所述空域降噪单元(022)用于根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述近红外光降噪图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述可见光降噪图像；

或者，

所述空域降噪单元(022)用于根据所述第一图像信号和所述第二图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一图像信号进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二图像信号进行空域滤波，得到第二空域降噪图像；

所述时域降噪单元(021)用于根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述近红外光降噪图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述可见光降噪图像。

15.如权利要求1-14任一所述的图像降噪装置，其特征在于，所述图像降噪装置还包括图像融合单元(03)；

所述图像融合单元(03)用于对所述近红外光降噪图像和所述可见光降噪图像进行融合，得到融合图像。

16.如权利要求1-15任一所述的图像降噪装置，其特征在于，所述图像获取单元(01)包括图像传感器(011)、补光器(012)和滤光组件(013)，所述图像传感器(011)位于所述滤光组件(013)的出光侧；

所述图像传感器(011)，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像，所述第二图像信号是根据第二预设曝光产生的图像，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；

所述补光器(012)包括第一补光装置(0121)，所述第一补光装置(0121)用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述滤光组件(013)包括第一滤光片(0131)，所述第一滤光片(0131)使可见光和部分近红外光通过。

17.如权利要求1-15任一所述的图像降噪装置，其特征在于，所述图像获取单元包括第一图像传感器和第二图像传感器；

所述第一图像传感器用于产生并输出所述第一图像信号，所述第二图像传感器用于产生并输出所述第二图像信号；或者

所述图像获取单元为双目摄像机，所述双目摄像机包括第一摄像头和第二摄像头；

所述第一摄像头用于产生并输出所述第一图像信号，所述第二摄像头用于产生并输出所述第二图像信号。

18.如权利要求1-17任一所述的图像降噪装置，其特征在于，所述图像降噪装置还包括图像预处理单元(04)；

所述图像预处理单元(04)用于分别对所述第一图像信号和所述第二图像信号进行预处理处理，得到第一图像和第二图像，输出所述第一图像和所述第二图像至所述图像降噪单元(02)。

19.如权利要求17所述的图像降噪装置，其特征在于，所述图像降噪装置还包括图像预处理单元(04)；

所述图像预处理单元(04)用于所述所第一图像信号和所述第二图像信号进行配准。

20.一种图像降噪方法，其特征在于，所述方法包括：

获取第一图像信号和第二图像信号，其中，所述第一图像信号为近红外光图像信号，所述第二图像信号为可见光图像信号；

通过对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像。

21.如权利要求20所述的方法，其特征在于，所述通过对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像，包括：

根据所述第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据所述运动估计结果对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；

根据所述第一图像信号和所述第二图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据所述边缘估计结果对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像。

22.如权利要求21所述的方法，其特征在于，根据所述第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，包括：

根据所述第一图像信号和第一历史降噪图像生成第一帧差图像，根据所述第一帧差图像和多个第一帧差阈值确定所述第一图像信号中每个像素点的第一时域滤波强度，所述第一历史降噪图像是指对所述第一图像信号的前N帧图像中的任一帧图像进行降噪后的图像，所述N大于或等于1，所述多个第一帧差阈值与所述第一帧差图像中的多个像素点一一对应；

根据所述第二图像信号和第二历史降噪图像生成第二帧差图像，根据所述第二帧差图像和多个第二帧差阈值确定所述第二图像信号中每个像素点的第二时域滤波强度，所述第二历史降噪图像是指对所述第二图像信号的前N帧图像中的任一帧图像进行降噪后的图像信，所述多个第二帧差阈值与所述第二帧差图像中的多个像素点一一对应号；

对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，所述运动估计单元还用于从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；

其中，所述运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。

23.如权利要求22所述的方法，其特征在于，所所述根据所述运动估计结果对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据所述运动估计结果对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像，包括：

根据每个像素点的第一时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的第一时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；或者

根据每个像素点的第一时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的联合时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像；或者

根据每个像素点的联合时域滤波强度对所述第一图像信号进行时域滤波处理，得到所述近红外光降噪图像，根据每个像素点的联合时域滤波强度对所述第二图像信号进行时域滤波处理，得到所述可见光降噪图像。

24.如权利要求21所述的方法，其特征在于，所述空域降噪单元包括边缘估计单元；

所述通过所述空域降噪单元，根据所述第一图像信号和所述第二图像信号进行边缘估计，得到边缘估计结果，包括：

通过所述边缘估计单元确定所述第一图像信号中每个像素点的第一空域滤波强度；

通过所述边缘估计单元确定所述第二图像信号中每个像素点的第二空域滤波强度；

通过所述边缘估计单元对所述第一图像信号进行局部信息提取，得到第一局部信息，对所述第二图像信号进行局部信息提取，得到第二局部信息；根据所述第一空域滤波强度、所述第二空域滤波强度、所述第一局部信息和所述第二局部信息确定每个像素点对应的联合空域滤波强度；

其中，所述边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。

25.如权利要求24所述的方法，其特征在于，所述根据所述边缘估计结果对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据所述边缘估计结果对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像，包括：

根据每个像素点对应的第一空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的第一空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像；或者

根据每个像素点对应的第一空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像；或者

根据每个像素点对应的联合空域滤波强度对所述第一图像信号进行空域滤波处理，得到所述近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对所述第二图像信号进行空域滤波处理，得到所述可见光降噪图像。

26.如权利要求20所述的方法，其特征在于，所述对所述第一图像信号和所述第二图像信号进行联合降噪，得到近红外光降噪图像和可见光降噪图像，包括：

根据所述第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一图像信号进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二图像信号进行时域滤波，得到第二时域降噪图像；

根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述近红外光降噪图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述可见光降噪图像；

或者，

根据所述第一图像信号和所述第二图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一图像信号进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二图像信号进行空域滤波，得到第二空域降噪图像；

根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述近红外光降噪图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述可见光降噪图像。

27.如权利要求20-26任一所述的方法，其特征在于，所述方法还包括：

通过所述图像融合单元对所述近红外光降噪图像和所述可见光降噪图像进行融合，得到融合图像。