CN112435183A - 一种图像降噪方法和装置以及存储介质 - Google Patents

Abstract

本申请公开了一种图像降噪方法和装置以及存储介质，所述图像降噪方法首先获取当前时刻下的红外图像和可见光图像，其中，红外图像包括红外亮度通道，可见光图像包括可见亮度通道和可见颜色通道；再利用红外亮度通道、可见亮度通道和可见颜色通道的信号对红外图像和可见光图像分别进行空域降噪和时域降噪。本申请对红外图像和可见光图像进行空域降噪和时域降噪时可以使用红外图像的红外亮度通道、可见光图像的可见亮度通道和可见颜色通道中一个或者多个通道的信号，而且针对可见光图像的空域或者时域降噪，可以依据亮度和颜色两个不同的通道特征实现不同的降噪算法，对这两个不同的通道进行差异化降噪处理。因此，本申请提升了图像的信噪比。

Description

一种图像降噪方法和装置以及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像降噪方法和装置以及存储介质。

背景技术

监控设备获取监控图像的过程中，通常受到外界环境及软硬件的影响，例如受制于传感器材料、电路结构、传输介质和记录设备的缺陷等，都使得图像中的噪声往往难以避免。因此需要开发一种降噪算法来对图像进行处理，以降低图像中的噪声，并提升图像的信噪比，使视觉观感更佳。

发明内容

本申请主要解决的技术问题是提供一种图像降噪方法和装置以及存储介质，能够降低图像中的噪声。

为解决上述技术问题，本申请采用的一个技术方案是：

提供一种图像降噪方法，包括：

获取当前时刻下的红外图像和可见光图像，其中，所述红外图像包括红外亮度通道，所述可见光图像包括可见亮度通道和可见颜色通道；

利用所述红外亮度通道、所述可见亮度通道和所述可见颜色通道的信号对所述红外图像和所述可见光图像分别进行空域降噪和时域降噪。

为解决上述技术问题，本申请采用的另一个技术方案是：

提供一种图像降噪装置，包括：相互耦接的存储器和处理器；其中，所述存储器存储有程序指令，所述处理器能够执行所述程序指令以实现如上述技术方案所述的图像降噪方法。

为解决上述技术问题，本申请采用的另一个技术方案是：

提供一种计算机可读存储介质，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行以实现如上述技术方案所述的图像降噪方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供的图像降噪方法首先获取当前时刻下的红外图像和可见光图像，其中，红外图像包括红外亮度通道，可见光图像包括可见亮度通道和可见颜色通道；再利用红外亮度通道、可见亮度通道和可见颜色通道的信号对红外图像和可见光图像分别进行空域降噪和时域降噪。也就是说，本申请对红外图像和可见光图像进行空域降噪和时域降噪时可以使用红外图像的红外亮度通道、可见光图像的可见亮度通道和可见颜色通道中一个或者多个通道的信号，而且针对可见光图像的空域或者时域降噪，可以依据亮度和颜色两个不同的通道特征实现不同的降噪算法，对这两个不同的通道进行差异化降噪处理。因此，本申请能够提供一种新的图像降噪方法对图像进行处理，降低图像中的噪声，并提升图像的信噪比，使视觉观感更佳。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请图像降噪方法一实施方式的流程示意图；

图2为图1中步骤S12一实施方式的流程示意图；

图3为图2中步骤S21一实施方式的流程示意图；

图4为图2中步骤S22一实施方式的流程示意图；

图5为图4中步骤S42一实施方式的流程示意图；

图6为红外亮度差异化空域降噪强度与运动信息的函数关系图；

图7为图2中步骤S22另一实施方式的流程示意图；

图8为本申请图像降噪装置一实施方式的结构示意图；

图9为本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

请参阅图1，图1为本申请图像降噪方法一实施方式的流程示意图，该图像降噪方法包括如下步骤：

步骤S11，获取当前时刻下的红外图像和可见光图像，其中，红外图像包括红外亮度通道，可见光图像包括可见亮度通道和可见颜色通道。以YUV格式的可见光图像为例，可见亮度通道指Y通道，可见颜色通道指UV通道。

监控设备获取监控图像的过程中，通常受到外界环境及软硬件的干扰，例如受制于传感器材料、电子元器件和电路结构、传输介质和记录设备的缺陷等，使得图像中的噪声往往难以避免。

图像中噪声的存在，不但视觉观感不佳，也将直接影响更为高级计算机视觉应用的性能，如人脸识别、车辆检测等。为此需要通过降噪算法来进行噪声抑制，然而当图像中的噪声较为严重时，降噪算法难以有效区分信号与噪声，给降噪算法带来极大挑战。这一现象在低照度环境下愈加明显，而在实际应用场景中，低照度的情况又较为常见，虽然使用白色补光灯能够较好地弥补环境光较弱的缺陷，但是也会带来较为严重的光污染，使用场景受到一定限制。相较之下，红外补光灯则不会带来过多的光污染，同时又可使红外相机采集到的红外图像具有较高的信噪比，但红外图像存在着固有的缺陷，即其本身几乎不携带物体的任何颜色信息，无法更好地反应物体真实信息。单独使用可见光图像或红外图像均存在不足之处。对于这两种具有互补性的图像，若能够通过红外图像信息来引导可见光图像的降噪，势必能够让可见光图像更为有效地甄别信号与噪声，使可见光图像降噪效果更好，更能反映真实场景信息，同时也避免了红外图像信号不能反映物体颜色信息的不足。因此需要开发一种联合降噪算法来对图像进行处理，通过挖掘红外图像信息，并反馈至可见光图像的降噪过程中，使可见光图像的降噪效果更好，使视觉观感更佳。

但是红外图像本身也可能存在低信噪比区域、红外信息丢失区域和过曝区域等，对红外图像也需要降噪处理。当然，也可以使用降噪之后的红外图像的红外亮度通道对可见光图像进行降噪引导。另外，获取到红外图像和可见光图像之后，先对两者进行配准对齐，便于后续的降噪处理。

步骤S12，利用红外亮度通道、可见亮度通道和可见颜色通道的信号对红外图像和可见光图像分别进行空域降噪和时域降噪。获取当前时刻下的红外图像和可见光图像之后，由于红外图像几乎不携带被拍摄物的颜色信息，因此舍去红外通道的颜色信息，可以得到红外亮度通道、可见亮度通道和可见颜色通道。其中，可见颜色通道并不限于一个，即本申请并不限制可见光图像的表达格式，例如HSV、YUV，只要包括亮度通道和颜色通道即可。当颜色通道有多个时，对多个颜色通道采用相同的降噪算法。此处以YUV为例进行说明，颜色通道有U通道和V通道两个，则对U通道和V通道采用相同的降噪算法得到各处的降噪强度，然后加权融合两个降噪强度，得到可见颜色通道对应的降噪强度，加权系数可由外部指定。下文中的“三个通道”包括红外亮度通道、可见亮度通道和可见颜色通道，其中，当可见颜色通道有多个时，“三个通道”包括的是融合之后的可见颜色通道。

获取了上述三个通道的信号之后，可以利用这些信号对红外图像和可见光图像分别进行空域降噪和时域降噪。其中，对可见光图像进行空域或者时域降噪时，可以针对可见亮度通道和可见颜色通道采用不同的降噪强度，以提升降噪算法的性能。此外，本申请对于空域降噪和时域降噪的顺序不做限定，可以先进行时域降噪再进行空域降噪，也可以先进行空域降噪再进行时域降噪。

本实施方式对红外图像和可见光图像进行空域降噪和时域降噪时可以使用红外图像的红外亮度通道、可见光图像的可见亮度通道和可见颜色通道中一个或者多个通道的信号，而且针对可见光图像的空域或者时域降噪，可以依据亮度和颜色两个不同的通道特征实现不同的降噪算法，对这两个不同的通道进行差异化降噪处理。因此，本申请能够提供一种新的图像降噪方法对图像进行处理，能够降低图像中的噪声，并提升图像的信噪比，使视觉观感更佳。

在一些实施方式中，请参阅图2，图2为图1中步骤S12一实施方式的流程示意图，可以通过如下步骤对红外图像和可见光图像分别进行空域降噪和时域降噪。

步骤S21，获取红外亮度通道、可见亮度通道和可见颜色通道分别对应的运动信息。

具体地，请参阅图3，图3为图2中步骤S21一实施方式的流程示意图，可以通过如下步骤获取红外亮度通道、可见亮度通道和可见颜色通道分别对应的运动信息。

步骤S31，分别获取红外亮度通道、可见亮度通道和可见颜色通道的当前帧图像与前一帧图像的第一帧差图像、第二帧差图像和第三帧差图像。此处第三帧差图像可以是通过单个颜色通道获取，也可是多个颜色通道进行融合得到，融合权重可通过外部指定。

在任一通道中，使用当前帧图像减去其前一帧图像，得到前后两帧图像的帧差图像。在其他实施方式中，当前一帧图像存在对应的降噪图像时，也可以用当前帧图像减去前一帧图像的降噪图像，得到对应的帧差图像。总共有红外亮度通道、可见亮度通道和可见颜色通道三个通道，则可以获取到对应的三个帧差图像。

步骤S32，分别对第一帧差图像、第二帧差图像和第三帧差图像进行均值滤波处理，并取绝对值结果作为红外亮度通道、可见亮度通道和可见颜色通道分别对应的运动信息。

获取到三个通道各处对应的帧差图像之后，分别对每个帧差图像进行n*n的均值滤波处理，然后再取均值结果的绝对值作为对应的运动信息，其中，均值滤波处理的窗口n的大小由外部指定，均值滤波处理的具体操作与现有技术中公开的相同，此处不再赘述。经过上述处理之后，获得了红外亮度通道、可见亮度通道和可见颜色通道分别对应的运动信息。另外，某个像素点的运动信息取值越大，表明该像素点越偏向于运动区，反之表明其越趋向于静止区。

本实施方式采用帧差和均值滤波的方式获取各个通道的运动信息，后续进行降噪处理，算法成熟，有利于提高降噪算法的准确性和高效性。

步骤S22，利用运动信息获取红外亮度通道、可见亮度通道和可见颜色通道分别对应的红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度，以及利用运动信息获取红外亮度通道、可见亮度通道和可见颜色通道分别对应的红外亮度时域降噪强度、可见亮度时域降噪强度和可见颜色时域降噪强度。

获取到三个通道分别对应的运动信息之后，利用运动信息获取三个通道分别对应的空域降噪强度和时域降噪强度，也就是说，总共获取到三个空域降噪强度和三个时域降噪强度，以在不同的通道分别对红外图像和可见光图像进行空域降噪和时域降噪，具体的获取降噪强度的过程将在下面进行描述。

步骤S23，利用红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度分别对红外亮度通道、可见亮度通道和可见颜色通道进行空域降噪，以分别对红外图像和可见光图像进行空域降噪，以及利用红外亮度时域降噪强度、可见亮度时域降噪强度和可见颜色时域降噪强度分别对红外亮度通道、可见亮度通道和可见颜色通道进行时域降噪，以分别对红外图像和可见光图像进行时域降噪。

获取到三个空域降噪强度和三个时域降噪强度之后，利用三个空域降噪强度分别对三个对应的通道进行空域降噪，以及利用三个时域降噪强度分别对三个对应的通道进行时域降噪，从而完成对红外图像和可见光图像的降噪处理。具体的空域或者时域降噪过程与现有技术中相同，此处不再赘述。

本实施方式采用帧差和均值滤波的方式获取各个通道的运动信息，并利用运动信息进一步获取与三个通道分别对应的三个空域降噪强度和三个时域降噪强度，并在三个通道分别对红外图像和可见光图像进行降噪处理。其中，针对可见光图像的空域或者时域降噪，可以依据亮度和颜色两个不同的通道特征实现不同的降噪强度，对这两个不同的通道进行差异化降噪处理。因此，本申请能够提供一种新的图像降噪方法对图像进行处理，能够降低图像中的噪声，并提升降噪算法的性能。

在一些实施方式中，请参阅图4，图4为图2中步骤S22一实施方式的流程示意图，可以通过如下步骤获取三个通道分别对应的空域降噪强度。

步骤S41，根据红外亮度通道、可见亮度通道和可见颜色通道各自的边缘信息和非边缘信息获得分别对应的红外亮度初始空域降噪强度、可见亮度初始空域降噪强度和可见颜色初始空域降噪强度。

以基于硬阈值的小波降噪作为示例进行说明，初始空域降噪强度即为硬阈值的大小，对于图像的非边缘区域，指定较大的硬阈值，用于区域平滑，而对于图像的边缘区域，指定较小的硬阈值，以实现保边的目的。而边缘区与非边缘区的区别，可通过sobel、Prewitt等边缘检测算子来进行判定。另外，计算边缘区与非边缘区时，所依赖的图像可以是当前帧图像，也可以是任一历史帧降噪图像。在红外亮度通道、可见亮度通道和可见颜色通道，分别执行上述操作，从而获得红外亮度初始空域降噪强度、可见亮度初始空域降噪强度和可见颜色初始空域降噪强度，总共三个初始空域降噪强度。当然，在例如NLM、BM3D等其他降噪算法过程中，可以依据具体的算法过程指定不同通道的初始空域降噪强度。

步骤S42，利用运动信息获取红外亮度差异化空域降噪强度、可见亮度差异化空域降噪强度和可见颜色差异化空域降噪强度，以及利用红外亮度初始空域降噪强度和可见亮度初始空域降噪强度获取空域融合降噪强度。

具体地，请参阅图5，图5为图4中步骤S42一实施方式的流程示意图，可以通过如下步骤获取红外亮度差异化空域降噪强度、可见亮度差异化空域降噪强度和可见颜色差异化空域降噪强度。

步骤S51，判断运动信息是否小于第一阈值。

步骤S52，若是，则将对应的差异化空域降噪强度赋值为第一强度。

步骤S53，否则，进一步判断运动信息是否大于第二阈值，其中第二阈值大于第一阈值。

步骤S54，若是，则将对应的差异化空域降噪强度赋值为第二强度，其中第二强度大于第一强度。

步骤S55，否则，将对应的差异化空域降噪强度赋值为第三强度，其中第三强度大于或等于第一强度，小于或等于第二强度，且与运动信息正相关。

针对红外亮度通道、可见亮度通道和可见颜色通道，分别重复上述步骤S51-S55，从而分别获得每个通道对应的差异化空域降噪强度。具体以红外亮度通道为例进行说明，请参阅图6，图6为红外亮度差异化空域降噪强度与运动信息的函数关系图，图中T1和T2分别对应红外亮度通道的运动信息的第一阈值和第二阈值，S1和S2分别对应红外亮度通道的红外亮度差异化空域降噪强度的第一强度和第二强度。从图6可知，在红外亮度通道，当运动信息小于第一阈值T1时，红外亮度差异化空域降噪强度为第一强度S1；当运动信息大于第二阈值T2时，红外亮度差异化空域降噪强度为第二强度S2；当运动信息位于第一阈值T1和第二阈值T2之间时，红外亮度差异化空域降噪强度为第三强度，其中，第三强度位于第一强度S1和第二强度S2之间，且第三强度与运动信息正相关，随着运动信息从T1变化至T2，第三强度从S1线性变化至S2。

针对红外亮度通道、可见亮度通道和可见颜色通道这三个通道，每个通道的第一阈值和第二阈值、第一强度和第二强度均可由外部指定，且可以相同，也可以不相同，各个通道中，差异化空域降噪强度与运动信息的函数关系可以相同，也可以不相同。其中，当某个通道中某个像素点的运动信息取值小于第一阈值时，表明该像素点位于静止区，运动信息取值大于第二阈值时，表明该像素点位于运动区。

本实施方式在获取空域降噪强度时分运动区与静止区进行差异化处理，而且运动区的差异化空域降噪强度明显高于静止区，能够有效抑制单纯增加运动区时域降噪强度导致的拖尾效应，使最终呈现的降噪效果更佳，提高了降噪算法的准确性。

进一步地，可以通过如下步骤利用红外亮度初始空域降噪强度和可见亮度初始空域降噪强度获取空域融合降噪强度：

将红外亮度初始空域降噪强度与第一空域融合系数的乘积加上可见亮度初始空域降噪强度与第二空域融合系数的乘积得到的和作为空域融合降噪强度，其中，第一空域融合系数和第二空域融合系数之和为1。

也就是说，利用如下公式计算空域融合降噪强度beta_fuvisy：

beta_fuvisy＝beta_orinir*m₁+beta_orivisy*m₂；

其中，beta_orinir和beta_orivisy分别表示红外亮度初始空域降噪强度和可见亮度初始空域降噪强度，m₁和m₂分别表示第一空域融合系数和第二空域融合系数，取值范围均为0～1之间，且m₁+m₂＝0。

具体可根据红外图像与可见光图像的质量优劣分多种情况计算空域融合降噪强度beta_fuvisy，此处以图像的亮度作为判断图像质量优劣为例进行说明。首先定义第一亮度范围和第二亮度范围，如果红外图像中某个像素点的亮度在第一亮度范围内，表明红外图像中该像素点的质量优，如果可见光图像中某个像素点的亮度在第二亮度范围内，表示可见光图像中该像素点的质量优。第一亮度范围和第二亮度范围均由外部指定，可以相同，也可以不相同。

当红外图像中某个像素点的亮度在第一亮度范围内，且可见光图像中对应像素点的亮度在第二亮度范围内，则认为红外图像与可见光图像的质量均优，可定义m₁＝m₂＝0.5，也就是红外亮度通道和可见亮度通道的融合权重相当。

当红外图像中某个像素点的亮度在第一亮度范围内，而可见光图像中对应像素点的亮度不在第二亮度范围内，则认为红外图像比可见光图像的质量更优，可定义m₁>0.5>m₂，也就是以红外亮度通道为主进行空域融合。

当红外图像中某个像素点的亮度不在第一亮度范围内，而可见光图像中对应像素点的亮度在第二亮度范围内，则认为可见光图像比红外图像的质量更优，可定义m₂>0.5>m₁，也就是以可见亮度通道为主进行空域融合。

当红外图像中某个像素点的亮度不在第一亮度范围内，且可见光图像中对应像素点的亮度也不在第二亮度范围内，则认为红外图像与可见光图像的质量均较差，此时仍然定义m₂>0.5>m₁，也就是以可见亮度通道为主进行空域融合，但是将公式中使用的可见亮度初始空域降噪强度调整为历史降噪可见光图像的可见亮度初始空域降噪强度。

当然，在其他实施方式中，也可以将图像的方差、高低频信息等指标作为判断红外图像与可见光图像的质量优劣的标准，本申请对此不做限定。

本实施方式在利用红外图像来引导可见光图像的空域降噪过程时，考虑到了红外图像较可见光图像质量差、比可见光图像好、与可见光图像质量相当等多种情况。且对于可见光图像与红外图像质量均较差的情形，使用噪声更少、边缘信息更好的历史降噪结果来生成空域融合降噪强度，使得空域降噪对于边缘区与非边缘区分别度更好，最终呈现的降噪效果更佳，提高了降噪算法的准确性。

步骤S43，利用红外亮度初始空域降噪强度和红外亮度差异化空域降噪强度获取红外亮度空域降噪强度，利用空域融合降噪强度和可见亮度差异化空域降噪强度获取可见亮度空域降噪强度，以及利用可见颜色初始空域降噪强度和可见颜色差异化空域降噪强度获取可见颜色空域降噪强度。

具体地，步骤S43包括：

获得红外亮度差异化空域降噪强度与第一权重的第一乘积、以及红外亮度初始空域降噪强度与第二权重的第二乘积，并将第一乘积与第二乘积之和作为红外亮度空域降噪强度，其中，第一权重和第二权重之和为1；以及获得可见亮度差异化空域降噪强度与第三权重的第三乘积、以及空域融合降噪强度与第四权重的第四乘积，并将第三乘积与第四乘积之和作为可见亮度空域降噪强度，其中，第碱权重和第四权重之和为1；以及获得可见颜色差异化空域降噪强度与第五权重的第五乘积、以及可见颜色初始空域降噪强度与第六权重的第六乘积，并将第五乘积与第六乘积之和作为可见颜色空域降噪强度，其中，第五权重和第六权重之和为1。

也就是说，可以利用如下公式计算红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度：

beta_nir＝alpha0*beta_movenir+(1-alpha0)*beta_orinir，

beta_visy＝alpha1*beta_movevisy+(1-alpha1)*beta_fuvisy，

beta_visuv＝alpha2*beta_movevisuv+(1-alpha2)*beta_orivisuv；

其中，beta_nir、beta_visy和beta_visuv分别表示红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度，beta_movenir、beta_movevisy和beta_movevisuv分别表示红外亮度差异化空域降噪强度、可见亮度差异化空域降噪强度和可见颜色差异化空域降噪强度，beta_orinir和beta_orivisuv分别表示红外亮度初始空域降噪强度和可见颜色初始空域降噪强度，beta_fuvisy表示空域融合降噪强度，alpha0、alpha1和alpha2分别表示预设的第一权重、第三权重和第五权重，可由外部指定，取值范围均为0～1之间。

本实施方式中，按照外部指定的权利系数分别加权计算三个通道对应的空域降噪强度，计算过程实现了红外图像对可见光图像的空域降噪的引导，而且将针对运动区和静止区的差异化空域降噪强度也引入最终的计算过程，最终呈现的降噪效果更佳，提高了降噪算法的准确性。

在一些实施方式中，请参阅图7，图7为图2中步骤S22另一实施方式的流程示意图，可以通过如下步骤获取三个通道分别对应的时域降噪强度。

步骤S61，利用运动信息获取红外亮度通道、可见亮度通道和可见颜色通道分别对应的红外亮度初始时域降噪强度、可见亮度初始时域降噪强度和可见颜色初始时域降噪强度，并将红外亮度时域降噪强度赋值为红外亮度初始时域降噪强度。

具体地，利用上述步骤S31-S32获取三个通道分别对应的运动信息之后，将红外亮度初始时域降噪强度、可见亮度初始时域降噪强度和可见颜色初始时域降噪强度分别赋值为红外亮度通道、可见亮度通道和可见颜色通道分别对应的运动信息。并进一步将红外亮度时域降噪强度赋值为红外亮度初始时域降噪强度，也就是说，红外亮度时域降噪强度就等于红外亮度通道对应的运动信息。

步骤S62，利用红外亮度初始时域降噪强度和可见亮度初始时域降噪强度获取第一时域融合降噪强度，并将可见亮度时域降噪强度赋值为第一时域融合降噪强度。

具体地，可以通过如下步骤获取第一时域融合降噪强度：

将红外亮度初始时域降噪强度与第一时域融合系数的乘积加上可见亮度初始时域降噪强度与第二时域融合系数的乘积得到的和作为第一时域融合降噪强度，其中，第一时域融合系数和第二时域融合系数之和为1。

也就是说，利用如下公式计算第一时域融合降噪强度gama_fuvisy：

gama_fuvisy＝gama_orinir*n₁+gama_orivisy*n₂；

其中，gama_fuvisy表示第一时域融合降噪强度，gama_orinir和bama_orivisy分别表示红外亮度初始时域降噪强度和可见亮度初始时域降噪强度，n₁和n₂分别表示第一时域融合系数和第二时域融合系数，取值范围均为0～1之间，且n₁+n₂＝0。

与空域融合的过程相同，此处也可根据红外图像与可见光图像的质量优劣分多种情况计算第一时域融合降噪强度gama_fuvisy，此处以图像的亮度作为判断图像质量优劣为例进行说明。首先定义第一亮度范围和第二亮度范围，如果红外图像中某个像素点的亮度在第一亮度范围内，表明红外图像中该像素点的质量优，如果可见光图像中某个像素点的亮度在第二亮度范围内，表示可见光图像中该像素点的质量优。第一亮度范围和第二亮度范围均由外部指定，可以相同，也可以不相同。

当红外图像中某个像素点的亮度在第一亮度范围内，而可见光图像中对应像素点的亮度不在第二亮度范围内，则认为红外图像比可见光图像的质量更优，可定义n₁＞0.5＞n₂，也就是以红外亮度通道为主进行时域融合。

当红外图像中某个像素点的亮度不在第一亮度范围内，而可见光图像中对应像素点的亮度在第二亮度范围内，则认为可风光图像比红外图像的质量更优，可定义n₂＞0.5＞n₁，也就是以可见亮度通道为主进行时域融合。

当红外图像中某个像素点的亮度在第一亮度范围内，且可见光图像中对应像素点的亮度在第二亮度范围内，或者当红外图像中某个像素点的亮度不在第一亮度范围内，且可见光图像中对应像素点的亮度不在第二亮度范围内，则认为红外图像与可见光图像的质量均优或者均较差，可定义n₁＝n₂＝0.5，也就是红外亮度通道和可见亮度通道的融合权重相当。

通过上述步骤获取第一时域融合降噪强度之后，将可见亮度时域降噪强度赋值为第一时域融合降噪强度，也就是说利用红外亮度通道引导可见亮度通道的时域降噪。

步骤S63，利用可见颜色初始时域降噪强度和第一时域融合降噪强度获取第二时域融合降噪强度，并将可见颜色时域降噪强度赋值为第二时域融合降噪强度。

具体地，可通过如下步骤获取第二时域融合降噪强度：

将可见颜色初始时域降噪强度与第三时域融合系数的乘积加上第一时域融合降噪强度与第四时域融合系数的乘积得到的和作为第二时域融合降噪强度，其中，第三时域融合系数和第四时域融合系数之和为1。

也就是说，可利用如下公式计算第二时域融合降噪强度gama_fuvisuv：

gama_fuvisuv＝gama_orivisuv*n₃+gama_fuvisy*n₄；

其中，gama_fuvisuv表示第二时域融合降噪强度，gama_fuvisy表示第一时域融合降噪强度，gama_orivisuv表示可见颜色初始时域降噪强度，n₃和n₄分别表示第三时域融合系数和第四时域融合系数，取值范围为0～1之间，且n₃+n₄＝0。

由于第一时域融合降噪强度由红外亮度初始时域降噪强度和可见亮度初始时域降噪强度加权计算所得，因此，本实施方式对可见颜色通道的时域降噪过程进行了特殊处理，使可见颜色通道能够同时有效利用红外亮度通道和可见亮度通道的信息。也就是说，本实施方式利用红外图像对可见亮度通道和可见颜色通道的时域降噪均进行了指导，使最终呈现的降噪效果更佳，提高了降噪算法的准确性。

请参阅图8，图8为本申请图像降噪装置一实施方式的结构示意图，该图像降噪装置包括相互耦接的存储器810和处理器820，其中，存储器810存储有程序指令，处理器820能够执行该程序指令以实现如上述任一实施方式所述的图像降噪方法。具体可参阅上述实施方式，不再赘述。

此外，本申请还提供一种计算机可读存储介质，请参阅图9，图9为本申请计算机可读存储介质一实施方式的结构示意图，该存储介质900上存储有程序指令910，程序指令910能够被处理器执行以实现如上述任一实施方式所述的图像降噪方法。具体可参阅上述实施方式，不再赘述。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种图像降噪方法，其特征在于，包括：

获取当前时刻下的红外图像和可见光图像，其中，所述红外图像包括红外亮度通道，所述可见光图像包括可见亮度通道和可见颜色通道；

利用所述红外亮度通道、所述可见亮度通道和所述可见颜色通道的信号对所述红外图像和所述可见光图像分别进行空域降噪和时域降噪。

2.根据权利要求1所述的图像降噪方法，其特征在于，所述利用所述红外亮度通道、所述可见亮度通道和所述可见颜色通道的信号对所述红外图像和所述可见光图像分别进行空域降噪和时域降噪的步骤，包括：

获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的运动信息；

利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度，以及利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度时域降噪强度、可见亮度时域降噪强度和可见颜色时域降噪强度；

利用所述红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度分别对所述红外亮度通道、所述可见亮度通道和所述可见颜色通道进行空域降噪，以分别对所述红外图像和所述可见光图像进行空域降噪，以及利用所述红外亮度时域降噪强度、可见亮度时域降噪强度和可见颜色时域降噪强度分别对所述红外亮度通道、所述可见亮度通道和所述可见颜色通道进行时域降噪，以分别对所述红外图像和所述可见光图像进行时域降噪。

3.根据权利要求2所述的图像降噪方法，其特征在于，所述获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的运动信息的步骤，包括：

分别获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道的当前帧图像与前一帧图像的第一帧差图像、第二帧差图像和第三帧差图像；

分别对所述第一帧差图像、第二帧差图像和第三帧差图像进行均值滤波处理，并取绝对值结果作为所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的所述运动信息。

4.根据权利要求3所述的图像降噪方法，其特征在于，所述利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度空域降噪强度、可见亮度空域降噪强度和可见颜色空域降噪强度的步骤，包括：

根据所述红外亮度通道、所述可见亮度通道和所述可见颜色通道各自的边缘信息和非边缘信息获得分别对应的红外亮度初始空域降噪强度、可见亮度初始空域降噪强度和可见颜色初始空域降噪强度；

利用所述运动信息获取红外亮度差异化空域降噪强度、可见亮度差异化空域降噪强度和可见颜色差异化空域降噪强度，以及利用所述红外亮度初始空域降噪强度和可见亮度初始空域降噪强度获取空域融合降噪强度；

利用所述红外亮度初始空域降噪强度和所述红外亮度差异化空域降噪强度获取所述红外亮度空域降噪强度，利用所述空域融合降噪强度和所述可见亮度差异化空域降噪强度获取所述可见亮度空域降噪强度，以及利用所述可见颜色初始空域降噪强度和所述可见颜色差异化空域降噪强度获取所述可见颜色空域降噪强度。

5.根据权利要求4所述的图像降噪方法，其特征在于，所述利用所述运动信息获取红外亮度差异化空域降噪强度、可见亮度差异化空域降噪强度和可见颜色差异化空域降噪强度的步骤，包括：

判断所述运动信息是否小于第一阈值；

若是，则将对应的差异化空域降噪强度赋值为第一强度；

否则，进一步判断所述运动信息是否大于第二阈值，其中所述第二阈值大于所述第一阈值；

若是，则将对应的差异化空域降噪强度赋值为第二强度，其中所述第二强度大于所述第一强度；

否则，将对应的差异化空域降噪强度赋值为第三强度，其中所述第三强度大于或等于所述第一强度，小于或等于所述第二强度，且与所述运动信息正相关。

6.根据权利要求4所述的图像降噪方法，其特征在于，所述利用所述红外亮度初始空域降噪强度和可见亮度初始空域降噪强度获取空域融合降噪强度的步骤，包括：

将所述红外亮度初始空域降噪强度与第一空域融合系数的乘积加上所述可见亮度初始空域降噪强度与第二空域融合系数的乘积得到的和作为所述空域融合降噪强度，其中，所述第一空域融合系数和所述第二空域融合系数之和为1。

7.根据权利要求6所述的图像降噪方法，其特征在于，所述利用所述红外亮度初始空域降噪强度和所述红外亮度差异化空域降噪强度获取所述红外亮度空域降噪强度，利用所述空域融合降噪强度和所述可见亮度差异化空域降噪强度获取所述可见亮度空域降噪强度，以及利用所述可见颜色初始空域降噪强度和所述可见颜色差异化空域降噪强度获取所述可见颜色空域降噪强度的步骤，包括：

获得所述红外亮度差异化空域降噪强度与第一权重的第一乘积、以及所述红外亮度初始空域降噪强度与第二权重的第二乘积，并将所述第一乘积与所述第二乘积之和作为所述红外亮度空域降噪强度，其中，所述第一权重和所述第二权重之和为1；以及

获得所述可见亮度差异化空域降噪强度与第三权重的第三乘积、以及所述空域融合降噪强度与第四权重的第四乘积，并将所述第三乘积与所述第四乘积之和作为所述可见亮度空域降噪强度，其中，所述第碱权重和所述第四权重之和为1；以及

获得所述可见颜色差异化空域降噪强度与第五权重的第五乘积、以及所述可见颜色初始空域降噪强度与第六权重的第六乘积，并将所述第五乘积与所述第六乘积之和作为所述可见颜色空域降噪强度，其中，所述第五权重和所述第六权重之和为1。

8.根据权利要求3所述的图像降噪方法，其特征在于，所述利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度时域降噪强度、可见亮度时域降噪强度和可见颜色时域降噪强度的步骤，包括：

利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度初始时域降噪强度、可见亮度初始时域降噪强度和可见颜色初始时域降噪强度，并将所述红外亮度时域降噪强度赋值为所述红外亮度初始时域降噪强度；

利用所述红外亮度初始时域降噪强度和所述可见亮度初始时域降噪强度获取第一时域融合降噪强度，并将所述可见亮度时域降噪强度赋值为第一时域融合降噪强度；

利用所述可见颜色初始时域降噪强度和所述第一时域融合降噪强度获取第二时域融合降噪强度，并将所述可见颜色时域降噪强度赋值为所述第二时域融合降噪强度。

9.根据权利要求8所述的图像降噪方法，其特征在于，所述利用所述运动信息获取所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的红外亮度初始时域降噪强度、可见亮度初始时域降噪强度和可见颜色初始时域降噪强度的步骤，包括：

将所述红外亮度初始时域降噪强度、可见亮度初始时域降噪强度和可见颜色初始时域降噪强度分别赋值为所述红外亮度通道、所述可见亮度通道和所述可见颜色通道分别对应的所述运动信息。

10.根据权利要求8所述的图像降噪方法，其特征在于，所述利用所述红外亮度初始时域降噪强度和所述可见亮度初始时域降噪强度获取第一时域融合降噪强度的步骤，包括：

将所述红外亮度初始时域降噪强度与第一时域融合系数的乘积加上所述可见亮度初始时域降噪强度与第二时域融合系数的乘积得到的和作为所述第一时域融合降噪强度，其中，所述第一时域融合系数和所述第二时域融合系数之和为1。

11.根据权利要求10所述的图像降噪方法，其特征在于，所述利用所述可见颜色初始时域降噪强度和所述第一时域融合降噪强度获取第二时域融合降噪强度的步骤，包括：

将所述可见颜色初始时域降噪强度与第三时域融合系数的乘积加上所述第一时域融合降噪强度与第四时域融合系数的乘积得到的和作为所述第二时域融合降噪强度，其中，所述第三时域融合系数和所述第四时域融合系数之和为1。

12.一种图像降噪装置，其特征在于，包括：

相互耦接的存储器和处理器；

其中，所述存储器存储有程序指令，所述处理器能够执行所述程序指令以实现如权利要求1-11任一项所述的图像降噪方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行以实现如权利要求1-11任一项所述的图像降噪方法。

Images