CN113538255A - 一种运动融合降噪方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种运动融合降噪方法、设备及计算机可读存储介质，该方法包括：获取目标的当前可见光图像和当前红外光图像；对当前可见光图像进行时域降噪，得到当前可见光降噪图像，当前可见光图像的运动区的可见光时域降噪强度小于当前可见光图像的静止区的可见光时域降噪强度；将当前红外光图像的运动区图像与当前可见光降噪图像的运动区图像进行融合，得到对应运动区的当前可见光融合图像。通过上述方式，本发明能够弥补当前可见光图像的运动区因无法有效利用时域信息来补充图像细节的缺陷，使得当前可见光图像运动区的细节信息更好。

Description

一种运动融合降噪方法、设备及计算机可读存储介质

技术领域

本发明涉及图像处理领域，特别是涉及一种运动融合降噪方法、设备及计算机可读存储介质。

背景技术

在低照场景下，普通相机所呈现的可见光图像往往饱受噪声的影响，需要使用降噪技术对图像进行降噪以提升视觉效果。近年来利用红外光图像来引导可见光图像降噪的技术应用越来越广泛，但是利用红外光图像实现对可见光图像的引导降噪，是一个难点，不当的引导非但不能提升视觉效果，还可能导致一些异常。如在对图像进行时域降噪时，会通过降低了运动区时域降噪强度的方式来降低拖尾效应的风险，而却会导致运动区噪声相较于静止区更为明显，这样，在时域降噪的作用下，会导致降噪结果运动区噪声抑制表现更差。

发明内容

本发明主要解决的技术问题是提供一种运动融合降噪方法、设备及计算机可读存储介质，能够弥补当前可见光图像的运动区因无法有效利用时域信息来补充图像细节的缺陷，使得当前可见光图像运动区的细节信息更好。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种运动融合降噪方法，该运动融合降噪方法包括：获取目标的当前可见光图像和当前红外光图像；对当前可见光图像进行时域降噪，得到当前可见光降噪图像，当前可见光图像的运动区的可见光时域降噪强度小于当前可见光图像的静止区的可见光时域降噪强度；将当前红外光图像的运动区图像与当前可见光降噪图像的运动区图像进行融合，得到对应运动区的当前可见光融合图像。

其中，对当前可见光图像进行时域降噪之后包括：将当前红外光图像的静止区图像与当前可见光降噪图像的静止区图像进行融合，得到对应静止区的当前可见光融合图像。

其中，将当前红外光图像的运动区图像与当前可见光降噪图像的运动区图像进行融合，得到对应运动区的当前可见光融合图像包括：获取当前红外光图像的第一引导强度和第二引导强度，第一引导强度大于第二引导强度；第一引导强度是从当前红外光图像的第一区域图像获取得到的，第二引导强度是从当前红外光图像的第二区域图像获取得到的，当前红外光图像的第一区域图像的信噪比高于当前红外光图像的第二区域图像的信噪比；将当前红外光图像的运动区图像与当前可见光降噪图像的运动图像进行加权融合；将当前红外光图像的静止区图像与当前可见光降噪图像的静止区图像进行加权融合；其中，当前红外光图像的运动区图像的权重为第一融合强度，当前红外光图像的静止区图像的权重为第二融合强度，第一融合强度和第二融合强度是分别利用第一引导强度和第二引导强度计算得到的，第一融合强度大于第二融合强度。

其中，将当前红外光图像的运动区图像与当前可见光降噪图像的运动区图像进行融合之前包括：对当前红外光图像进行降噪处理，降噪处理包括时域降噪和/或空域降噪。

其中，对当前可见光图像进行时域降噪之前包括：对当前可见光图像进行空域降噪。

其中，对当前可见光图像进行时域降噪之后包括：对当前可见光图像进行空域降噪。

其中，对当前可见光图像进行时域降噪包括：获取目标的多个历史可见光降噪图像，历史可见光降噪图像是对历史可见光图像进行降噪处理得到的；利用多个历史可见光降噪图像和当前可见光图像获取综合可见光时域降噪强度；结合综合可见光时域降噪强度和时域降噪算法对当前可见光图像进行时域降噪。

其中，对历史可见光图像进行降噪处理包括：对历史可见光图像依次进行时域降噪处理和空域降噪处理；或对历史可见光图像依次进行空域降噪处理和时域降噪处理。

其中，利用多个历史可见光降噪图像和当前可见光图像获取综合可见光时域降噪强度包括：

获取红外光图像的红外光时域降噪强度和当前可见光图像的初始可见光时域降噪强度，红外光图像的红外光时域降噪强度包括第一红外光时域降噪强度和第二红外光时域降噪强度，第一红外光时域降噪强度是对红外光图像的第一区域图像进行时域降噪处理的降噪强度，第二红外光时域降噪强度是对红外光图像的第二区域图像进行时域降噪处理的降噪强度，红外光图像的第一区域图像的信噪比高于红外光图像的第二区域图像的信噪比；当前可见光图像的初始可见光时域降噪强度包括第一初始可见光时域降噪强度和第二初始可见光时域降噪强度，第一初始可见光时域降噪强度是对应可见光图像的第一区域图像的时域降噪强度，第二初始可见光时域降噪强度是对应可见光图像的第二区域图像的时域降噪强度；将第一红外光时域降噪强度和第一初始可见光时域降噪强度进行加权融合；将第二红外光时域降噪强度和第二初始可见光时域降噪强度与进行加权融合，得到综合可见光时域降噪强度；第一红外光时域降噪强度的权重为第一引导强度，第二红外光时域降噪强度权重为第二引导强度；其中，第一引导强度是从当前红外光图像的第一区域图像获取得到的，第二引导强度是从当前红外光图像的第二区域图像获取得到。

获取红外光图像的红外光空域降噪强度和当前可见光图像的初始可见光空域降噪强度，红外光图像的红外光空域降噪强度包括第一红外光空域降噪强度和第二红外光空域降噪强度，第一红外光空域降噪强度是对红外光图像的第一区域图像进行空域降噪处理的降噪强度，第二可见光空域降噪强度是对红外光图像的第二区域图像进行空域降噪处理的降噪强度，红外光图像的第一区域图像的信噪比高于红外光图像的第二区域图像的信噪比；当前可见光图像的初始可见光空域降噪强度包括第一初始可见光空域降噪强度和第二初始可见光空域降噪强度，第一初始可见光空域降噪强度是对应可见光图像的第一区域图像的空域降噪强度，第二初始可见光空域降噪强度是对应可见光图像的第二区域图像的空域降噪强度；将第一红外光空域降噪强度和第一初始可见光空域降噪强度进行加权融合；将第二红外光空域降噪强度和第二初始可见光空域降噪强度与进行加权融合，得到综合可见光空域降噪强度；第一红外光空域降噪强度的权重为第一引导强度，第二红外光空域降噪强度权重为第二引导强度；其中，第一引导强度是从当前红外光图像的第一区域图像获取得到的，第二引导强度是从当前红外光图像的第二区域图像获取得到；结合综合可见光空域降噪强度和空域降噪算法对当前可见光图像进行空域降噪。

其中，将运动区当前红外光图像与运动区当前可见光降噪图像进行融合，得到对应运动区的当前可见光融合图像之后还包括：对可见光降噪图像进行空域降噪。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种运动融合降噪设备，其包括处理器，处理器用于执行指令以实现上述的运动融合降噪方法。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的运动融合降噪方法。

本发明的有益效果是：区别于现有技术的情况，本发明通过在对当前可见光图像进行空域降噪之后，将当前可见光降噪图像的运动区图像与对应的当前红外光图像的运动区的图像进行融合，弥补了当前可见光图像的运动区因无法有效利用时域信息来补充图像细节的缺陷，使得当前可见光图像运动区的细节信息更好，视觉观感更佳。

附图说明

图1是本申请实施方式中一运动融合降噪方法的流程示意图；

图2是本申请实施方式中另一运动融合降噪方法的流程示意图；

图3是本申请实施方式中当前红外光图像和当前可见光降噪图像融合方法的流程示意图；

图4是本申请实施方式中对当前红外光图像进行降噪处理的流程示意图；

图5是本申请实施方式中对当前可见光图像进行降噪处理的流程示意图；

图6是本申请实施方式中运动融合降噪装置的结构示意图；

图7是本申请实施方式中运动融合降噪设备的结构示意图；

图8是本申请实施方式中计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

请参阅图1，图1是本申请实施方式中一运动融合降噪方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：

S110：获取目标的当前可见光图像和当前红外光图像。

该实施方式中，可以使用同时拍摄到可见光图像和红外光图像的设备同时获取目标的可见光图像和红外光图像，如红外热像仪等设备。也可以使用不同设备分别获取目标的可见光图像和红外光图像，如使用可见光摄像机和红外摄像机来分别获取。当使用不同的设备获取可见光图像和红外光图像时，两设备可以放置在同一位置，镜头光轴同方向且平行，以获取同一角度的可见光图像和红外光图像。两设备也可以放置在不同位置，以获取不同角度的可见光图像和红外光图像。该实施方式不对使用的设备和图像获取角度进行限定。将进行处理的当前帧的可见光图像作为当前可见光图像，将与当前可见光对应的红外光图像作为当前红外光图像。

S130：对当前可见光图像进行时域降噪，得到当前可见光降噪图像。

图像可以根据运动信息的不同，将图像分为运动区和静止区，在本申请的实施方式中，可以根据运动信息检测方法划分运动区和静止区，也可以认为界定运动区和静止区，在此不做限定。在相邻帧图像之间运动区比静止区的信息变化大，因此，为降低拖尾效应的对图像降噪的影响，在当前可见光图像的运动区和静止区设置不同的时域降噪强度，对当前可见光图像进行时域降噪，得到当前可见光降噪图像。其中，当前可见光图像的运动区可见光时域降噪强度小于当前可见光图像的静止区可见光时域降噪强度。

S150：将当前红外光图像的运动区与当前可见光降噪图像的运动区进行融合，得到对应运动区的当前可见光融合图像。

在当前可见光降噪图像的运动区引入当前红外光图像的运动区的信息，将当前红外光图像的运动区与当前可见光降噪图像的运动区进行融合，得到对应运动区的当前可见光融合图像。

本实施方式中，通过在对当前可见光图像进行空域降噪之后，将当前可见光降噪图像的运动区图像与对应的当前红外光图像的运动区的图像进行融合，弥补了当前可见光图像的运动区因无法有效利用时域信息来补充图像细节的缺陷，使得当前可见光图像运动区的细节信息更好，视觉观感更佳。

参阅图2，图2是本申请实施方式中另一运动融合降噪方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：

S210：获取目标的当前可见光图像和当前红外光图像。

S230：对当前可见光图像进行时域降噪，得到当前可见光降噪图像。

S250：将运动区当前红外光图像与运动区当前可见光降噪图像进行融合，得到对应运动区的当前可见光融合图像；将静止区当前红外光图像与静止区当前可见光降噪图像进行融合，得到对应静止区的当前可见光融合图像。

在当前可见光降噪图像的运动区引入当前红外光图像的运动区的信息，同时在在当前可见光降噪图像的静止区引入当前红外光图像的静止区的信息。

在对当前红外光图像和当前可见光降噪图像进行融合时，可以使用没用经过降噪处理的原始当前可见光图像，也可以使用经过降噪处理的当前红外光图像，降噪方法可以为空域降噪、时域降噪、空域降噪和时域降噪相结合或者其他降噪方法，在此不再限定。

S270：对当前可见光融合图像进行空域降噪。

在将整个当前红外光图像和当前可见光图像进行融合之后，对当前可见光融合图像再进行依次空域降噪处理，具体降噪方法不进行限定。

请参阅图3，图3是本申请实施方式中当前红外光图像和当前可见光降噪图像融合方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施方式包括：

S310：获取当前红外光图像的第一引导强度和第二引导强度。

图像的信噪比时衡量图像质量高低的重要指标，是指视频信号的大小与噪波信号大小的比值，在信噪比高的图像区域噪声小，在信噪比低的图像区域噪声大。当前红外光图像的不同区域具有不同的信噪比，根据信噪比的不同设置不同的引导强度，在信噪比高的区域设置较大的引导强度，在信噪比低的区域设置较小的引导强度。可选地，可以将整个红外光设置同一引导强度，也可以根据信噪比梯度设置不同梯度大小的引导强度。

根据信噪比不同，将当前红外光图像分为第一区域和第二区域，第一区域当前红外光图像的信噪均比高于第二区域当前红外光图像的信噪比。整体增大第一区域图像第一引导强度，整体减小第二区域图像的第二引导强度。本申请实施方式中，可以根据当前红外光图像的亮度信息、色度信息等确定第一区域和第二区域。

在一实施方式中，根据当前红外光图像的亮度信息确定第一区域和第二区域。预先设置第一阈值th1、第二阈值th2和第三阈值th3，将当前红外光图像中亮度值大于th1的区域作为潜在的过曝区域，将当前红外光图像中亮度值小于th2的区域作为潜在的信息丢失区域，将其他区域作为正常区域。计算过曝区域和信息丢失区域的方差信息，该方差信息可以为每一个像素点的方差信息或者多个像素区域的方差信息，若方差信息高于第三阈值th3，则表明该区域图像的亮度过高或过低时由材料反射特性导致的，其本身属于正常，否则表明该区域为信息异常区域。将正常区域作为第一区域，将信息异常区域作为第二区域，在第一区域设置第一引导强度，在第二区域设置第二引导强度，该引导强度可认为进行设定，或根据其他信息计算得到，在此不再限定。

上述第一阈值th1、第二阈值th2和第三阈值th3为预先设定的阈值，默认取值需要依据实际情况而定，在一具体实施方式中，第一阈值th1为240，第二阈值th2为10，第三阈值th3为5，计算得到的引导强度为gui_ratio，引导强度的取值范围为大于或等于0且小于或等于1。

在另一实施方式中，可以根据经过降噪处理的当前红外光图像的亮度信息、色度信息设置引导强度；还可以结合未降噪处理的当前红外光图像和经过降噪处理的当前红外光图像共同计算的到引导强度；还可以结合当前可见光图像和当前红外光图像共同计算的到引导强度。

S330：利用第一引导强度和第二引导强度将当前红外光图像与当前可见光降噪图像进行加权融合。

在该实施方式中，与当前可见光降噪图像进行加权融合的当前红外光图像可以为初始的当前红外光图像，也可以为进行了降噪处理后的图像。当前红外光图像可以使用上述的降噪方法进行降噪，在此不再赘述。

根据当前可见光图像和当前红外光图像的运动信息，对于不同运动信息的区域设置不同的初始融合强度，运动区的初始融合强度要大于静止区的初始融合强度。初始融合强度的取值范围为大于或等于0且小于或等于1。在一实施方式中，在运动区设置较大的初始第一融合强度，其取值偏向于1，在静止区设置较小的初始第二融合强度，其取值偏向于0。

对初始融合强度根据引导强度进行调整。首先将预先设定的第四阈值th4与引导强度相乘，得到调整后的引导强度，调整后的引导强度为gui_th，将调整后的引导强度中大于1的至重新取值为1，将调整后的引导强度中小于0的至值重新取值为0，使引导强度的取值范围保持为大于或等于0且小于或等于1。将对应像素点的引导强度与初始融合强度相乘，得到调整后的融合强度，其为fusion_ratio。其中，第四阈值th4为预先给定的阈值，可选地，第四阈值th4的默认值为1。经过调整之后，运动区的融合强度为第一融合强度，静止区的融合强度为第二融合强度，且第一融合强度大于第二融合强度。

利用调整后的融合强度将当前红外光图像和当前可见光降噪图像进行融合，可以使用多种融合方式。在一实施方式中，将当前红外光图像的运动区图像与当前可见光降噪图像的运动区图像进行加权融合，当前红外光图像的运动区图像的权重为第一融合强度；将当前红外光图像的静止区图像与当前可见光降噪图像的静止区图像进行加权融合，当前红外光图像的静止区图像的权重为第二融合强度，得到当前可见光融合图像。当前可见光降噪图像分为当前可见光亮度通道降噪图像和当前可见光色度通道降噪图像。当前可见光亮度通道降噪图像和当前可见光色度通道降噪图像分别与当前红外光图像进行融合，融合方式相同，本实施方式中，以将当前可见光亮度通道降噪图像与当前红外光图像进行融合为例进行说明。具体融合公式如下：

vis_0＝(1-fusion_ratio)×vis+fusion_ratio×nir

其中，vis为当前可见光亮度通道降噪图像，nir为当前红外光图像，vis_0为当前可见光融合图像。

在本实施方式中，通过根据当前红外光图像的各区域信噪比不同设置不同的引导强度，根据当前可见光图像和当前红外光图像运动区和静止区的运动信息的不同，设置不同的融合强度，然后利用引导强度对融合强度进行调整，在当前可见光降噪图像的运动区融合较多的当前红外光图像的信息，静止区融合较少的当前红外光图像的信息，使得可以在运动区补充更多的细节信息，视觉观感更佳，而在静止区降低融合强度能够充分利用之前的信息，保障亮度信息的保真性。

在本申请的实施方式中，需要进行图像融合的当前红外光图像可以为经过降噪处理的图像，降噪方法包括空域降噪、时域降噪、空域降噪和时域降噪相结合或者其他降噪方法。请参阅图4，图4是本申请实施方式中对当前红外光图像进行降噪处理的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施方式包括：

S410：对当前红外光图像进行运动检测，得到当前红外光图像运动信息。

可以使用多种运动检测方法对当前红外光图像进行运动检测，如帧差法、光流法、背景差法等，得到当前红外光图像运动信息。在一实施方式中，使用帧差法对当前红外光图像进行运动检测，对比前后两帧红外光图像，如果一区域的前后两帧图像像素间差值较大，则该区域更偏向于运动区，如果一区域的前后两帧图像像素间差值较小，则该区域更偏向于静止区。在另一实施方式中，使用光流法对当前红外光图像进行运动检测，如果一区域的光流值较大，则该区域为运动区的可能性更大，如果一区域的光流值较小，则该区域为静止区的可能性更大。

S430：对当前红外光图像进行空域降噪。

可根据当前红外光图像的多种图像信息获取当前红外光图像空域降噪强度。在一实施方式中，可以使用方差、边缘等图像信息决策当前红外光图像空域降噪强度，当一区域图像的方差信息越大时，则表示该区域图像噪声越大，因此，在该区域设置较大的当前红外光图像空域降噪强度，以在后续进行空域降噪时降低该区域的噪声；当一区域图像的边缘信息越强，则在该区域设置较小的当前红外光图像空域降噪强度，以在后续进行空域降噪时保留该区域的大边缘信息。

根据当前红外光图像的运动信息对获取到的当前红外光图像空域降噪强度进行调整。根据运动信息的不同，差异化当前红外光图像空域降噪强度，如当前红外光图像包括区域A和区域B，利用方差信息决策出区域A与区域B的前红外光图像空域降噪强度相同，但区域A为运动区，区域B为静止区，则适当增大区域A的前红外光图像空域降噪强度，减小区域B的前红外光图像空域降噪强度，得到调整后的当前红外光图像空域降噪强度为nirspa_ratio。

根据调整后的当前红外光图像空域降噪强度，利用空域降噪算法对当前红外光图像进行降噪，具体空域降噪算法在此不做限定。

S450：对当前红外光图像进行时域降噪。

获取目标多个历史红外光降噪图像，历史红外光降噪图像是对历史红外光图像进行降噪处理得到的。在一实施方式中，获取多个前向帧图像的经过时域降噪后的红外光降噪图像，结合当前红外光图像和多个历史红外光降噪图像决策当前红外光图像时域降噪强度。

根据当前红外光图像的运动信息对获取到的当前红外光图像时域降噪强度进行调整。根据运动信息的不同，减小运动区的当前红外光图像时域降噪强度，甚至可以将运动区的当前红外光图像时域降噪强度置零，而增大静止区的当前红外光图像时域降噪强度。在一实施方式中，对于运动区，将当前红外光图像的运动信息的倒数作为当前红外光图像时域降噪强度。调整后的当前红外光图像时域降噪强度为nirtim_ratio。

根据调整后的当前红外光图像时域降噪强度，利用时域降噪算法对当前红外光图像进行降噪，具体时域降噪算法在此不做限定。

其中，可只进行S410和S430其中一个步骤，也可连续进行S410和S430两个步骤。S410和S430的具体顺序不进行限定，若先进行S410的空域降噪，则在S430时对空域降噪后的当前红外光空域降噪图像进行时域降噪；若先进行S430的时域降噪，则在S410时对时域降噪后的当前红外光时域降噪图像进行空域降噪。

S470：对当前红外光图像进行优化处理，得到降噪后的当前红外光图像。

对当前红外光图像进行后处理操作，实质上是对当前红外光图像再进行一次空域降噪，得到当前红外光降噪图像。具体空降噪方法与S410相同，在此不再赘述。

在该实施方式中，对当前红外光图像先进行空域和时域降噪，时域降噪的输出部分还作为下一帧时域降噪时输入的历史红外光图像，可以保证时域降噪后的细节信息在下一帧图像进行时域降噪时不会丢失。之后，在降噪结果的基础上再进行一次空域降噪，在优化最终红外光图像降噪效果的同时，对于之前进行的空域和时域降噪强度的要求降低了。通过这种方法，使得最终呈现的当前红外光降噪图像的视觉效果观感更好。

在本申请的实施方式中，需要进行图像融合的当前可见光图像可以为只经过时域降噪处理的图像，也可以为结合空域降噪和时域降噪处理的图像。请参阅图5，图5是本申请实施方式中对当前可见光图像进行降噪处理的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施方式包括：

S510：对当前可见光图像进行运动检测，得到当前可见光图像运动信息。

当前可见光图像可以分为当前可见光亮度通道图像和当前可见光色度通道图像，分别对当前可见光亮度通道图像和当前可见光色度通道图像进行运动检测，可以使用如帧差法、光流法、背景差法等运动检测方法进行检测，得到当前可见光亮度通道图像和当前可见光色度通道图像的运动信息。具体获取方法与S410中获取当前红外光图像运动信息相同，在此不再赘述。

S530：对当前可见光图像进行空域降噪。

可根据当前可见光图像的多种图像信息获取当前可见光图像空域降噪强度，再根据当前可见光图像的运动信息对获取到的当前可见光空域降噪强度进行调整。具体获取方法与S430获取调整后的当前红外光图像空域降噪强度相同，在此不再赘述。

利用引导强度对当前可见空域降噪强度进行第二次调整。预先设定第五阈值th5和第六阈值th6，将第一引导强度或第五阈值th5与第一引导强度的乘积作为第一权重，将第二引导强度或第六阈值th6与第二引导强度的乘积作为第二权重，将第一权重和第二权重中大于1的值重新取值为1，将小于0的值重新取值为0，得到初始可见光空域降噪强度。其中，得到的第一权重为nor_th，得到的第二权重为unnor_th。

将当前红外光图像的第一区域的当前红外光空域降噪强度作为第一当前红外光空域降噪强度，将当前可见光图像的对应区域的初始可见光空域降噪强度作为第一初始可见光空域降噪强度；将当前红外光图像的第二区域的当前红外光空域降噪强度作为第二红外光空域降噪强度，将当前可见光图像的对应区域的初始可见光空域降噪强度作为第二初始可见光空域降噪强度。将第一红外光空域降噪强度和第一初始可见光空域降噪强度进行加权融合，其中，第一红外光空域降噪强度的融合权重为第一权重；将第二红外光空域降噪强度和第二初始可见光空域降噪强度与进行加权融合，其中，第二红外光空域降噪强度的融合权重为第二权重，得到综合可见光空域降噪强度。

当前可见光降噪图像分为当前可见光亮度通道降噪图像和当前可见光色度通道降噪图像。对当前可见光图像的当前可见光亮度通道图像和当前可见光色度通道图像分别进行空域降噪，以下实施方式以对当前可见光亮度通道图像进行空域降噪为例进行说明。具体融合公式如下：

其中，visspa_ratio为当前可见光亮度通道降噪图像的空域降噪强度，nirspa_ratio为当前红外光图像空域降噪强度，visspa_ratio_0为当前可见光图像空域降噪强度。

根据调整后的当前可见光图像空域降噪强度，利用空域降噪算法对当前可见光图像进行降噪，具体空域降噪算法在此不做限定。

S550：对当前可见光图像进行时域降噪。

获取目标多个历史可见光降噪图像，历史可见光降噪图像是对历史可见光图像进行降噪处理得到的。在一实施方式中，获取多个前向帧图像的依次经过空域降噪处理和时域降噪处理的可见光降噪图像，结合当前可见光图像和多个历史可见光降噪图像决策初始可见光图像时域降噪强度。在另一实施方式中，获取多个前向帧图像的依次经过时域降噪处理和空域降噪处理的可见光降噪图像，结合当前可见光图像和多个历史可见光降噪图像决策初始可见光图像时域降噪强度。

可根据当前可见光图像的多种图像信息获取当前可见光图像时域降噪强度，再根据当前可见光图像的运动信息对获取到的当前可见光时域降噪强度进行调整。具体获取方法与S450获取调整后的当前红外光图像时域降噪强度相同，在此不再赘述。

利用引导强度对当前可见时域降噪强度进行第二次调整。预先设定第七阈值th7和第八阈值th8，将第一引导强度或第七阈值th7与第一引导强度的乘积作为第三权重，将第二引导强度或第八阈值th8与第二引导强度的乘积作为第四权重，将第三权重和第四权重中大于1的值重新取值为1，将小于0的值重新取值为0，得到初始可见光时域降噪强度。其中，得到的第三权重为nor_th1，得到的第四权重为unnor_th1。

将当前红外光图像的第一区域的当前红外光时域降噪强度作为第一当前红外光时域降噪强度，将当前可见光图像的对应区域的初始可见光时域降噪强度作为第一初始可见光时域降噪强度；将当前红外光图像的第二区域的当前红外光时域降噪强度作为第二红外光时域降噪强度，将当前可见光图像的对应区域的初始可见光时域降噪强度作为第二初始可见光时域降噪强度。将第一红外光时域降噪强度和第一初始可见光时域降噪强度进行加权融合，其中，第一红外光时域降噪强度的融合权重为第一权重；将第二红外光时域降噪强度和第二初始可见光时域降噪强度与进行加权融合，其中，第二红外光时域降噪强度的融合权重为第二权重，得到综合可见光时域降噪强度。

当前可见光降噪图像分为当前可见光亮度通道降噪图像和当前可见光色度通道降噪图像。对当前可见光图像的当前可见光亮度通道图像和当前可见光色度通道图像分别进行时域降噪，以下实施方式以对当前可见光亮度通道图像进行时域降噪为例进行说明。具体融合公式如下：

其中，visspa_ratio_1为当前可见光亮度通道降噪图像的时域降噪强度，nirspa_ratio_1为当前红外光图像时域降噪强度，visspa_ratio_1为当前可见光图像时域降噪强度。

根据调整后的当前可见光图像时域降噪强度，利用时域降噪算法对当前可见光图像进行降噪，具体时域降噪算法在此不做限定。

在该实施方式中，通过根据当前红外光图像的各区域信噪比不同设置不同的引导强度，能够对红外光图像的好坏进行甄别。利用不同的引导强度对当前红外光图像的不同区域进行不同的空域降噪和时域降噪处理。在进行了一次时域降噪和空域降噪之后，再进行一次空域降噪，使得对之前时域降噪和空域降噪的要求降低，最终图像视觉效果观感更好。同时根据当前可见光图像和当前红外光图像运动区和静止区的运动信息的不同，设置不同的融合强度，然后利用引导强度对融合强度进行调整，在当前可见光降噪图像的运动区融合较多的当前红外光图像的信息，静止区融合较少的当前红外光图像的信息，使得可以在运动区补充更多的细节信息，视觉观感更佳，而在静止区降低融合强度能够充分利用之前的信息，保障亮度信息的保真性。

请参阅图6，图6是本申请实施方式中运动融合降噪装置的结构示意图。该实施方式中，运动融合降噪装置包括获取模块61、降噪模块62和融合模块63。

其中获取模块61用于获取目标的当前可见光图像和当前红外光图像；降噪模块62用于对当前可见光图像进行时域降噪，得到当前可见光降噪图像；融合模块63用于将当前红外光图像的运动区与当前可见光降噪图像的运动区进行融合，得到对应运动区的当前可见光融合图像。

本实施方式中，通过在对当前可见光图像进行空域降噪之后，将当前可见光降噪图像的运动区图像与对应的当前红外光图像的运动区的图像进行融合，弥补了当前可见光图像的运动区因无法有效利用时域信息来补充图像细节的缺陷，使得当前可见光图像运动区的细节信息更好，视觉观感更佳。

请参阅图7，图7是本申请实施方式中运动融合降噪设备的结构示意图。该实施方式中，运动融合降噪设备71包括处理器72。

处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器72也可以是任何常规的处理器等。

运动融合降噪设备71可以进一步包括存储器(图中未示出)，用于存储处理器72运行所需的指令和数据。

处理器72用于执行指令以实现上述本申请运动融合降噪方法任一实施例及任意不冲突的组合所提供的方法。

请参阅图8，图8是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质81存储有指令/程序数据82，该指令/程序数据82被执行时实现本申请运动融合降噪方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据82可以形成程序文件以软件产品的形式存储在上述存储介质81中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质81包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种运动融合降噪方法，其特征在于，所述方法包括：

获取目标的当前可见光图像和当前红外光图像；

对所述当前可见光图像进行时域降噪，得到当前可见光降噪图像，所述当前可见光图像的运动区的可见光时域降噪强度小于所述当前可见光图像的静止区的可见光时域降噪强度；

将所述当前红外光图像的运动区图像与所述当前可见光降噪图像的运动区图像进行融合，得到对应运动区的当前可见光融合图像。

2.根据权利要求1所述的运动融合降噪方法，其特征在于，所述对所述当前可见光图像进行时域降噪之后包括：

将所述当前红外光图像的静止区图像与所述当前可见光降噪图像的静止区图像进行融合，得到对应静止区的当前可见光融合图像。

3.根据权利要求2所述的运动融合降噪方法，其特征在于，所述对所述当前红外光图像的运动区图像与所述当前可见光降噪图像的运动区图像进行融合，得到对应运动区的当前可见光融合图像包括：

获取所述当前红外光图像的第一引导强度和第二引导强度，所述第一引导强度大于所述第二引导强度；所述第一引导强度是从所述当前红外光图像的第一区域图像获取得到的，所述第二引导强度是从所述当前红外光图像的第二区域图像获取得到的，所述当前红外光图像的第一区域图像的信噪比高于所述当前红外光图像的第二区域图像的信噪比；

将所述当前红外光图像的运动区图像与所述当前可见光降噪图像的运动图像进行加权融合；将所述当前红外光图像的静止区图像与所述当前可见光降噪图像的静止区图像进行加权融合；

其中，所述当前红外光图像的运动区图像的权重为第一融合强度，所述当前红外光图像的静止区图像的权重为第二融合强度，所述第一融合强度和所述第二融合强度是分别利用所述第一引导强度和所述第二引导强度计算得到的，所述第一融合强度大于所述第二融合强度。

4.根据权利要求3所述的运动融合降噪方法，其特征在于，所述将所述当前红外光图像的运动区图像与所述当前可见光降噪图像的运动区图像进行融合之前包括：

对所述当前红外光图像进行降噪处理，所述降噪处理包括时域降噪和/或空域降噪。

5.根据权利要求1所述的运动融合降噪方法，其特征在于，所述对所述当前可见光图像进行时域降噪之前包括：

对所述当前可见光图像进行空域降噪。

6.根据权利要求1所述的运动融合降噪方法，其特征在于，所述对所述当前可见光图像进行时域降噪之后包括：

对所述当前可见光图像进行空域降噪。

7.根据权利要求1或5或6所述的运动融合降噪方法，其特征在于，所述对所述当前可见光图像进行时域降噪包括：

获取所述目标的多个历史可见光降噪图像，所述历史可见光降噪图像是对历史可见光图像进行降噪处理得到的；

利用所述多个历史可见光降噪图像和所述当前可见光图像获取综合可见光时域降噪强度；

结合所述综合可见光时域降噪强度和时域降噪算法对所述当前可见光图像进行时域降噪。

8.根据权利要求7所述的运动融合降噪方法，其特征在于，所述对历史可见光图像进行降噪处理包括：

对所述历史可见光图像依次进行时域降噪处理和空域降噪处理；或

对所述历史可见光图像依次进行空域降噪处理和时域降噪处理。

9.根据权利要求7所述的运动融合降噪方法，其特征在于，所述利用所述多个历史可见光降噪图像和所述当前可见光图像获取综合可见光时域降噪强度包括：

获取所述红外光图像的红外光时域降噪强度和所述当前可见光图像的初始可见光时域降噪强度，所述红外光图像的红外光时域降噪强度包括第一红外光时域降噪强度和第二红外光时域降噪强度，所述第一红外光时域降噪强度是对所述红外光图像的第一区域图像进行时域降噪处理的降噪强度，所述第二红外光时域降噪强度是对所述红外光图像的第二区域图像进行时域降噪处理的降噪强度，所述红外光图像的第一区域图像的信噪比高于所述红外光图像的第二区域图像的信噪比；所述当前可见光图像的初始可见光时域降噪强度包括第一初始可见光时域降噪强度和第二初始可见光时域降噪强度，所述第一初始可见光时域降噪强度是对应所述可见光图像的第一区域图像的时域降噪强度，所述第二初始可见光时域降噪强度是对应所述可见光图像的第二区域图像的时域降噪强度；

将第一红外光时域降噪强度和第一初始可见光时域降噪强度进行加权融合；将第二红外光时域降噪强度和第二初始可见光时域降噪强度与进行加权融合，得到所述综合可见光时域降噪强度；所述第一红外光时域降噪强度的权重为第一引导强度，所述第二红外光时域降噪强度权重为第二引导强度；

其中，所述第一引导强度是从所述当前红外光图像的第一区域图像获取得到的，所述第二引导强度是从所述当前红外光图像的第二区域图像获取得到。

10.根据权利要求5或6所述的运动融合降噪方法，其特征在于，所述对所述当前可见光图像进行空域降噪包括：

获取所述红外光图像的红外光空域降噪强度和所述当前可见光图像的初始可见光空域降噪强度，所述红外光图像的红外光空域降噪强度包括第一红外光空域降噪强度和第二红外光空域降噪强度，所述第一红外光空域降噪强度是对所述红外光图像的第一区域图像进行空域降噪处理的降噪强度，所述第二可见光空域降噪强度是对所述红外光图像的第二区域图像进行空域降噪处理的降噪强度，所述红外光图像的第一区域图像的信噪比高于所述红外光图像的第二区域图像的信噪比；所述当前可见光图像的初始可见光空域降噪强度包括第一初始可见光空域降噪强度和第二初始可见光空域降噪强度，所述第一初始可见光空域降噪强度是对应所述可见光图像的第一区域图像的空域降噪强度，所述第二初始可见光空域降噪强度是对应所述可见光图像的第二区域图像的空域降噪强度；

将第一红外光空域降噪强度和第一初始可见光空域降噪强度进行加权融合；将第二红外光空域降噪强度和第二初始可见光空域降噪强度与进行加权融合，得到综合可见光空域降噪强度；所述第一红外光空域降噪强度的权重为第一引导强度，所述第二红外光空域降噪强度权重为第二引导强度；

其中，所述第一引导强度是从所述当前红外光图像的第一区域图像获取得到的，所述第二引导强度是从所述当前红外光图像的第二区域图像获取得到；

结合所述综合可见光空域降噪强度和空域降噪算法对所述当前可见光图像进行空域降噪。

11.根据权利要求1所述的运动融合降噪方法，其特征在于，所述将运动区当前红外光图像与运动区当前可见光降噪图像进行融合，得到对应运动区的当前可见光融合图像之后还包括：

对所述可见光降噪图像进行空域降噪。

12.一种运动融合降噪设备，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求1-11任一项所述的运动融合降噪方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-11任一项所述的运动融合降噪方法。

Images