CN111583151B - 一种视频降噪方法及设备、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种视频降噪方法及设备、计算机可读存储介质。其中，视频降噪方法包括：对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像；基于当前帧的第一处理图像和第一参考帧的第一处理图像，得到当前帧的像素点最终运动权重；其中，第一参考帧为视频中当前帧的前一帧图像的降采样图像；利用当前帧的像素点最终运动权重对当前帧的原始图像和第一处理图像进行融合，获得当前帧的空域基础图像；将当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像，其中，第二参考帧为视频前一帧降噪结果的降采样图像。上述方案，能够使当前帧的第一降噪图像减少运动误判和拖尾情况。

Description

一种视频降噪方法及设备、计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频降噪方法及设备、计算机可读存储介质。

背景技术

众所周知，用于热成像的红外技术具有非接触安全性高、不受环境影响、不受电磁干扰等优势，但同样的，红外图像也存在着清晰度差、对比度低、噪声大的劣势。

红外视频图像中的噪声主要包括背景辐射噪声、探测器噪声以及放大器噪声等，目前它们的处理一般通过减弱背景、阈值分割、图像分层等技术来实现，但这些技术的实施都会有一定的局限性，例如通常会引入拖尾或运动模糊，导致噪声抑制效果不佳等。

发明内容

本申请主要解决的技术问题是提供一种视频降噪方法及设备、计算机可读存储介质，能够减少运动误判和拖尾情况。

为了解决上述问题，本申请第一方面提供了一种视频降噪方法，所述方法包括：对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像；基于所述当前帧的第一处理图像和第一参考帧的第一处理图像，得到所述当前帧的像素点最终运动权重；其中，所述第一参考帧为所述视频中所述当前帧的前一帧图像的降采样图像；利用所述当前帧的像素点最终运动权重对所述当前帧的原始图像和第一处理图像进行融合，获得所述当前帧的空域基础图像；将所述当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像；其中，所述第二参考帧为所述视频前一帧降噪结果的降采样图像。

为解决上述问题，本申请第二方面提供了一种视频降噪设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面的视频降噪方法。

为解决上述问题，本申请第三方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的视频降噪方法。

本发明的有益效果是：区别于现有技术的情况，本申请对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像，然后基于当前帧的第一处理图像和第一参考帧的第一处理图像，得到当前帧的像素点最终运动权重，其中，第一参考帧为视频中当前帧的前一帧图像的降采样图像；利用当前帧的像素点最终运动权重对当前帧的原始图像和第一处理图像进行融合，获得当前帧的空域基础图像；将当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像，其中，第二参考帧为视频前一帧降噪结果的降采样图像。通过上述方式，当前帧的每个像素点均可以通过对应的当前帧的像素点最终运动权重区分其属于运动区域、静止区域或者相应的过渡区域，可以为后续分区域空域降噪做准备；另外，同时引入了第一参考帧的第一处理图像和第二参考帧的第一处理图像，使得时域的降噪和空域运动判断产生互补影响，可以减少运动误判和拖尾情况。

附图说明

图1是本申请视频降噪方法一实施例的流程示意图；

图2是双线性插值方法的示意图；

图3是图1中步骤S12一实施例的流程示意图；

图4为第一对应关系曲线示意图；

图5是图1中步骤S13一实施例的流程示意图；

图6是图1中步骤S14一实施例的流程示意图；

图7是本申请视频降噪方法一应用场景的处理流程示意图；

图8是本申请视频降噪设备一实施例的结构示意图；

图9是本申请视频降噪设备另一实施例的结构示意图；

图10是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请视频降噪方法一实施例的流程示意图。本实施例中的视频降噪方法，包括以下步骤：

S11：对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像。

在一实施方式中，上述步骤S11具体可以包括：将当前帧的原始图像进行降采样，得到当前帧的降采样图像；对当前帧的降采样图像进行上采样，得到当前帧的第一处理图像；其中，上采样的方式为采用双线性插值处理。

本实施方式中，降采样采用的是图像处理过程中常见的均值降采样的方法，然后利用双线性插值的方法计算3*3的插值矩阵，得到当前帧的第一处理图像。具体请结合图2，图2是双线性插值方法的示意图，可以理解的是，每个网格的四个顶点ds_up_left、ds_up_right、ds_down_left、ds_down_right的降采样值已经得到，本实施例中按照3*3的降采样插出任一点的值，即interp(i,j)点的插值，具体公式如下：

ref_interp1＝(ds_up_right-ds_up_left)*remain_j/step_w+ds_up_left；

ref_interp2＝(ds_down_right-ds_down_left)*remain_j/step_w+ds_down_left；

interp(i,j)＝(ref_interp2-ref_interp1)*remain_j/step_h+ref_interp1；

通过上述方式，即可以通过双线性插值求得网格内任意一点，从而得到当前帧的第一处理图像。本实施方式中，对视频中的当前帧的原始图像进行处理可以采用3*3降采样和双线性插值方式，当然，在其他实施方式中，降采样的维度也可以按实际需求进行设定。

S12：基于当前帧的第一处理图像和第一参考帧的第一处理图像，得到当前帧的像素点最终运动权重；其中，第一参考帧为视频中当前帧的前一帧图像的降采样图像。

在一实施方式中，可以将第一参考帧存储在DDR(DDR SDRAM，双倍速率同步动态随机存储器)中，作为预存信息，本申请的视频降噪方法还可以包括：

从预存信息中获取经降采样的当前帧的前一帧图像即第一参考帧以及经降采样的前一帧降噪结果即第二参考帧；分别对第一参考帧和第二参考帧进行上采样，得到第一参考帧的第一处理图像和第二参考帧的第一处理图像；其中，上采样的方式为采用双线性插值处理。可以理解的是，第一参考帧的原始图像通过降采样后存储在DDR中作为预存信息，从预存信息中获取经降采样的第一参考帧的原始图像后，通过前述的双线性插值方式处理，可以得到第一参考帧的第一处理图像。类似地，前一帧降噪结果通过降采样后存储在DDR中作为预存信息，从预存信息中获取经降采样的前一帧降噪结果图像后，通过双线性插值方式处理，可以得到第二参考帧的第一处理图像。

请参阅图3，图3是图1中步骤S12一实施例的流程示意图。在一实施例中，上述步骤S12具体包括：

S121：基于当前帧的第一处理图像和第一参考帧的第一处理图像之间的像素值差异，确定当前帧的像素点初始运动权重；其中，当前帧的像素点初始运动权重存储在预存信息中，作为下一帧的参考初始运动权重。

具体地，在一实施方式中，步骤S121可以包括：获取当前帧的第一处理图像和第一参考帧的第一处理图像中对应像素点的第一像素值差异；对第一像素值差异采用多段权值曲线进行控制，得到当前帧的像素点初始运动权重。

可以理解的是，在得到当前帧的第一处理图像Cur_up和第一参考帧的第一处理图像Ref_up之后，可以计算出当前帧的第一处理图像和参考帧的第一处理图像中对应像素点的第一像素值差异，即得到Cur_up和Ref_up在相同位置的差值绝对值Cur_diff，公式如下：

Cur_diff＝abs(Cur_up-Ref_up)；

可以理解的是，多段权值曲线包括有若干段第一像素值差异范围，且每段第一像素值差异范围对应一个权值，因此，通过对第一像素值差异采用多段权值曲线进行控制，可以确定与各像素点的第一像素值差异对应的权值作为当前帧的像素点初始运动权重。具体请参阅图4，图4为多段权值曲线示意图，多段权值曲线包括五段第一像素值差异范围，其中横坐标的参数t1、t2、t3、t4表示像素点的像素值差异，纵坐标的参数r1、r2、r3表示像素点的像素值差异所对应的权值，于是，采用图4所示的五段权值曲线进行控制，可以确定与各像素点的第一像素值差异t对应的权值r作为当前帧的像素点初始运动权重Cur_motion，以此可以区分当前帧和参考帧Ref之间的运动差异。

S122：从预存信息中获取前一帧的像素点参考初始运动权重，与当前帧的像素点初始运动权重两者融合确定当前帧的像素点最终运动权重。其中，前一帧的像素点参考初始运动权重与当前帧的像素点初始运动权重之间的融合方法采用均值或权重乘积的方式。

需要注意的是，步骤S121中在确定了当前帧的像素点初始运动权重后，将当前帧的像素点初始运动权重存储在预存信息中，那么在当前帧后续作为参考帧时，之前存储的当前帧的像素点初始运动权重Cur_motion就可以作为后续的下一帧的像素点参考初始运动权重Pre_motion。因此，可以从预存信息中获取前一帧的像素点参考初始运动权重Pre_motion。

一实施方式中，上述步骤S122可以包括：将当前帧和前一帧的像素点初始运动权重的积，作为当前帧的像素点最终运动权重。

即，当前帧的像素点最终运动权重Motion_r可以通过下式获得：

Motion_r＝Cur_motion*Pre_motion，其中，0≤Motion_r≤1。

可以理解的是，本实施例中，当前帧的像素点最终运动权重Motion_r对应的像素位置为静止部分分量，相应地，1-Motion_r为对应的运动部分分量，即Motion_r＝1表示完全静止分量，Motion_r＝0表示完全运动分量，Motion_r为0到1之间时代表相应的运动状态分量，每个像素点均可以通过对应的当前帧的像素点最终运动权重Motion_r来区分其属于运动区域、静止区域或者相应的过渡区域，为后续分区域空域降噪做准备。本申请的实施例中，对视频的当前帧的运动的判断采用的是上述类似五段权值曲线来控制调节运动分量权重的方式，这样可以保证运动区域、静止区域以及过渡区域的划分具有可控性，而且Motion_r的计算中引入Pre_motion，从而保证后续的融合过程中可以避免出现运动与静止区域的分层和运动拖尾情况。

S13：利用当前帧的像素点最终运动权重对当前帧的原始图像和第一处理图像进行融合，获得当前帧的空域基础图像。

请参阅图5，图5是图1中步骤S13一实施例的流程示意图。在一实施例中，上述步骤S13具体包括：

S131：利用当前帧的像素点最终运动权重和寄存器参数，确定当前帧的第一融合系数。

可以理解的是，通过设置寄存器参数，确定静止2d强度和运动2d强度，利用前述过程得到的当前帧的像素点最终运动权重Motion_r，可以确定当前帧的第一融合系数。

具体地，在一实施方式中，所述寄存器参数包括静止强度和运动强度，步骤S131可以包括：将运动强度和静止强度的差与当前帧的像素点最终运动权重相乘得到乘积，并将运动强度与乘积之间的差作为当前帧的第一融合系数。

例如，设置寄存器的静止2d强度为r_2d_s，运动2d强度为r_2d_m，两者的取值范围为0到1，且r_2d_s<r_2d_m，结合当前帧的像素点最终运动权重Motion_r，从而可以得到用于将当前帧的原始图像和当前帧的第一处理图像进行融合的当前帧的第一融合系数，当前帧的第一融合系数Ratio_2d具体计算如下：

Ratio_2d＝r_2d_m-(Motion_r*(r_2d_m-r_2d_s))。

S132：利用当前帧的第一融合系数对当前帧的原始图像和第一处理图像进行融合，得到当前帧的空域基础图像。

可以理解的是，在得到当前帧的第一融合系数Ratio_2d后，则可以利用当前帧的第一融合系数Ratio_2d对当前帧的原始图像和第一处理图像进行融合，得到当前帧的空域基础图像Cur_2d，具体计算如下：

Cur_2d＝Ratio_2d*Cur_up+(1-Ratio_2d)*Cur_pix。

S14：将当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像；其中，第二参考帧为视频前一帧降噪结果的降采样图像。

请参阅图6，图6是图1中步骤S14一实施例的流程示意图。在一实施例中，上述步骤S14具体包括：

S141：基于当前帧的原始图像及其第一处理图像的像素值差异，得到当前帧的第二融合系数，以及基于当前帧的原始图像与第二参考帧的第一处理图像，得到第二参考帧的融合系数。

具体地，在一实施方式中，步骤S141可以包括：

S1411：对当前帧的原始图像进行预降噪处理，得到当前帧的预降噪图像，并获取当前帧的预降噪图像中各像素点的像素频率。

本实施例中，可以对当前帧的原始图像进行翻边处理，然后做5*5的均值滤波处理得到当前帧的预降噪图像Cur_mean。

S1412：将当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像，并利用当前帧的第二处理图像及其原始图像之间的像素值差异，得到当前帧的各像素点的第一系数。

具体地，在一实施方式中，将当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像的步骤包括：获取当前帧的预降噪图像及其第一处理图像中对应像素点的第二像素值差异；对所述第二像素值差异采用多段系数曲线进行控制，得到当前帧的修正融合系数；利用当前帧的修正融合系数对当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像。

与前述步骤S121中的方法类似，在得到当前帧的预降噪图像Cur_mean及当前帧的第一处理图像Cur_up之后，可以计算出当前帧的预降噪图像Cur_mean及其第一处理图像Cur_up中对应像素点的第二像素值差异；由于多段系数曲线包括有若干段第二像素值差异范围，且每段第二像素值差异范围对应一个融合系数，因此，通过对所述第二像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第二像素值差异对应的融合系数作为当前帧的修正融合系数，然后利用当前帧的修正融合系数对当前帧的预降噪图像Cur_mean及其第一处理图像Cur_up进行融合修正，得到当前帧的第二处理图像Cur_up_m。可以理解的是，多段系数曲线可以为五段系数曲线，对Cur_up与Cur_mean的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段系数曲线来控制Cur_up和Cur_mean的融合比例，将Cur_up修正得到Cur_up_m，在保证细节的同时可以抑制当前帧由于双线性插值而引起的发光效应。

同样地，上述利用当前帧的第二处理图像及其原始图像之间的像素值差异，得到当前帧的各像素点的第一系数的步骤包括：获取当前帧的第二处理图像及其原始图像中对应像素点的第三像素值差异；对所述第三像素值差异采用多段系数曲线进行控制，得到当前帧的各像素点的第一系数。

与前述方法类似，在得到当前帧的第二处理图像Cur_up_m及当前帧的原始图像Cur_in之后，可以计算出当前帧的第二处理图像Cur_up_m及其原始图像Cur_in中对应像素点的第三像素值差异；由于多段系数曲线包括有若干段第三像素值差异范围，且每段第三像素值差异范围对应一个系数，因此，通过对所述第三像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第三像素值差异对应的系数作为当前帧的各像素点的第一系数。可以理解的是，多段系数曲线可以为五段系数曲线，对Cur_up_m与Cur_in的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段系数曲线可以求得当前帧的各像素点的第一系数r_deltaCur。

S1413：将当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像，并利用第二参考帧的第二处理图像和当前帧的原始图像之间的像素值差异，得到当前帧的各像素点的第二系数。

具体地，在一实施方式中，将当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像的步骤包括：获取当前帧的第二处理图像和第二参考帧的第一处理图像中对应像素点的第四像素值差异；对所述第四像素值差异采用多段系数曲线进行控制，得到第二参考帧的修正融合系数；利用第二参考帧的修正融合系数对当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像。

与前述方法类似，在得到当前帧的第二处理图像Cur_up_m及第二参考帧的第一处理图像Pre_up之后，可以计算出当前帧的第二处理图像Cur_up_m和第二参考帧的第一处理图像Pre_up中对应像素点的第四像素值差异；由于多段系数曲线包括有若干段第四像素值差异范围，且每段第四像素值差异范围对应一个融合系数，因此，通过对所述第四像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第四像素值差异对应的融合系数作为第二参考帧的修正融合系数，然后利用第二参考帧的修正融合系数对当前帧的第二处理图像Cur_up_m和第二参考帧的第一处理图像Pre_up进行融合修正，得到第二参考帧的第二处理图像Pre_up_m。可以理解的是，多段系数曲线可以为五段系数曲线，对Pre_up与Cur_up_m的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段系数曲线来控制Pre_up和Cur_up_m的融合比例，将Pre_up进行动态修正得到Pre_up_m，在保证细节的同时可以抑制参考帧Pre由于双线性插值而引起的发光效应。

同样地，上述利用第二参考帧的第二处理图像和当前帧的原始图像之间的像素值差异，得到当前帧的各像素点的第二系数的步骤包括：获取第二参考帧的第二处理图像和当前帧的原始图像中对应像素点的第五像素值差异；对所述第五像素值差异采用多段系数曲线进行控制，得到当前帧的各像素点的第二系数。

与前述方法类似，在得到第二参考帧的第二处理图像Pre_up_m及当前帧的原始图像Cur_in之后，可以计算出第二参考帧的第二处理图像Pre_up_m和当前帧的原始图像Cur_in中对应像素点的第五像素值差异；由于多段系数曲线包括有若干段第五像素值差异范围，且每段第五像素值差异范围对应一个系数，因此，通过对所述第五像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第五像素值差异对应的系数作为当前帧的各像素点的第二系数。可以理解的是，多段系数曲线可以为五段系数曲线，对Pre_up_m与Cur_in的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段系数曲线可以求得当前帧的第二系数r_delta。

S1414：利用当前帧的像素频率和各像素点的第一系数，得到当前帧的第二融合系数，并利用当前帧的像素频率和各像素点的第二系数，得到第二参考帧的融合系数。

由于在步骤S1411中获取到当前帧的预降噪图像中各像素点的像素频率，于是根据各像素点的像素频率可以得到对应的频率权重系数。具体地，当采集的视频源噪声比较严重时，噪声和小细节区分度不高，会出现噪声误判，为了能区分出视频图像中的细节，本实施例中对当前帧的做进一步处理，为后续时域融合做准备；例如，对当前帧的预降噪图像Cur_mean进行处理，增加细节点对比度和边缘置信度的计算，计算过程中考虑上下、左右、±135度、±45度共8个方向，每个像素点计算出对应频率freq，同样也可以通过五段系数曲线控制得到对应的频率权重系数Ratio_freq，其中，Ratio_freq的取值范围0-1，且当Freq越大时、Ratio_freq越高。

在得到频率权重系数Ratio_freq、当前帧的各像素点的第一系数r_deltaCur以及当前帧的各像素点的第二系数r_delta后，则可以得到当前帧的第二融合系数和第二参考帧的融合系数，其中，当前帧的第二融合系数Ratio_cur2d＝(Ratio_freq+r_deltaCur)/2，第二参考帧的融合系数Ratio_pre2d＝(Ratio_freq+r_delta)/2。

S142：利用当前帧的第二融合系数对当前帧的第一处理图像及其空域基础图像进行融合，得到当前帧的第一运动分量；以及，利用第二参考帧的融合系数对当前帧的空域基础图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一静止分量。

可以理解的是，在得到当前帧的第二融合系数Ratio_cur2d和第二参考帧的融合系数Ratio_pre2d之后，可以利用当前帧的第二融合系数对当前帧的第一处理图像及其空域基础图像进行融合，得到当前帧的第一运动分量，以及利用第二参考帧的融合系数对当前帧的空域基础图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一静止分量。具体地，由对当前帧的第一处理图像进行处理之后的当前帧的第二处理图像Cur_up_m及其空域基础图像Cur_2d按照当前帧的第二融合系数Ratio_cur2d进行融合，得到当前帧的第一运动分量Mov_part；由当前帧的空域基础图像Cur_2d和对第二参考帧的第一处理图像进行处理之后的第二参考帧的第二处理图像Pre_up_m按照第二参考帧的融合系数Ratio_pre2d进行融合，得到当前帧的第一静止分量Sta_part。

S143：将当前帧的第一运动分量和第一分量数据进行融合，得到当前帧的第一降噪图像。

通过将当前帧的第一运动分量和第一分量数据进行融合，可以得到当前帧的第一降噪图像Yref_out＝Sta_part+Mov_part，即得到Y分量的用于迭代输出结果。

在一实施例中，在上述步骤S14之后，视频降噪方法还可以包括：将当前帧的第一降噪图像存储至预设信息中。可以理解的是，第二参考帧为视频中当前帧的前一帧降噪结果的降采样图像，因此，在将当前帧的第一降噪图像存储至预设信息中时，在后续处理视频降噪时，该当前帧的第一降噪图像的降采样图像则可以作为后一帧对应的第二参考帧。

在另一实施例中，在上述步骤S14之后，视频降噪方法还可以包括：

S15：将当前帧的第一降噪图像的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量，并将当前帧的第一降噪图像的第一静止分量和第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量。

具体地，在一实施方式中，上述将当前帧的第一降噪图像的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量的步骤包括：获取当前帧的第一运动分量及其第一处理图像中对应像素点的第六像素值差异；对所述第六像素值差异采用多段系数曲线进行控制，得到当前帧的运动分量融合系数；利用当前帧的运动分量融合系数对当前帧的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量。

与前述方法类似，先得到当前帧的第一运动分量Mov_part及当前帧的第一处理图像Cur_up中对应像素点的第六像素值差异，由于多段系数曲线包括若干段第六像素值差异范围，且每段第六像素值差异范围对应一个融合系数，因此，通过对所述第六像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第六像素值差异对应的融合系数作为当前帧的运动分量融合系数，然后利用当前帧的运动分量融合系数对当前帧的第一运动分量Mov_part及其第二处理图像Cur_up_m进行融合，得到当前帧的第二运动分量Mov_part_m。

同样地，上述将当前帧的第一降噪图像的第一静止分量和第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量的步骤包括：获取当前帧的第一静止分量及第二参考帧的第一处理图像中对应像素点的第七像素值差异；对所述第七像素值差异采用多段系数曲线进行控制，得到当前帧的静止分量融合系数；利用当前帧的静止分量融合系数对当前帧的第一静止分量及第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量。

与前述方法类似，先得到当前帧的第一静止分量Sta_part及第二参考帧的第一处理图像Pre_up中对应像素点的第七像素值差异，由于多段系数曲线包括若干段第七像素值差异范围，且每段第七像素值差异范围对应一个融合系数，因此，通过对所述第七像素值差异采用多段系数曲线进行控制，可以确定与各像素点的第七像素值差异对应的融合系数作为当前帧的静止分量融合系数，然后利用当前帧的静止分量融合系数对当前帧的第一静止分量Sta_part及第二参考帧的第二处理图像Pre_up_m进行融合，得到当前帧的第二静止分量Sta_part_m。

S16：将当前帧的第二运动分量及其第二静止分量进行融合，得到当前帧经修正的第二降噪图像。

可以理解的是，对Mov_part与Cur_up的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段控制曲线来控制Mov_part和Cur_up_m的融合比例，将Mov_part进行动态修正得到Mov_part_m；对Sta_part与Pre_up的每个对应的像素点做差值绝对值处理，通过差值绝对值的五段控制曲线来控制Sta_part和Pre_up_m的融合比例，将Sta_part进行动态修正得到Sta_part_m；然后将当前帧的第二运动分量Mov_part_m及其第二静止分量Sta_part_m进行融合，得到当前帧经修正的第二降噪图像Y_out＝Sta_part_m+Mov_part_m，将当前帧经修正的第二降噪图像Y_out作为最终的降噪处理结果，可以优化最终输出图像的降噪和细节补充效果。

请结合图7，图7是本申请视频降噪方法一应用场景的处理流程示意图，在一应用场景中，视频降噪方法是根据当前帧和前一帧去做视频降噪，前一帧即为参考帧，记当前帧为Cur_Frame,记前一帧为Ref_Frame，记前一帧降噪处理结果为Pre_Frame，即第一参考帧为Ref，第二参考帧为Pre。首先对当前帧Cur_Frame进行降采样后双线性插值得到对应的Cur_up，同理对取自DDR的参考帧Ref的数据做双线性插值得到Ref_up，在当前双线性插值处理完成后分别计算相同位置的Cur_up和Ref_up的差值绝对值Cur_diff，根据Cur_diff进行五段权值控制曲线控制得到当前帧和参考帧Ref运动参数权重Cur_motion，以此来区分当前帧和参考帧Ref之间的运动差异，同样五段权值控制曲线控制计算Next_motion，降采样后传递给DDR存储，作为下一帧的Pre_motion,最终当前帧的运动权重Motion_r可以根据Cur_motion和Pre_motion获得。对当前帧Cur_pix做翻边处理后做5*5的均值滤波得到Cur_mean，当前帧Cur_up与当前帧Cur_mean每个对应的像素点做差值绝对值处理，通过差值绝对值五段控制曲线控制Cur_up和Cur_mean的融合比例修正得到Cur_up_m，保证细节同时抑制当前帧因双线性插值引起的发光效应；同样地，将前一帧降噪处理结果降采样后作为参考帧Pre，通过双线性插值上采样得到Pre_up，然后与修正后的Cur_up_m每个对应的像素点做差值绝对值处理，通过差值绝对值的五段控制曲线控制Pre_up和Cur_up_m融合比例对Pre_up进行动态修正得到Pre_up_m，保证细节同时抑制参考帧Pre因双线性插值引起的发光效应。然后配置寄存器静止2d强度r_2d_s，运动2d强度r_2d_m，结合Motion_r得到当前帧空域Cur_up和Cur_pix的融合系数Ratio_2d，通过融合可以获得当前帧空域处理的Cur_2d。根据每个像素点自适应获得的Motion_r，对静止部分和运动部分分别做修正处理，静止分量由Cur_2d和Pre_up_m按照融合比例Ratio_pre2d求得Sta_part，运动分量则由Cur_2d和Cur_up_m按照融合比例Ratio_cur2d求得Mov_part.；其中，Ratio_pre2d和Ratio_cur2d的获得需要引入Ratio_freq、r_delta和r_deltaCur，具体地，由Pre_up_m和Cur_in做差值绝对值后五段控制曲线求得r_delta，由Cur_up_m和Cur_in做差值绝对值后五段控制曲线求得r_deltaCur，而Ratio_freq就要考虑细节，当采集的视频源噪声比较严重时，噪声和小细节区分度不高，会出现噪声误判，为了能区分出视频图像中的细节，对Cur_mean进行处理，增加细节点对比度和边缘置信度的计算，计算过程中考虑上下、左右、135度、45度8个方向，每个像素计算出对应频率freq，通过五段控制曲线控制得到对应的比列系数Ratio_freq，Ratio_freq的取值范围0-1，Freq越大，Ratio_freq越高。最终Y分量的用于迭代输出结果Yref_out＝Sta_part+Mov_part，而参考帧Pre即为迭代输出结果Yref_out的降采样。进一步地，当前帧和参考帧的融合结果Yref_out获得后，需要进一步修正，以优化最终输出图像的降噪和细节补充效果，具体地，针对Sta_part和Mov_part分别进行修正，对于运动部分分量Mov_part与Cur_up每个对应的像素点做差值绝对值处理，通过差值绝对值五段控制曲线控制Mov_part和Cur_up_m融合比例动态修正得到Mov_part_m；同理对静止部分分量Sta_part与Pre_up每个对应的像素点做差值绝对值处理，通过差值绝对值五段控制Mov_part和Pre_up_m融合比例动态修正得到Sta_part_m，最终的降噪处理结果为Y_out＝Sta_part_m+Mov_part_m。

在上述的视频降噪方法中，参考帧和当前帧的各类图像都采用降采样方式保存到DDR中，可以减少内存占用，节省硬件成本；而同时引入了第一参考帧的第一处理图像和第二参考帧的第一处理图像，使得时域的降噪和空域运动判断产生互补影响，可以减少运动误判和拖尾情况；在进行动静融合时采用动态曲线平滑过渡的方式，避免了边界块状和分层效应；根据像素频率的不同来自适应采用不同强度的修正，既保证了细节又能很好的抑制噪声；并且，采用前一帧的像素点参考初始运动权重Pre_motion和当前帧的像素点初始运动权重Cur_motion相结合的运动判断策略，增加上帧差异检测结果的反馈机制，能够减弱运动模糊或拖尾。

请参阅图8，图8是本申请视频降噪设备一实施例的结构示意图。本实施例中的视频降噪设备80包括相互耦接的存储器800和处理器802；处理器802用于执行存储器800存储的程序指令，以实现上述任一实施例中的视频降噪方法的步骤。

请参阅图9，图9是本申请视频降噪设备另一实施例的结构示意图。本实施例中的视频降噪设备90包括：第一处理模块900，用于对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像；运动权重计算模块902，用于基于所述当前帧的第一处理图像和第一参考帧的第一处理图像，得到所述当前帧的像素点最终运动权重；其中，所述第一参考帧为所述视频中所述当前帧的前一帧图像的降采样图像；空域处理模块904，用于利用所述当前帧的像素点最终运动权重对所述当前帧的原始图像和第一处理图像进行融合，获得所述当前帧的空域基础图像；时域降噪模块906，用于将所述当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像；其中，所述第二参考帧为所述视频前一帧降噪结果的降采样图像。

另外，视频降噪设备90中的各功能模块还可以用于实现上述任一实施例中的视频降噪方法的步骤。

关于本申请视频降噪设备实现视频降噪方法的具体内容请参阅上述视频降噪方法实施例中的内容，此处不再赘述。

请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。本申请计算机可读存储介质100存储有程序指令1000，程序指令1000被处理器执行时实现上述任一视频降噪方法的实施例中的步骤。

该计算机可读存储介质100具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令1000的介质，或者也可以为存储有该程序指令1000的服务器，该服务器可将存储的程序指令1000发送给其他设备运行，或者也可以自运行该存储的程序指令1000。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设备和装置，可以通过其它的方式实现。例如，以上所描述的设备和装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

Claims (10)

1.一种视频降噪方法，其特征在于，所述方法包括：

对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像；

基于所述当前帧的第一处理图像和第一参考帧的第一处理图像，得到所述当前帧的像素点最终运动权重；其中，所述第一参考帧为所述视频中所述当前帧的前一帧图像的降采样图像，通过对第一参考帧进行上采样，得到第一参考帧的第一处理图像；

利用所述当前帧的像素点最终运动权重对所述当前帧的原始图像和第一处理图像进行融合，获得所述当前帧的空域基础图像；

将所述当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像；其中，所述第二参考帧为所述视频前一帧降噪结果的降采样图像，通过对第二参考帧进行上采样，得到第二参考帧的第一处理图像；

其中，所述对视频中的当前帧的原始图像进行处理得到当前帧的第一处理图像，包括：将当前帧的原始图像进行降采样，得到当前帧的降采样图像；对当前帧的降采样图像进行上采样，得到当前帧的第一处理图像；其中，上采样的方式为采用双线性插值处理；

所述基于所述当前帧的第一处理图像和第一参考帧的第一处理图像，得到所述当前帧的像素点最终运动权重，包括：基于所述当前帧的第一处理图像和第一参考帧的第一处理图像之间的像素值差异，确定当前帧的像素点初始运动权重；其中，所述当前帧的像素点初始运动权重存储在预存信息中，作为下一帧的参考初始运动权重；从所述预存信息中获取前一帧的像素点参考初始运动权重，与当前帧的像素点初始运动权重两者融合确定当前帧的像素点最终运动权重；其中，前一帧的像素点参考初始运动权重与当前帧的像素点初始运动权重之间的融合方法采用均值或权重乘积的方式；

所述将所述当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像，包括：基于当前帧的原始图像及其第一处理图像的像素值差异，得到当前帧的第二融合系数，以及基于当前帧的原始图像与第二参考帧的第一处理图像，得到第二参考帧的融合系数；利用所述当前帧的第二融合系数对所述当前帧的第一处理图像及其空域基础图像进行融合，得到所述当前帧的第一运动分量；以及，利用所述第二参考帧的融合系数对所述当前帧的空域基础图像和第二参考帧的第一处理图像进行融合，得到所述当前帧的第一静止分量；将所述当前帧的第一运动分量和第一静止分量进行融合，得到当前帧的第一降噪图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前帧的第一处理图像和第一参考帧的第一处理图像之间的像素值差异，确定当前帧的像素点初始运动权重，包括：

获取所述当前帧的第一处理图像和第一参考帧的第一处理图像中对应像素点的第一像素值差异；

对所述第一像素值差异采用多段权值曲线进行控制，得到当前帧的像素点初始运动权重；

所述从所述预存信息中获取前一帧的像素点参考初始运动权重，与当前帧的像素点初始运动权重两者融合确定当前帧的像素点最终运动权重，包括：

将当前帧和前一帧的像素点初始运动权重的积，作为当前帧的像素点最终运动权重。

3.根据权利要求1所述的方法，其特征在于，所述利用所述当前帧的像素点最终运动权重对所述当前帧的原始图像和第一处理图像进行融合，获得所述当前帧的空域基础图像，包括：

利用所述当前帧的像素点最终运动权重和寄存器参数，确定当前帧的第一融合系数；

利用所述当前帧的第一融合系数对所述当前帧的原始图像和第一处理图像进行融合，得到所述当前帧的空域基础图像。

4.根据权利要求3所述的方法，其特征在于，所述寄存器参数包括静止强度和运动强度；

所述利用所述当前帧的像素点最终运动权重和寄存器参数，确定当前帧的第一融合系数，包括：

将所述运动强度和静止强度的差与所述当前帧的像素点最终运动权重相乘得到乘积，并将所述运动强度与所述乘积之间的差作为所述当前帧的第一融合系数。

5.根据权利要求1所述的方法，其特征在于，所述基于当前帧的原始图像及其第一处理图像的像素值差异，得到当前帧的第二融合系数，以及基于当前帧的原始图像与第二参考帧的第一处理图像，得到第二参考帧的融合系数，包括:

对所述当前帧的原始图像进行预降噪处理，得到当前帧的预降噪图像，并获取所述当前帧的预降噪图像中各像素点的像素频率；

将当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像，并利用当前帧的第二处理图像及其原始图像之间的像素值差异，得到当前帧的各像素点的第一系数；

将当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像，并利用第二参考帧的第二处理图像和当前帧的原始图像之间的像素值差异，得到当前帧的各像素点的第二系数；

利用当前帧的所述像素频率和各像素点的第一系数，得到当前帧的第二融合系数，并利用当前帧的所述像素频率和各像素点的第二系数，得到第二参考帧的融合系数。

6.根据权利要求5所述的方法，其特征在于，所述将当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像，包括：

获取所述当前帧的预降噪图像及其第一处理图像中对应像素点的第二像素值差异；

对所述第二像素值差异采用多段系数曲线进行控制，得到当前帧的修正融合系数；

利用所述当前帧的修正融合系数对当前帧的预降噪图像及其第一处理图像进行融合，得到当前帧的第二处理图像；

所述利用当前帧的第二处理图像及其原始图像之间的像素值差异，得到当前帧的各像素点的第一系数，包括：

获取所述当前帧的第二处理图像及其原始图像中对应像素点的第三像素值差异；

对所述第三像素值差异采用多段系数曲线进行控制，得到当前帧的各像素点的第一系数；

所述将当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像，包括：

获取所述当前帧的第二处理图像和第二参考帧的第一处理图像中对应像素点的第四像素值差异；

对所述第四像素值差异采用多段系数曲线进行控制，得到第二参考帧的修正融合系数；

利用所述第二参考帧的修正融合系数对当前帧的第二处理图像和第二参考帧的第一处理图像进行融合，得到第二参考帧的第二处理图像；

所述利用第二参考帧的第二处理图像和当前帧的原始图像之间的像素值差异，得到当前帧的各像素点的第二系数，包括：

获取所述第二参考帧的第二处理图像和当前帧的原始图像中对应像素点的第五像素值差异；

对所述第五像素值差异采用多段系数曲线进行控制，得到当前帧的各像素点的第二系数。

7.根据权利要求5所述的方法，其特征在于，在所述将所述当前帧的空域基础图像、当前帧的第一处理图像和第二参考帧的第一处理图像进行融合，得到当前帧的第一降噪图像之后，还包括：

将所述当前帧的第一降噪图像存储至预设信息中；和/或，

将当前帧的第一降噪图像的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量，并将当前帧的第一降噪图像的第一静止分量和第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量；

将当前帧的第二运动分量及其第二静止分量进行融合，得到当前帧经修正的第二降噪图像。

8.根据权利要求7所述的方法，其特征在于，所述将当前帧的第一降噪图像的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量，包括：

获取所述当前帧的第一运动分量及其第一处理图像中对应像素点的第六像素值差异；

对所述第六像素值差异采用多段系数曲线进行控制，得到当前帧的运动分量融合系数；

利用所述当前帧的运动分量融合系数对当前帧的第一运动分量及其第二处理图像进行融合，得到当前帧的第二运动分量；

所述将当前帧的第一降噪图像的第一静止分量和第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量，包括：

获取所述当前帧的第一静止分量及第二参考帧的第一处理图像中对应像素点的第七像素值差异；

对所述第七像素值差异采用多段系数曲线进行控制，得到当前帧的静止分量融合系数；

利用所述当前帧的静止分量融合系数对当前帧的第一静止分量及第二参考帧的第二处理图像进行融合，得到当前帧的第二静止分量。

9.一种视频降噪设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的视频降噪方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的视频降噪方法。

Images