CN116012265B - 基于时空域自适应滤波的红外视频降噪方法和装置 - Google Patents

Abstract

基于时空域自适应滤波的红外视频降噪方法，用于室内运动物体的拖尾去除，根据掩膜进行运动物体分割，得到运动物体的运动图像；对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除。本发明通过实时拖尾图像的探针，将拖尾区域和三维立体数据进行映射，获取与拖尾区域对应的拖尾重建图像，使运动物体的拖尾去除计算量减少，去除速度加快。

Description

基于时空域自适应滤波的红外视频降噪方法和装置

技术领域

本发明涉及红外图像的成像技术领域，更具体的说，特别涉及一种基于时空域自适应滤波的红外视频降噪方法和装置。

背景技术

红外图像是红外技术与成像技术结合的产物，红外成像技术可以用于测温、监控着火、军事、检测建筑材料、医学、电力行业等。但是红外热成像图像具有分辨率较低,细节模糊,对于快速运动目标适应性较差的特点。

这是由于红外图像的成像机理以及红外成像***自身的原因，红外视频图像中出现运动目标拖尾和模糊的问题，一直没有有效的解决方案。

因此，现有技术存在的问题，有待于进一步改进和发展。

发明内容

（一）发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供一种能够高效去除室内运动物体拖尾的降噪方法和装置，以提高红外视频图像的清晰度。

（二）技术方案：为了解决上述技术问题，本技术方案提供基于时空域自适应滤波的红外视频降噪方法，用于室内运动物体的拖尾去除，包括如下步骤：

步骤A、获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像；

步骤B、根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像；

步骤C、对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；

步骤D、利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除；

步骤E、运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪得到输出红外视频图像。

所述基于时空域自适应滤波的红外视频降噪方法，其中，所述步骤C还包括：对运动图像铺设网格进行分割，将拖尾图像的每个网格区域放置拖尾探针；所述拖尾探针包括标定数据，所述标定数据包括拖尾图像的模糊度以及拖尾图像的网格在运动图像中的位置。

所述基于时空域自适应滤波的红外视频降噪方法，其中，所述运动图像进行模糊区域判断得到拖尾图像的方法包括如下步骤：利用灰度方差算法、基于拉普拉斯算子的模糊检测算法，计算出运动图像的模糊区域，得到拖尾图像。

所述基于时空域自适应滤波的红外视频降噪方法，其中，所述记忆力模块，包括控制器、外部图像存储器和掩膜，所述外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。

所述基于时空域自适应滤波的红外视频降噪方法，其中，所述空域滤波器的滤波处理，在分配空间邻域像素点的滤波权重值时，包含空间距离权重系数和第一灰度值权重系数。

所述基于时空域自适应滤波的红外视频降噪方法，其中，所述时域滤波器的滤波处理，在分配历史帧和当前帧像素点的滤波权重值时，包含时间距离权重值系数和第二灰度权重系数。

所述基于时空域自适应滤波的红外视频降噪方法，其中，对所述空域滤波器和时域滤波器进行反复迭代结算，得到输出红外视频图像。

基于时空域自适应滤波的红外视频降噪装置，用于室内运动物体的拖尾去除，其中，包括局部灰度波动率图像计算单元、运动图像分割单元、拖尾重建图像计算单元、拖尾去除单元和降噪单元：

所述局部灰度波动率图像计算单元，用于获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像；

所述运动图像分割单元，用于根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像；

拖尾重建图像计算单元，用与对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；

拖尾去除单元，利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除；

降噪单元，运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪，得到输出红外视频图像。

（三）有益效果：本发明提供的基于时空域自适应滤波的红外视频降噪方法和装置通过对运动物体的三维重建得到三维立体数据，通过实时拖尾图像的探针，将拖尾区域和三维立体数据进行映射，获取与拖尾区域对应的拖尾重建图像，使运动物体的拖尾去除计算量减少，去除速度加快。最后本发明使用时域滤波算法和空域滤波算法，对拖尾去除后的红外视频图像降噪，能有效解决运动目标拖尾边缘的模糊现象，提高整个输出红外视频图像的清晰度。

附图说明

图1是基于时空域自适应滤波的红外视频降噪方法流程示意图；

图2是本发明记忆力模块结构示意图；

图3是本发明拖尾去除后的红外视频图像采用时域滤波和空域滤波算法降噪得到输出红外视频图像的流程示意图；

图4是基于时空域自适应滤波的红外视频降噪装置的结构示意图。

具体实施方式

下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。

附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。

本发明提供的基于时空域自适应滤波的红外视频降噪方法，用于室内运动物体的拖尾去除，主要应用于成像设备与物体之间的相对运动引起的拖尾去除。对如图1所示，包括如下步骤：

步骤101、获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像。

获取输入图像，所述输入图像包括图像的像素位置和像素数值，计算输入图像中像素的局部标准图像和局部均值图像，根据局部标准图像和局部均值图像求得局部灰度波动率图像，，其中，为一个大于0的小常数，用以避免被除数为0的异常情况。

本发明的局部均值就是以某个像素点为中心的局部方形窗口中的像素值的均值，对于每个像素点来说都会有一个滚动的局部窗口（图像边缘处会对外进行扩充）对应一个局部均值，输入图像的像素对应的局部均值构成局部均值图像。

本发明的局部标准值是以某个像素点为中心的局部方形窗口中像素值的标准差,输入图像的像素的局部标准值构成局部标准图像。

步骤102、根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像。

步骤103、对运动图像进行模糊区域判断得到拖尾图像。使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像。

步骤104、利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除。

步骤105、运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪得到输出红外视频图像。

本发明通过局部灰度波动率图像得到输入红外视频图像细节部分的掩膜，本发明主要用于图像中运动物体的拖尾去除，使用掩膜可以准确的得到运动物体所在的区域，大大缩小了图像的计算量。

本发明步骤103，优选的还可以包括：对运动图像铺设网格进行分割，将拖尾图像的每个网格区域放置拖尾探针。所述拖尾探针包括标定数据，所述标定数据包括拖尾图像的模糊度以及拖尾图像的网格在运动图像中的位置，拖尾探针的集合为运动图像的拖尾图像。所述网格区域内拖尾探针的设置，便于迅速确定拖尾图像和运动物体之间的相对位置，以及快速计算出拖尾区域。

本发明对运动图像进行模糊区域判断得到拖尾图像的方法如下：利用灰度方差算法、基于拉普拉斯算子的模糊检测算法，计算出运动图像的模糊区域，得到拖尾图像。

所述记忆力模块，如图2所示，包括控制器、外部图像存储器和掩膜，所述外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，例如当前时刻7天内的分辨率高于阈值的经过掩膜过滤的细节区域的运动图像数据。

本发明应用于室内运动物体的红外监控，所述室内运动物体主要为人员、物品，相对来说比较固定。因此，本发明针对这些场景可以通过机器学习，进行运动图像的三维重建。本发明在运动图像发生拖尾时，利用探针标定的标定数据，从三维重建数据中获得拖尾图像对应的高分辨率清晰的拖尾重建图像。

本发明将拖尾去除后的红外视频图像采用时域滤波和空域滤波算法降噪得到输出红外视频图像，如图3所示，使用双边滤波算法和空域滤波算法，利用红外视频图像序列中历史帧的灰度值进行加权估计当前帧的灰度值，同时对当前帧的输入红外视频图像进行双边滤波降噪处理，能很好地解决拖尾去除后红外视频图像中运动物体拖尾边缘的模糊现象。

首先对拖尾去除后每帧输入红外视频图像进行双边滤波，之后利用邻域像素点的信息来估计当前像素点的灰度值，以消除噪声的影响，实现空域滤波器去噪；然后利用历史帧对应同一个位置像素信息来估计当前像素点的灰度值，以实现时域滤波器进一步的降噪处理，历史帧处理范围是20帧。输入红外视频图像做基于双边滤波的空域滤波器降噪处理，处理结果作为时域滤波器的当前帧，时域滤波器处理后输出，并同时作为后续时域降噪处理的参考帧。

本发明空域滤波器的滤波处理，在分配空间邻域像素点的滤波权重值时要同时考虑空间距离和灰度差异两种信息，所述空域滤波器的滤波处理，在分配空间邻域像素点的滤波权重值时，包含空间距离权重系数和第一灰度值权重系数，以保证滤波窗口内，与待估计像素点的空间距离越近权值越高，与待估计像素点的灰度值差异越小权值越高，空域滤波器的计算公式如下：

（公式1）

为空域去噪后的图像在像素位置处的灰度值；为原始图像在像素位置处的灰度值；为滤波核的权值归一化系数；为滤波范围（即待滤波像素位置的邻域）；为空间距离权重系数；为第一灰度值权重系数。

所述空间距离权重系数和第一灰度值权重系数都是高斯函数，定义如下：

 （公式2）

 （公式3）

公式2表明空间距离权重系数大小与邻域内像素和待估像素的距离成反比，公式3表明第一灰度值权重系大小与邻域内像素和待估计像素的灰度差值成反比。本发明的空域滤波器不仅考虑邻域内像素距离信息，还考虑灰度信息，由于边缘部分像素间的灰度相差较大对应权重就会比较小，所以本发明的空域滤波器方法很好的保护了边缘细节信息。

在视频图像序列中不同帧间的时间间隔很小，相邻帧间大部分像素灰度变化比较小，因此图像信息在时域上也具有较高的关联性，距离当前帧越近，相似性越大，在滤波时分配的权重越大。所述时域滤波器的滤波处理，在分配历史帧和当前帧像素点的滤波权重值时，包含时间距离权重值系数和第二灰度权重系数。本发明按照双边滤波思想在时域上进行双边高斯滤波处理，即不仅考虑历史帧和当前帧的时间距离关系，还要考虑当前帧每个像素的灰度值和历史帧中对应位置的灰度值关系，时域滤波器函数的计算公式如下：

（公式4）

为最终输出的去噪后的图像，是空域滤波输出的中间图像，作为时域滤波的输入即当前帧，是时域滤波核权值归一化系数，是时间距离权重值系数，是时域上第二灰度权重值系数，时域滤波器中时间距离权重值系数、第二灰度权重系数的计算公式如下：

（公式5）

（公式6）

上述式中是时域滤波的帧数，表明时间距离权重系数与历史帧和当前帧的时间距离大小成反比，表明第二灰度权重系数与历史帧和当前帧灰度差值成反比。由于视频中如果有运动区域就会导致前后帧之间灰度值变化比较大，滤波器中添加第二灰度权重系数就很好的修正了时域滤波系数，第二灰度差值越大的帧权重系数越小对输出结果影响越小，从而解决了运动拖尾边缘区域模糊的问题。

本发明的通过对空域滤波器和时域滤波器进行反复迭代结算，得到输出红外视频图像。

本发明的空域滤波器中=6， =2，时域滤波器中=5，=1，实验证明红外图像视频序列先经过空域滤波器滤波结果帧进入时域滤波器，为了提高算法实时性，设置空域滤波器窗口为5*5，时域滤波器处理帧数=5，时域滤波器中高斯滤波系数实际为半宽的一维高斯核，且当前帧的权值最高，距离当前帧时间越长的帧对应的权值越小。

本发明提供的基于时空域自适应滤波的红外视频降噪装置，如图4所示，用于室内运动物体的拖尾去除，包括局部灰度波动率图像计算单元、运动图像分割单元、拖尾重建图像计算单元、拖尾去除单元和降噪单元：

所述局部灰度波动率图像计算单元，用于获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像；

所述运动图像分割单元，用于根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像；

拖尾重建图像计算单元，用与对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；

拖尾去除单元，利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除；

降噪单元，运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪，得到输出红外视频图像。

本发明提供的基于时空域自适应滤波的红外视频降噪方法和装置，利用局部灰度波动率在背景区域较低，在纹理区域较高的性质，生成背景区域灰度波动率取值低、纹理区域灰度波动率取值高的局部灰度波动率图像，能更好地抑制背景噪声放大，更加精准的识别出输入红外视频图像中的运动物体所在的区域，算法具有更好的鲁棒性和可控性。本发明通过对运动物体的三维重建得到三维立体数据，通过实时拖尾图像的探针，将拖尾区域和三维立体数据进行映射，获取与拖尾区域对应的拖尾重建图像，使运动物体的拖尾去除计算量减少，去除速度加快。最后本发明使用时域滤波算法和空域滤波算法，对拖尾去除后的红外视频图像降噪，能有效解决运动目标拖尾边缘的模糊现象，提高整个输出红外视频图像的清晰度。

以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。

Claims (8)

1.基于时空域自适应滤波的红外视频降噪方法，用于室内运动物体的拖尾去除，其特征在于，包括如下步骤：

步骤A、获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像；

步骤B、根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像；

步骤C、对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；

步骤D、利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除；

步骤E、运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪得到输出红外视频图像。

2.根据权利要求1所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，所述步骤C还包括：对运动图像铺设网格进行分割，将拖尾图像的每个网格区域放置拖尾探针；所述拖尾探针包括标定数据，所述标定数据包括拖尾图像的模糊度以及拖尾图像的网格在运动图像中的位置。

3.根据权利要求1所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，所述运动图像进行模糊区域判断得到拖尾图像的方法包括如下步骤：利用灰度方差算法、基于拉普拉斯算子的模糊检测算法，计算出运动图像的模糊区域，得到拖尾图像。

4.根据权利要求2所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，所述记忆力模块，包括控制器、外部图像存储器和掩膜，所述外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。

5.根据权利要求4所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，所述空域滤波器的滤波处理，在分配空间邻域像素点的滤波权重值时，包含空间距离权重系数和第一灰度值权重系数。

6.根据权利要求5所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，所述时域滤波器的滤波处理，在分配历史帧和当前帧像素点的滤波权重值时，包含时间距离权重值系数和第二灰度权重系数。

7.根据权利要求6所述基于时空域自适应滤波的红外视频降噪方法，其特征在于，对所述空域滤波器和时域滤波器进行反复迭代结算，得到输出红外视频图像。

8.基于时空域自适应滤波的红外视频降噪装置，用于室内运动物体的拖尾去除，其特征在于，包括局部灰度波动率图像计算单元、运动图像分割单元、拖尾重建图像计算单元、拖尾去除单元和降噪单元：

所述局部灰度波动率图像计算单元，用于获取输入红外视频图像的像素，计算出输入红外视频图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入红外视频图像中像素的局部灰度波动率图像；

所述运动图像分割单元，用于根据所述局部灰度波动率图像对输入红外视频图像进行软分割，得到细节区域的掩膜，对所述掩膜进行运动物体分割，得到运动物体的运动图像；

拖尾重建图像计算单元，用与对运动图像进行模糊区域判断得到拖尾图像，使用记忆力模块对运动图像进行深度学习，通过深度学习算法对运动图像进行超分辨率的三维重建得到运动物体三维立体数据，通过探针的标定信息获取三维立体数据中的拖尾重建图像；

拖尾去除单元，利用拖尾探针定位，将拖尾重建图像叠加到输入红外视频图像的拖尾探针的区域，实现运动物体的拖尾去除；

降噪单元，运动物体的拖尾去除后的红外视频图像采用空域滤波器和时域滤波器降噪，得到输出红外视频图像。

Images