CN114205578A - 基于频域偏度和频域峰值的视频模糊异常检测方法和*** - Google Patents

Abstract

本发明公开基于频域偏度和频域峰值的视频模糊异常检测方法和***，其中方法包括如下步骤：步骤S2：从视频中抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；步骤S3：对于抽取的视频帧进行图像分块并计算出每个图像块的频域偏度矩阵以及归一化后的频域峰值矩阵；本发明综合了图像局部的模糊对整幅图像清晰度评价的影响，通过对待评价图像分区域进行检测，对各区域得出的评价值进行元素级比较，获得清晰度异常度量矩阵，最后根据清晰度异常度量矩阵判断视频帧的模糊情况，实现更优的图像模糊检测效果。

Description

基于频域偏度和频域峰值的视频模糊异常检测方法和***

技术领域

本发明涉及视频图像检测技术领域，尤其涉及基于频域偏度和频域峰值的视频模糊异常检测方法和***。

背景技术

随着现代科学技术的快速发展，以及人们对安全性要求的显著提高，加剧了对视频监控***实时图片清晰度检测的要求。视频监控***是构成安全技术防范***的重要部分，但是目前成像设备存在大量的模糊图像，导致视频的可利用率大大降低，同时也会给使用者带来错误的信息。因此，对视频监控***进行实时的图像清晰度检测很有必要。目前，图像质量评价有两种方法，分别为主观评价方法和客观评价方法。主观评价方法是依靠人类的视觉直接判断图像模糊程度，这种方法费时耗力，经济性差，无法全面推广。客观评价方法则是从理论出发，设计计算模型，通过建立的数学模型来判断图像，此方法快速稳定，能够给出定量数据。这种方法易于实现，并且高效快捷。目前常用的图像客观评价方法分为三类，分别为：全参考质量评价、弱参考质量评价、无参考质量评价。对于全参考质量评价，需要将评价图像与参考图像进行比较得出评价结果，而弱参考质量评价，需要利用参考图像中的部分特征信息来完成对评价图像的质量评价，在许多实际应用中，原始的标准参考图像很难或无法获得，全参考质量评价和弱参考质量评价存在一定的局限性，而无参考质量评价不需要参考图像进行辅助评价，因此研究无参考图像质量评价方法具有重要意义。

在无参考图像的质量评价中，图像的清晰度是衡量图像质量的重要指标，图像的清晰度能够与人的视觉感受相对应，评价图像的清晰度不高表现出图像的模糊。模糊是常见的一种图像降质形式，它直接决定了图像的清晰程度。目前，国内外学者已经提出了许多无参考模糊图像质量评价模型和方法。 Zhang Fan等人提出了一种基于感知的混合视频质量评估模型。该算法通过使用增强的非线性模型，自适应地结合明显的失真和模糊伪影来模拟HVS感知过程。Wu Yujie等人提出了一种端到端模糊辅助特征聚合网络(BFAN)用于视频对象检测。该算法主要针对运动模糊和离焦等模糊影响下的聚集过程。 Huang Rixing等人提出了一种基于边缘模糊测度的无参考图像质量分析方法。该方法通过回归分析，将所有模糊特征离散为三个值。然后输入分类器对图像进行模糊分类。Tang Chang等人提出了一种基于对数平均频谱残差的模糊度量方法来得到粗模糊图。该方法所提出的迭代更新机制可以部分解决焦点内光滑区域和模糊光滑区域的区分问题。虽然这些算法都具有不错的评价效果，但是这些算法都存在共同的问题。这些算法是基于全局对图像的计算出或者对比，如果需要判断的图像出现局部模糊时，如局部虚化、局部亮度异常、局部纯背景图像、局部遮挡等情况，以上算法很容易会将这些原本清晰的图像检测为模糊图像，导致检测错误，同时这些算法更无法判断出局部模糊的位置。比如，图像的一部分被遮挡为黑色，而除被遮挡部分的清晰度正常，如果通过以上算法计算出整张的梯度来判断该图像的清晰程度，那么黑色遮挡部分的梯度就会影响整个图像的梯度，从而导致计算出出来的梯度值无法准确的反应整个图像的梯度值，造成结果错判。同时，虽然目前也有一些识别局部模糊的算法，但是这些算法没有表现出优秀的适用性。

发明内容

为此，需要提供基于频域偏度和频域峰值的视频模糊异常检测方法和***，解决现有图像模糊检测效果不理想的问题。

为实现上述目的，本发明提供了基于频域偏度和频域峰值的视频模糊异常检测方法，包括如下步骤：

步骤S2：从视频中抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；

步骤S3：对于抽取的视频帧进行图像分块并计算出每个图像块的频域偏度矩阵以及归一化后的频域峰值矩阵；

步骤S3-1设定图像尺寸为h*w像素，将图像按照比例进行分块切割，每个图像块记为G_k,i及G_d,i，k标记为参考视频帧，d标记为待检测视频帧，其中 i＝1,2,…,M，M为视频帧切割后的图像块数量；切割后图像块大小为

其中：“[]”表示向上取整运算；α为h像素方向切割数量，β为w像素方向切割数量，步骤S3-2构建每个图像块的频域偏度矩阵及频域峰值矩阵；

步骤S4：判断当前时段是否存在参考值；如果存在参考值则执行步骤S5；否则，将参考视频帧的频域偏度矩阵和频域峰值矩阵取平均后的结果作为当前参考值并执行步骤S6；

步骤S5：将参考视频帧的平均频域偏度矩阵和频域峰值各元素值分别与当前对应时段的参考值矩阵比较判断是否在预设的允许变化范围内；如果在允许变化范围内，则与参考值矩阵中的元素值加权合并作为当前参考值；否则，保持参考值矩阵中的元素值作为当前参考值；

步骤S6:待检测视频帧的频域峰度矩阵和归一化后的频域峰值矩阵与当前参考值进行元素级比较得到清晰度异常度量矩阵，如果频域偏度和频域峰值均在正常范围内，则判断图像块为正常，置为第一标志位，如果不满足其中任何一条件，则判定为异常，置为第二标志位，当图像块全部检测完成后，输出标志位矩阵记为清晰度异常度量矩阵，根据清晰度异常度量矩阵，如果矩阵中存在第二标志位元素，则判断待检测视频帧存在模糊情况，否则判断待检测视频帧为正常图像。

进一步地，还包括步骤S1：对于持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测后并进入步骤S2。

进一步地，所述持续输入的视频流为监控摄像头输入的视频流。

进一步地，所述步骤S3-2包括如下步骤：

(1)对G_k,i及G_d,i进行相同处理，统一采用G_i进行计算，G_i的傅里叶变换 d_i为：

d_i＝F(u,ν)＝∫∫f(x,y)e^-j2π(ux+vy)dxdy

计算出图像块G_i的d_i的幅值|d_i|，并计算其偏度ξ_i，从而得到G_k,i及G_d,i的频域偏度ξ_k,i,ξ_d,i；

其中，n为总幅值数；

(2)根据已求得的G_k,i及G_d,i的频域偏度ξ_k,i,ξ_d,i构建视频帧fk和fd的频域偏度矩阵，分别记为Ξ_k,Ξ_d；

(3)将图像块G_i的d_i的幅值|d_i|归一化后计算出频域峰值Dmax并如上构建频域峰值矩阵。

进一步地，在切割图像时还包括步骤：如果图像未能完全被切割，则剩下的图像块长度为

宽度为

进一步地，所述第一标志位为0，所述第二标志位为1。

本发明提供基于频域偏度和频域峰值的视频模糊异常检测***，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

区别于现有技术，上述技术方案首先抽取出参考视频帧和需要检测的视频帧，然后对抽取的视频帧进行图像切割并构建频域偏度矩阵及频域峰值矩阵，将待检测视频帧的频域偏度矩阵与参考值进行元素级比较得到图像清晰度异常度量矩阵，最后根据清晰度异常度量矩阵，输出视频帧的模糊情况。这样综合了图像局部的模糊对整幅图像清晰度评价的影响，通过对待评价图像分区域进行检测，对各区域得出的评价值进行元素级比较，获得清晰度异常度量矩阵，最后根据清晰度异常度量矩阵判断视频帧的模糊情况，实现更优的图像模糊检测效果。

附图说明

图1为本发明的方法流程图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，针对现有研究的不足，本发明提出了基于图像分块的频域偏度及峰度的视频帧清晰度检测方法。首先，发明人经过研究发现图像越模糊，图像频域偏度越大；图像越清晰，图像频域偏度越小这一规律。但同时，随着图像越来越模糊，图像的频域偏度并不会无限大，而是不断趋近于一个固定的值即存在上界，图像的频域峰值也越来越高，但其增长速率不断下降，频域峰值位置也慢慢往左偏移，但移动速率不断下降。基于此理论，提出本发明算法。本发明考虑到图像局部的模糊对整幅图像清晰度评价的影响，通过对待评价图像分区域进行检测，对各区域得出的评价值进行元素级比较，获得清晰度异常度量矩阵，最后根据清晰度异常度量矩阵判断视频帧的模糊情况。所采取的方法是首先抽取出参考视频帧和需要检测的视频帧，然后对抽取的视频帧进行图像切割并构建频域偏度矩阵及频域峰值矩阵，将待检测视频帧的频域偏度矩阵与参考值进行元素级比较得到图像清晰度异常度量矩阵，最后根据清晰度异常度量矩阵，输出视频帧的模糊情况，达到了较好的效果。

本发明基于图像分块的频域偏度及峰度的视频帧清晰度检测方法包括如下步骤：

步骤S1：针对监控摄像头持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测。其中，持续输入的视频流可以是监控摄像头产生，或者在某些实施例中，可以是网络视频流，可以实现网络视频的检测。以及步骤S1为非必要步骤，如果是针对某一段预先设好的视频，则可以直接进行步骤S2。

步骤S2：抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期(即间隔某一周期)抽取视频流中若干视频帧，作为待检测视频帧。

步骤S3：对于抽取的视频帧按照比例进行图像分块并计算出每个图像块的频域偏度矩阵以及归一化后的频域峰值矩阵。步骤S3包括有步骤S3-1和步骤S3-2。

步骤S3-1：设定图像尺寸为h*w像素，将图像按照比例(优选为整数比例)进行分块切割，每个图像块记为G_k,i及G_d,i，k标记为参考视频帧，d标记为待检测视频帧，其中i＝1,2,…,M；切割后图像块大小为

如果图像可以被完全切割，则不会有剩余图像块。如若图像未能完全被切割，则剩下的图像块长度为

宽度为

其中：“[]”表示向上取整运算。α为h像素方向切割数量，β为w像素方向切割数量，优选地，取值可以为如下：

α∈[3,4,5]

β∈[3,4]

而后步骤S3-2构建频域偏度矩阵及频域峰值矩阵。具体地包括如下步骤：

(1)对G_k,i及G_d,i进行相同处理，统一采用G_i进行计算，G_i的傅里叶变换 d_i为：

d_i＝F(u,ν)＝∫∫f(x,y)e^-j2π(ux+vy)dxdy

计算出图像块G_i的d_i的幅值|d_i|，并计算其偏度ξ_i，从而得到G_k,i及G_d,i的频域偏度ξ_k,i,ξ_d,i；

其中，n为总幅值数；

(2)根据已求得的G_k,i及G_d,i的频域偏度ξ_k,i,ξ_d,i构建视频帧fk和fd的频域偏度矩阵，分别记为Ξ_k,Ξ_d；

(3)将图像块G_i的d_i的幅值|d_i|归一化后计算出频域峰值Dmax并如上构建频域峰值矩阵。

步骤S4：判断当前时段是否存在参考值，参考值为预先设定的值；是则，执行步骤S5；否则，将参考视频帧的频域偏度矩阵和频域峰值矩阵取平均后的结果作为当前参考值并执行步骤S6。

步骤S5：将参考视频帧的平均频域偏度矩阵和频域峰值各元素分别与当前对应时段的参考值矩阵比较判断是否在允许变化范围内；是则，与参考值矩阵中的元素值加权合并作为当前参考值，加权时，参考视频平均频域偏度矩阵的当前值和参考值、频域峰值的当前值和参考值进行加权。具体加权可以如下：w*当前值+(1-w)*参考值，其中w为0～1的权重值。否则，保持参考值矩阵中的元素值作为当前参考值。

步骤S6:待检测视频帧的频域峰度矩阵和归一化后的频域峰值矩阵与参考值进行元素级比较得到清晰度异常度量矩阵，如果频域偏度和频域峰值均在正常范围内，则判断图像为正常，此时置标志位“0”(这个标识位具体数值可以根据实际需要修改)，如果不满足其中任何一条件，则判定为异常，并置标志位“1”(该标识位具体数值可以根据实际需要修改)，当图像块全部检测完成后，输出标志位矩阵以下称清晰度异常度量矩阵，根据清晰度异常度量矩阵，如果矩阵中存在“1”元素，则判断视频帧存在模糊情况，否则判定为正常图像。

本发明提供基于频域偏度和频域峰值的视频模糊异常检测***，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。本***在进行视频帧模糊检测时，综合了图像局部的模糊对整幅图像清晰度评价的影响，通过对待评价图像分区域进行检测，对各区域得出的评价值进行元素级比较，获得清晰度异常度量矩阵，最后根据清晰度异常度量矩阵判断视频帧的模糊情况，实现更优的图像模糊检测效果。

需要说明的是，尽管在本发明中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本发明所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (7)

1.基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于，包括如下步骤：

步骤S2：从视频中抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；

步骤S3：对于抽取的视频帧进行图像分块并计算出每个图像块的频域偏度矩阵以及归一化后的频域峰值矩阵；

步骤S3-1设定图像尺寸为h*w像素，将图像按照比例进行分块切割，每个图像块记为G_k，i及G_d，i，k标记为参考视频帧，d标记为待检测视频帧，其中i＝1，2，…，M，M为视频帧切割后的图像块数量；切割后图像块大小为

其中：“[]”表示向上取整运算；α为h像素方向切割数量，β为w像素方向切割数量，步骤S3-2构建每个图像块的频域偏度矩阵及频域峰值矩阵；

步骤S4：判断当前时段是否存在参考值；如果存在参考值则执行步骤S5；否则，将参考视频帧的频域偏度矩阵和频域峰值矩阵取平均后的结果作为当前参考值并执行步骤S6；

步骤S5：将参考视频帧的平均频域偏度矩阵和频域峰值各元素值分别与当前对应时段的参考值矩阵比较判断是否在预设的允许变化范围内；如果在允许变化范围内，则与参考值矩阵中的元素值加权合并作为当前参考值；否则，保持参考值矩阵中的元素值作为当前参考值；

步骤S6:待检测视频帧的频域峰度矩阵和归一化后的频域峰值矩阵与当前参考值进行元素级比较得到清晰度异常度量矩阵，如果频域偏度和频域峰值均在正常范围内，则判断图像块为正常，置为第一标志位，如果不满足其中任何一条件，则判定为异常，置为第二标志位，当图像块全部检测完成后，输出标志位矩阵记为清晰度异常度量矩阵，根据清晰度异常度量矩阵，如果矩阵中存在第二标志位元素，则判断待检测视频帧存在模糊情况，否则判断待检测视频帧为正常图像。

2.根据权利要求1所述的基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于，还包括步骤S1：对于持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测后并进入步骤S2。

3.根据权利要求2所述的基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于：所述持续输入的视频流为监控摄像头输入的视频流。

4.根据权利要求1所述的基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于，所述步骤S3-2包括如下步骤：

(1)对G_k，i及G_d，i进行相同处理，统一采用G_i进行计算，G_i的傅里叶变换d_i为：

d_i＝F(u，ν)＝∫∫f(x，y)e^-j2π(ux+vy)dxdy

计算出图像块G_i的d_i的幅值|d_i|，并计算其偏度ξ_i，从而得到G_k，i及G_d，i的频域偏度ξ_k，i，ξ_d，i；

其中，n为总幅值数；

(2)根据已求得的G_k，i及G_d，i的频域偏度ξ_k，i，ξ_d，i构建视频帧fk和fd的频域偏度矩阵，分别记为Ξ_k，Ξ_d；

(3)将图像块G_i的d_i的幅值|d_i|归一化后计算出频域峰值Dmax并如上构建频域峰值矩阵。

5.根据权利要求1所述的基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于，在切割图像时还包括步骤：如果图像未能完全被切割，则剩下的图像块长度为

宽度为

6.根据权利要求1所述的基于频域偏度和频域峰值的视频模糊异常检测方法，其特征在于：所述第一标志位为0，所述第二标志位为1。

7.基于频域偏度和频域峰值的视频模糊异常检测***，其特征在于：包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到6任意一项所述方法的步骤。

Images