CN113411571A - 一种基于滑窗梯度熵的视频帧清晰度检测方法 - Google Patents

Abstract

本发明公开一种基于滑窗梯度熵的视频帧清晰度检测方法，针对监控摄像头持续输入的视频流，在每时段周期起始时刻触发视频帧清晰度异常检测算法；抽取参考视频帧以及待检测视频帧；对于抽取的视频帧进行图像分块并构建梯度熵矩阵；计算每个时段清晰度正常视频帧的梯度熵矩阵参考值；计算待检测视频帧图像块清晰度异常情况并输出清晰度异常度量矩阵；根据清晰度异常度量矩阵，判断视频帧的模糊情况。本发明方法既能判断出待检测视频帧的局部清晰度异常情况并标记其异常位置又能较为准确快速检测出清晰度异常的视频帧。

Description

一种基于滑窗梯度熵的视频帧清晰度检测方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于滑窗梯度熵的视频帧清晰度检测方法。

背景技术

视频监控***是构成安全技术防范***的重要部分，但是由于大量的模糊图像的出现，导致视频可利用性大大降低，甚至很多模糊图像还会带给人们错误的信息。因此，对视频监控***进行实时的图像清晰度检测显得十分重要。

当前，对于图像的质量评价有两种方法。分别为主观评价和客观评价。主观评价是由人类的视觉效果直接判断图像。客观评价则是通过数学模型的建立判断图像。目前常见的图像客观评价方法有3种，分别为：全参考质量评价、弱参考质量评价、无参考质量评价。

在无参考质量评价中，基于传统数字图像清晰度评价方法，目前较为常见且具有代表性的清晰度算法的是基于梯度函数的评价方法，Brenne梯度函数法、Tenengrad、Laplacian梯度函数法以及能量梯度函数法。

虽然这些算法都具有良好的性能，但是这些算法都存在的共同的问题。由于这些算法都是基于整幅图像对其梯度的求取或者对比，因此，如果待判断的图像出现局部区域像素全黑或者全白、局部虚化、局部遮挡、局部亮度异常等局部异常情况时，传统算法会将这些清晰的图像检测为异常的图像，导致检测错误。比如，图像的一部分为黑色遮挡，但其他部分的清晰度正常，如果通过求取整张的梯度来判断该图像的清晰度是否异常，那么遮挡部分的梯度就会影响整幅图像的梯度，导致求取出来的梯度值不能够反映整张图像的梯度值，形成结果误判。

发明内容

本发明的目的在于提供一种基于滑窗梯度熵的视频帧清晰度检测方法，既能判断出待检测视频帧的局部清晰度异常情况并标记其异常位置又能较为准确快速检测出清晰度异常的视频帧。

本发明采用的技术方案是：

一种基于滑窗梯度熵的视频帧清晰度检测方法，包括以下步骤：

S1：针对监控摄像头持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测；

S2：抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；

S3：对于抽取的视频帧进行图像分块并构建梯度熵矩阵；

S4：计算获取参考视频帧的梯度熵矩阵取平均后的结果；

S5：判断当前时段是否存在参考值；是则，执行步骤S6；否则，将参考视频帧的梯度熵矩阵取平均后的结果作为当前参考值并执行步骤S7；

S6：将参考视频帧的平均梯度熵矩阵各元素分别与当前对应时段的参考值比较判断是否在允许变化范围内；是则，与原元素值加权合并作为当前参考值；否则，保持原元素值作为当前参考值；

S7：计算待检测视频帧图像块清晰度异常情况并输出清晰度异常度量矩阵：将每时段待检测视频帧的梯度熵矩阵与该时段参考值进行元素级比较，当梯度熵矩阵元素值在参考值允许变化区间范围内，则判定为正常图像块；否则判定为异常图像块，并根据图像块是否异常设定标志位构建清晰度异常度量矩阵并输出。

进一步地，作为一种优选实施方式，S1中以每一小时为一个时段周期。

进一步地，作为一种优选实施方式，S2具体包括以下步骤：

S2-1：在第t个时段，设抽取K帧作为参考帧，构成参考帧集合F_K＝{f₁,…,f_K}，其中f₁,…,f_K表示该时段起始时刻的前K帧视频帧；

S2-2：在第t个时段，设抽取待检测帧间隔为Δf，即每间隔Δf帧抽取一帧作为待检测帧，则待检测帧集合F_D＝{f_K+1+Δf,…,f_K+1+n·Δf}，其中n表示抽取的第n个待检测帧。

进一步地，作为一种优选实施方式，S3中将视频帧转化为灰度图像，根据设定的滑窗窗口从左到右、从上到下滑动裁剪得到若干图像块；计算每个图像块的梯度熵，根据图像块在对应视频帧灰度图像中的位置构建该帧梯度熵矩阵。

进一步地，作为一种优选实施方式，S3具体包括：

S3-1：对于参考帧集合中任一帧f_k(k＝1,…,K)或者待检测帧集合中任一帧f_d(d＝K+1+Δf,…,K+1+n·Δf)，将其转化为对应的灰度图像g_k及g_d；

S3-2：设定滑动窗口尺寸为h*w像素，横向滑动步长为x，纵向滑动y；则从左到右、从上到下对灰度图像g_k及g_d滑动裁剪得到M个图像块，每个图像块记为G_k,i及G_d,i，其中i＝1,2,…,M；横向滑动步长为x，纵向滑动y计算方式如下：

其中，α和β为各自的步长控制系数；

S3-3：将G_k,i及G_d,统一记为G_i，水平和垂直方向的Sobel核分别记为S_x和S_y，计算得到水平和垂直方向的梯度d_x和d_y，则G_i的梯度d_i为

S3-4：图像块G_i的梯度d_i共计存在N种梯度值，各梯度值所占比例为ρ_n(n＝1,2,…,N)，依据如下公式计算d_i的梯度熵ξ_i：

从而得到G_k,i及G_d,i的梯度熵ξ_k,i，ξ_d,i；

S3-5：根据滑动窗口的位置将G_k,i及G_d,i的梯度熵ξ_k,i和ξ_d,i构建为视频帧f_k和f_d的梯度熵矩阵，分别记为Ξ_k,Ξ_d

进一步地，作为一种优选实施方式，S4中计算该时段K帧作为参考帧的Ξ_k均值Ξ_K：

进一步地，作为一种优选实施方式，S6具体包括以下步骤：

S6-1：记第t时段清晰度正常视频帧的梯度熵矩阵参考值为Ξ_c

S6-2：判断第t时段清晰度正常视频帧的梯度熵矩阵参考值是否被赋值；当第t时段的Ξ_c未被赋值，则Ξ_c＝Ξ_K；否则，对于Ξ_c中的每个元素ξ_c,i，i＝1,2,…,M，根据以下公式更新：

其中，γ_c为加权参数，σ_c为梯度熵参考值容错系数。

进一步地，作为一种优选实施方式，S7具体步骤包括：

S7-1：定义待检测视频帧f_d清晰度异常度量矩阵为Ψ_d

其中，元素ψ_d,i表示视频帧f_d中第i个图像块清晰度异常标志位；当该图像块图像清晰，则元素值为0；否则，为1；

S7-2：将待检测视频帧f_d的梯度熵矩阵Ξ_d与Ξ_c进行元素级比较，根据以下公式计算ψ_d,i的值

其中，σ_d为图像块清晰度异常容错系数。

本发明采用以上技术方案，既能判断出待检测视频帧的局部清晰度异常情况并标记其异常位置又能较为准确快速检测出清晰度异常的视频帧。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种基于滑窗梯度熵的视频帧清晰度检测方法的流程示意图；

图2为本发明梯度熵矩阵参考值求取示意图；

图3为本发明视频帧清晰度异常度量矩阵示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。

如图1至图3之一所示，本发明公开了一种基于滑窗梯度熵的视频帧清晰度检测方法，包括以下步骤：

S1：针对监控摄像头持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测；

进一步地，作为一种优选实施方式，S1中以每一小时为一个时段周期。将输入的视频流按5s一段分帧后创建文件夹收录总的视频文件，进一步地，将视频分帧存入指定文件夹后，有规律地命名图片。

S2：抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；S2具体包括以下步骤：

S2-1：在第t个时段，设抽取K帧作为参考帧，构成参考帧集合F_K＝{f₁,…,f_K}，其中f₁,…,f_K表示该时段起始时刻的前K帧视频帧；

S2-2：在第t个时段，设抽取待检测帧间隔为Δf，即每间隔Δf帧抽取一帧作为待检测帧，则待检测帧集合F_D＝{f_K+1+Δf,…,f_K+1+n·Δf}，其中n表示抽取的第n个待检测帧。

S3：对于抽取的视频帧进行图像分块并构建梯度熵矩阵；

具体地，将视频帧转化为灰度图像，根据设定的滑窗窗口从左到右、从上到下滑动裁剪得到若干图像块；计算每个图像块的梯度熵，根据图像块在对应视频帧灰度图像中的位置构建该帧梯度熵矩阵；S3具体包括以下步骤：

S3-1：对于参考帧集合中任一帧f_k(k＝1,…,K)或者待检测帧集合中任一帧f_d(d＝K+1+Δf,…,K+1+n·Δf)，将其转化为对应的灰度图像g_k及g_d；

S3-2：设定滑动窗口尺寸为h*w像素，横向滑动步长为x，纵向滑动y；则从左到右、从上到下对灰度图像g_k及g_d滑动裁剪得到M个图像块，每个图像块记为G_k,i及G_d,i，其中i＝1,2,…,M；横向滑动步长为x，纵向滑动y计算方式如下：

其中，α和β为各自的步长控制系数；

S3-3：将G_k,i及G_d,统一记为G_i，水平和垂直方向的Sobel核分别记为S_x和S_y，计算得到水平和垂直方向的梯度d_x和d_y，则G_i的梯度d_i为

S3-4：图像块G_i的梯度d_i共计存在N种梯度值，各梯度值所占比例为ρ_n(n＝1,2,…,N)，依据如下公式计算d_i的梯度熵ξ_i：

从而得到G_k,i及G_d,i的梯度熵ξ_k,i，ξ_d,i；

S3-5：根据滑动窗口的位置将G_k,i及G_d,i的梯度熵ξ_k,i和ξ_d,i构建为视频帧f_k和f_d的梯度熵矩阵，分别记为Ξ_k,Ξ_d

S4：计算获取参考视频帧的梯度熵矩阵取平均后的结果；进一步地，作为一种优选实施方式，S4中计算该时段K帧作为参考帧的Ξ_k均值

S5：如图2所示，判断当前时段是否存在参考值；是则，执行步骤S6；否则，将参考视频帧的梯度熵矩阵取平均后的结果作为当前参考值并执行步骤S7；

S6：将参考视频帧的平均梯度熵矩阵各元素分别与当前对应时段的参考值比较判断是否在允许变化范围内；是则，与原元素值加权合并作为当前参考值；否则，保持原元素值作为当前参考值；

具体地，S6包括以下步骤：

S6-1：记第t时段清晰度正常视频帧的梯度熵矩阵参考值为Ξ_c

S6-2：判断第t时段清晰度正常视频帧的梯度熵矩阵参考值是否被赋值；当第t时段的Ξ_c未被赋值，则

否则，对于Ξ_c中的每个元素ξ_c,i，i＝1,2,…,M，根据以下公式更新：

其中，γ_c为加权参数，σ_c为梯度熵参考值容错系数。

S7：计算待检测视频帧图像块清晰度异常情况并输出清晰度异常度量矩阵：将每时段待检测视频帧的梯度熵矩阵与该时段参考值进行元素级比较，当梯度熵矩阵元素值在参考值允许变化区间范围内，则判定为正常图像块；否则判定为异常图像块，并根据图像块是否异常设定标志位构建清晰度异常度量矩阵并输出。

进一步地，如图3所示，作为一种优选实施方式，S7具体步骤包括：

S7-1：定义待检测视频帧f_d清晰度异常度量矩阵为Ψ_d

其中，元素ψ_d,i表示视频帧f_d中第i个图像块清晰度异常标志位；当该图像块图像清晰，则元素值为0；否则，为1；

S7-2：将待检测视频帧f_d的梯度熵矩阵Ξ_d与Ξ_c进行元素级比较，根据以下公式计算ψ_d,i的值

其中，σ_d为图像块清晰度异常容错系数。

S8：根据清晰度异常度量矩阵，判断视频帧的模糊情况。如果为局部异常图像，则输出局部异常位置；如果为全局模糊图像，则输出为模糊图像。

本发明采用以上技术方案，既能判断出待检测视频帧的局部清晰度异常情况并标记其异常位置又能较为准确快速检测出清晰度异常的视频帧。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (9)

1.一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：其包括以下步骤：

S1：针对监控摄像头持续输入的视频流，在每个设定时段周期起始时刻触发视频帧清晰度异常检测；

S2：抽取参考视频帧以及待检测视频帧：每时段起始时刻连续抽取若干视频帧作为参考视频帧用于计算清晰度度量特征参考值；每时段按照设定的抽取周期抽取视频流中若干视频帧，作为待检测视频帧；

S3：对于抽取的视频帧进行图像分块并构建梯度熵矩阵；

S4：计算获取参考视频帧的梯度熵矩阵取平均后的结果；

S5：判断当前时段是否存在参考值；是则，执行步骤S6；否则，将参考视频帧的梯度熵矩阵取平均后的结果作为当前参考值并执行步骤S7；

S6：将参考视频帧的平均梯度熵矩阵各元素分别与当前对应时段的参考值比较判断是否在允许变化范围内；是则，与原元素值加权合并作为当前参考值；否则，保持原元素值作为当前参考值；

S7：计算待检测视频帧图像块清晰度异常情况并输出清晰度异常度量矩阵：将每时段待检测视频帧的梯度熵矩阵与该时段参考值进行元素级比较，当梯度熵矩阵元素值在参考值允许变化区间范围内，则判定为正常图像块；否则判定为异常图像块，并根据图像块是否异常设定标志位构建清晰度异常度量矩阵并输出。

2.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S1中以每一小时为一个时段周期。

3.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S2具体包括：

S2-1：在第t个时段，设抽取K帧作为参考帧，构成参考帧集合F_K＝{f₁,…,f_K}，其中f₁,…,f_K表示该时段起始时刻的前K帧视频帧；

S2-2：在第t个时段，设抽取待检测帧间隔为Δf，即每间隔Δf帧抽取一帧作为待检测帧，则待检测帧集合F_D＝{f_K+1+Δf,…,f_K+1+n·Δf}，其中n表示抽取的第n个待检测帧。

4.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S3中将视频帧转化为灰度图像，根据设定的滑窗窗口从左到右、从上到下滑动裁剪得到若干图像块；计算每个图像块的梯度熵，根据图像块在对应视频帧灰度图像中的位置构建该帧梯度熵矩阵。

5.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S3具体包括以下步骤：

S3-1：对于参考帧集合中任一帧f_k，k＝1,…,K；或者待检测帧集合中任一帧f_d，d＝K+1+Δf,…,K+1+n·Δf；将其转化为对应的灰度图像g_k及g_d；

S3-2：设定滑动窗口尺寸为h*w像素，横向滑动步长为x，纵向滑动y；则从左到右、从上到下对灰度图像g_k及g_d滑动裁剪得到M个图像块，每个图像块记为G_k，i及G_d，i，其中i＝1，2，…，M；横向滑动步长为x，纵向滑动y计算方式如下：

其中，α和β为各自的步长控制系数；

S3-3：将G_k，i及G_d，统一记为G_i，水平和垂直方向的Sobel核分别记为S_x和S_y，计算得到水平和垂直方向的梯度d_x和d_y，则G_i的梯度d_i为：

S3-4：图像块G_i的梯度d_i共计存在N种梯度值，各梯度值所占比例为ρ_n(n＝1，2，…，N)，依据如下公式计算d_i的梯度熵ξ_i：

从而得到G_k，i及G_d，i的梯度熵ξ_k,i，ξ_d,i；

S3-5：根据滑动窗口的位置将G_k，i及G_d，i的梯度熵ξ_k,i和ξ_d,i构建为视频帧f_k和f_d的梯度熵矩阵，分别记为Ξ_k，Ξ_d

6.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S4中计算该时段K帧作为参考帧的Ξ_k均值

7.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S6具体包括以下步骤：

S6-1：记第t时段清晰度正常视频帧的梯度熵矩阵参考值为Ξ_c

S6-2：判断第t时段清晰度正常视频帧的梯度熵矩阵参考值是否被赋值；当第t时段的Ξ_c未被赋值，则

否则，对于Ξ_c中的每个元素ξ_c,i，i＝1，2，…，M，根据以下公式更新：

其中，γ_c为加权参数，σ_c为梯度熵参考值容错系数。

8.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：S7具体包括以下步骤：

S7-1：定义待检测视频帧f_d清晰度异常度量矩阵为Ψ_d

其中，元素ψ_d,i表示视频帧f_d中第i个图像块清晰度异常标志位；当该图像块图像清晰，则元素值为0；否则，为1；

S7-2：将待检测视频帧f_d的梯度熵矩阵Ξ_d与Ξ_c进行元素级比较，根据以下公式计算ψ_d,i的值

其中，σ_d为图像块清晰度异常容错系数。

9.根据权利要求1所述的一种基于滑窗梯度熵的视频帧清晰度检测方法，其特征在于：其还包括以下步骤：

S8：根据清晰度异常度量矩阵判断视频帧的模糊情况：当判断为局部异常图像时，则输出局部异常位置；当判断为全局模糊图像时，则输出为模糊图像。

Images